数据保留合规 BOS支持WORM(Write once read many)特性,允许用户以“不可删除、不可篡改”方式保存和使用数据,数据更加安全,可满足数据合规存储的需求。 BOS提供强合规策略,您可以针对Bucket设置基于时间的合规保留策略。当策略锁定后,用户可以在Bucket中上传和读取Object,但是在Object的保留时间到期之前,任何用户都无法删除或修改Object和策略。
数据流动(标准型、增强型和极速型) 适用范围 仅适用于标准型,增强型和极速型。 应用场景 随着人工智能、自动驾驶和基因测序等新兴业务的兴起,非结构化数据量呈指数级增长。为了存储这些数据,越来越多的业务选择对象存储,但由于接口类型、性能等多种因素,应用程序往往更倾向于使用并行文件存储来进行数据计算与训练。为解决这一问题,数据流动功能实现了对象存储和并行文件存储PFS之间的对接和打通。
使用场景 您的网络环境不好(带宽小、网络不稳定),且带宽成本非常昂贵; 希望尽快完成数据的上云,但是专线方式的费用过于昂贵; 自己没有硬盘或者无可移动的数据存储和传输设备。
查看并导出用量数据 概述 BOS 控制台支持查看并导出您账号下全部 Bucket 当月的统计信息,包括每个 Bucket 的总容量,总流量,总请求次数,以及每个 Bucket 的细粒度统计数据,如标准存储,低频存储等类型文件的容量。 查看并导出用量数据 登录 对象存储 BOS 管理控制台 。
与对象存储BOS的关系 您通过数据流转平台 CloudFlow,最终以对象形式将数据存储到百度智能云对象存储 BOS。CloudFlow 支持三方云对象存储数据迁移到 BOS,也支持通过月光宝盒设备寄送的方式将本地数据上传到 BOS。 通过CloudFlow在线服务进行三方云数据迁移 通过Cloudflow月光宝盒进行本地数据上云
获取Bucket数据同步信息 接口说明 本接口用来获取bucket指定id的数据同步信息,包括源Bucket名称、目的Bucket名称、存储类型、是否进行历史复制,数据同步策略,目的region等。 请求URI GET /v1/{bucketName}/?
使用场景 您的网络环境不好(带宽小、网络不稳定),且带宽成本非常昂贵; 希望尽快完成数据的上云,但是专线方式的费用过于昂贵; 自己没有硬盘或者无可移动的数据存储和传输设备。
数据处理及使用 生命周期管理 BOS支持用户对Bucket设置生命周期规则,以自动将过期的文件清除,节省存储空间。针对不同前缀的文件,用户可以同时设置多条规则。
BOS与PFS之间的数据迁移 适用场景 适用于并行文件存储PFS(标准型、增强型、极速型、极速型L2)与对象存储BOS之间的数据传输。 基本原理 将PFS挂载至BCC中,利用BOS命令行工具(BOS CMD) 将数据写入挂载目录或从挂载目录读出。 操作步骤 第一步:在同一VPC及可用区内创建BCC及PFS。 BCC创建方式请见: BCC创建实例 。
使用PFS作为数据来源提交作业建模任务 在提交作业建模任务时,选择用户资源池后,支持选择该资源池中引入的BOS存储或者PFS存储作为数据来源。 挂载数据和编辑代码时需要注意:平台仅能使用挂载路径下的文件,请确保您的相关文件在此挂载路径之下。 操作及代码示例 前提条件 平台上的用户资源池已经成功挂载PFS。