通用说明 API认证机制 用户可以通过两种方式与百度智能云进行交互,包括认证方式和匿名方式。对于认证方式,需要通过使用Access Key Id / Secret Access Key加密的方法来验证某个请求的发送者身份。Access Key Id(AK)用于标示用户,Secret Access Key(SK)是用户用
分级存储 不同类型数据的使用方式、访问频率均有不同,同时数据也存在老化曲线。随着数据逐渐老化,其访问频率逐步降低,进入归档状态。分级存储是一种方法论,即将不同类别数据存放到不同存储类型,以降低总存储成本,同时满足服务要求。 BOS 针对不同存储场景,提供了标准存储-多AZ、标准存储、低频存储-多AZ、低频存储、冷存储和归档存储六种存储类型。
存储路径管理 进入EasyDAP,单击侧边导航 数据治理>数据湖 进入存储路径管理。 存储路径管理列表 在列表展示已创建的存储路径,可在列表查看存储路径的详细信息。 单击添加按钮创建存储路径,填写相关配置项后单击确定可创建完成。 表一 列表展示项说明 展示项名称 描述 名称 存储路径的名称,创建存储路径时填写的名称。
存储路径申请 存储路径是指,数据湖指定的存储路径,用于数据表数据存储 通过“存储路径申请”功能,普通用户可以申请访问和操作特定存储路径的权限,确保数据安全并防止未经授权的访问。授权时长可根据需要灵活设置,以满足不同场景的需求。 存储路径申请 单击权限申请按钮,弹出批量申请弹窗,用户可选择特定的存储路径并为其申请读取、写入、创建和管理权限。
否 x-bce-storage-class String 指定Object的存储类型, STANDARD_IA 代表低频存储, COLD 代表冷存储, ARCHIVE 代表归档存储,不指定时默认是标准存储类型;如果是多AZ类型bucket, MAZ_STANDARD_IA 代表多AZ低频存储,不指定时默认是 MAZ_STANDARD 多AZ标准存储类型,不能是其它取值 否 x-bce-acl String
另外可使用该工具将 Checkpoint 数据直接保存到 BOS 中,而无需先保存到本地存储。
费用组成 BOS 服务的计费项由4个费用模块组成,各费用模块包含的计费项信息见 存储费用 、 流量费用 、 请求费用 和[数据处理费用]
rclone 概述 rclone是一个管理云存储上文件的命令行程序,也是云供应商web存储接口的一个功能丰富的替代方案。超过70种云存储产品支持rclone,包括百度智能云对象存储(BOS)、企业和消费者文件存储服务以及标准传输协议。rclone在Linux、Windows和Mac上广泛使用,第三方开发人员可以使用rclone命令行或API创建备份、恢复、和业务流程解决方案。
概述 百度对象存储BOS(Baidu Object Storage),是百度智能云对外提供的稳定、安全、高效以及高扩展存储服务,支持文本、多媒体、二进制等任何类型的数据存储。数据多地域跨集群的存储,以实现资源统一利用,降低使用难度,提高工作效率。用户可以通过本文档提供的简单的RESTful API接口,进行资源管理以及数据上传下载等操作。
配置 参数设置 bosfs支持设定参数来配置用户权限、存储类型及缓存等。