开发准备 概述 百度智能云对象存储 BOS(Baidu Object Storage),提供稳定、安全、高效以及高扩展存储服务,支持单文件最大 5TB 的文本、多媒体、二进制等任何类型的数据存储。数据多地域跨集群的存储,以实现资源统一利用,降低使用难度,提高工作效率。 BOS 提供标准的 REST 接口,可与任何 Internet 开发工具包搭配使用,并且提供多语言的 SDK。
注意事项: 归档存储类型对象在取回未完成,或者刚上传归档类型文件(时长参考取回时长)时,不能删除Object acl。 请求URI DELETE /v1/{bucketName}/{objectKey}?
userQuota 请求体参数 请求体字段数据结构说明 响应体参数 响应体字段数据结构说明 参数名称 参数类型 描述 示例值 maxBucketCount Long 额度设置中的最大可创建Bucket数,若为-1,表示无限制 50 maxCapacityMegaBytes Long 额度设置中的最大存储容量限制,若为-1或0,表示无限制 12334424 请求示例 { }`, `60885171707010750000
对于上传的文件,其存储类型支持标准存储-多AZ、标准存储、低频存储-多AZ、低频存储、冷存储和归档存储共 6 种存储类型,您可以根据数据的使用频率,对文件的存储类型进行设定。关于存储类型的选择,您可以参考 如何选择合适的存储类型 。不同地域开放售卖的存储类型有所不同,请您提前查看 开放地域 。
数据流动限制 单个PFS实例最多支持创建 200 个数据流动任务,如配额用尽请手动删除其他任务; 单个PFS实例最多支持同时执行 10 个数据流动任务; PFS实例不支持和跨地域的BOS Bucket创建数据流动任务; 数据流动任务导入时只支持BOS中标准存储、低频存储和冷存储类型文件导入,归档存储类型文件会跳过,且报告中不显示相关信息;导出到BOS时导出数据默认设置成标准存储。
导入导出限制 导入/导出的过程中,都会阻塞I/O(即执行数据导入和导出时,程序或线程的输入/输出会被阻塞,直到数据的读取或写入完成); 导入/导出过程中,系统默认为阻塞I/O,数据加载目录禁止操作,重命名数据加载目录会失败; 导出时,系统阻塞I/O,未关闭的 I/O 会返回 error; 暂不支持多次导出,仅支持一次导出。
查询模拟文件夹 由于BOS本身是一个( <Key>,<Value> )的存储系统,所以原则上并不会存在“文件夹”的概念,但您可以通过 Delimiter 和 Prefix 参数的配合进行文件夹功能模拟。
如下图: 将自定义 CSV 文件上传至存储桶。 使用控制台创建批量处理任务 登录 对象存储 BOS 管理控制台 。 在控制台左侧全局导航栏中选择 数据魔方 - 批量处理 入口,进入批量处理任务管理页面。 点击 创建任务 ,开始创建批量处理任务。
存储空间自动扩容开关:打开时可进行可用空间和存储自动扩展上限控制。 可用空间阈值: 当剩余存储空间百分比达到设定的阈值时,会触发自动扩容。 自动扩容上限:扩容后实例总存储空间的上限。需要大于或等于实例当前存储空间总量。 说明:当可用存储空间率小于或等于可用空间阈值时,自动扩容到当前存储空间的15%,不满足存储空间步长(当前为5)时,向上取整。 点击 确定 按钮。
使用限制 限制类型 具体说明 存储类型 不同存储类型所支持的售卖地域也有所不同,请查看 存储类型介绍 ; Bucket BOS 支持用户自定义账号下 Bucket 总数,但一个主账号下能够创建的 Bucket 数量最多为 100。