假设有一个文件,本地路径为 /path/to/file.zip ,由于文件比较大,将其分块传输到BOS中。
普通存储桶转换为分层命名空间存储桶 概述 BOS 元数据转换服务支持在未部署任何工具的情况下,直接将 BOS 普通存储桶转换为分层命名空间存储桶。分层命名空间存储桶在支持普通平层桶绝大部分特性和兼容大部分 HDFS 文件系统接口的同时,可以支持目录原子性 Rename 和 Delete,同时优化了 List 和 Head 请求时延,能很好的满足大数据和 AI 领域的数据湖计算场景。
sync命令会同时列举本地和 BOS 侧文件, 对于不同情况分别执行不同的动作,以保证增量数据的准确安全上传。 相关产品 对象存储 提供稳定、安全、高效以及高扩展存储服务。将数据的传输、存储、处理和发布四个环节有机融为一体
网关部署位置 BSG 提供云端部署和本地部署两种方式: 云端部署:适用于计算节点都在百度智能云的场景,如您使用了云服务器 BCC,希望通过存储网关将 BCC 中的日志数据存储在对象存储 BOS 上,则您需要“云端部署”的形式。 本地部署:若您的计算节点位于本地数据中心,如您希望将本地数据中心的冷数据拓展到云端进行备份,则您需要选择“本地部署”的形式。
在这类场景中,根据国家法律法规要求,直播转录播视频,尤其是电商直播的录播视频需要保存三年,很多场景下的媒资数据也要保存至少 180 天。因此,对于企业来说,在满足冷数据存储可靠性的同时,降低冷数据的存储成本显得格外重要。 对象存储 BOS 拥有完善的 分级存储体系 ,共有标准存储-多AZ、标准存储、低频存储-多AZ、低频存储、冷存储和归档存储 6 种存储类型,满足客户数据对从热到冷沉降的需求。
如果HTTP Body中Json不合法,BOS会返回CODE_MALFORMED_JSON错误。 如果HTTP Body中Json有无效字段,BOS会返回CODE_INAPPROPRIATE_JSON错误。 用户可将不同的源Bucket的Logging都保存在同一个目标Bucket内,建议指定不同的 targetPrefix 便于区分。
在BML平台使用并行文件系统PFS和对象存储BOS 在BML平台使用并行文件系统PFS 平台支持用户在用户资源池上关联 并行文件存储PFS 作为建模任务时的数据存储,当前支持使用并行文件系统PFS提交的任务: 自定义作业-训练作业任务、自动搜索作业任务 前提条件 用户在平台上已经挂载了容器引擎CCE资源作为用户资源池,点击了解 容器引擎CCE ; 用户已经创建了并行文件系统PFS,点击了解 并行文件系统
parameter: 本地json文件,内容是打包相关参数。参数是一个json描述,编码为无BOM的utf-8。
使用存储网关 创建完存储网关后,您可以使用存储网关。 设置公网服务 您可以变更存储网关的公网服务设置。若您在创建时设置了公网,您可以在网关创建完成后取消公网服务;若您在创建时未开通公网服务,您可以在网关创建完成后单独开通公网服务。 说明: -仅云端部署的存储网关可以配置公网,本地部署的存储网关不需要配置网络,本地部署存储网关的网络环境取决于您本地数据中心的网络环境配置。
每一行代表一个 Object,第一列代表此Object 传输至 BOS 的存放路径,第二列代表在源目录地址,第三列代表在BOS的存储类型,如下图所示: 以第一行代表的 Object 为例,其在源目录中的存放路径为 http://abc001.com/A/1.jpg ;其通过在线导入后在 BOS 指定 Bucket 下保存在 cjbucket1/A/1.jpg 这个路径中,其文件在 BOS 内的存储类型为