百度智能云对象存储BOS提供了多种数据迁移方式,在数据一致性及无缝切换的前提下,尽量减少额外开销。您可以根据自身的业务情况,灵活选择数据迁移方式。
Logstash数据存储到BOS 工具概述 Logstash 是一个开源的数据收集、处理、分析工具,可以从众多来源捕捉事件,流式传输到所需的存储库中,本文将描述Logstash如何把数据存储到BOS bucket。 配置教程 官网下载安装 Logstash安装包 ,选择对应操作系统的最新版本即可;下载后解压安装包并创建配置文件。
x-bce-restore String 当对象为归档存储类型,并且处于正在取回或已经取回时,会返回头域“x-bce-restore”,表示归档类型对象的取回状态:正在取回时返回 ongoing-request= true ;已取回归档对象时,返回 ongoing-request= false , expiry-date= Wed, 07 Nov 2019 00:00:00 GMT 。
智能分层计费说明 智能分层功能通过监控分析存储桶中文件的访问情况进行存储类型变化,会额外收取对象监控费用,公测期间该计费项免费,欢迎使用,公测结束正式计费时会提前 7 个工作日通过短信 / 邮件通知您,确保您有充足时间规划使用。 文件按照其对应的存储类型、所处地域,收取对应的存储、流量、请求、功能使用费用等,费用详情参见 BOS价格清单 。
按需付费 存储桶清单 清单功能费用 根据用户的清单任务配置,定期每天或者每周扫描用户 Bucket 中指定对象并输出一份CSV 格式的清单报告文件,其中会列出对象及其对应的元数据信息。系统按照存储桶清单功能列出的对象(文件)的个数计费,并按小时生成账单。
相比通过 bosfs 等挂载工具使用对象存储,BOS Connector for Pytorch 有以下优势: 维度 bosfs 等挂载工具 BOS Connector for Pytorch 性能 低,无针对性优化 高,对训练集数据加载和 checkpoint 数据的读写做特定优化 数据加载方式 需提前下载(预热)数据 支持流式加载 数据访问 需要转接,经过一遍 fs 转义 直接读写 BOS 配置复杂度
请求头 除公共头域外,无其他特殊请求头 初始化参数 参数名称 说明 类型 必填 默认值 示例值 bucketName 存储桶名称 string 是 - bucket001 objectName 上传后对象名称 string 是 - file001 data 上传数据, 类型为string时表示文件路径,还支持Buffer和Blob对象 string | Buffer | Blob 是 - -
t;Date> 4 Authorization: <AuthorizationString> 请求头域 无特殊Header参数 请求参数 无特殊参数 响应(Response) 响应头域 无特殊参数返回 响应参数 无特殊参数返回 注意事项 归档存储类型对象在取回未完成
Bucket是BOS上的命名空间,相当于数据的容器,可以存储若干数据实体(Object)。在您上传数据前,必须先创建一个Bucket。
操作步骤 登录 对象存储 BOS 管理控制台 。 存储桶标签配置: 方式一:在左侧 Bucket 列表中,对需设置标签的 Bucket ,可通过点击: 标签 进行编辑。 方式二:进入需要操作的存储桶管理详情页顶部导航处,点击 标签 说明: 存储桶标签可批量编辑,但只能批量添加标签,不能进行已有标签管理。 注意标签键设定时区分大小写。