在线数据导入
所有文档

          对象存储 BOS

          在线数据导入

          概述

          当用户准备使用百度智能云 BOS 时,通常需要将其他云存储上的数据迁移至百度智能云 BOS 上。如果迁移部分数据量较大,使用传统的 下载再上传 的人工迁移方式往往费时费力,难以达到用户快速迁移的业务需求。

          因此,BOS 为广大用户提供了在线数据导入功能。用户只需配置好导入规则,系统将自动去源目录抓取数据并存储至 BOS 上的指定路径,大幅提高业务数据的迁移效率。

          注意事项

          • 源 Object 大小限制为 0 - 10 GB。
          • 迁移至 BOS 的数据都会默认传至该目标 Bucket 中。
          • 源目录需为允许读取的状态,保证 BOS 可获取到该 Object。
          • 若迁移的文件与目标 Bucket 中的某一个文件重名,Bucket 中该文件将直接被新文件覆盖。
          • 传输服务运行时,第三方源路径可能会产生读取费用;BOS 写入目标 Bucket 时会产生请求费用。
          • 在线导入任务会占用一定的带宽资源,因此用户需要合理安排任务执行时间,避免带宽被占满后对其他业务的影响。

          在线数据导入

          1. 登录 BOS 管理控制台,进入全局概览页面。
          2. 点击左侧导航栏"数据迁移"进入在线数据导入。

          image.png

          注意: 为了保证任务传输的性能,目前系统仅支持最多有 2 个“运行中”状态的任务。

          1. 进入创建任务页面,填写以下配置信息:
          参数 说明
          任务名称 支持大小写字母、数字、中文以及-_ /.特殊字符,必须以字母开头,长度1-65。
          传输目标 选择一个创建好的Bucket,将其作为在线数据导入的目的 Bucket。
          选择传输源 点击选择文件按钮,将在本地准备好的 URL 列表文件上传到 BOS 中。关于此 URL 列表文件的格式要求,可参见 URL列表文件格式要求
          配置执行时间 根据自身需要选择限定运行时段,或者设置在所有时间段运行
          1. 点击提交,完成在线数据导入任务的创建,在任务列表中可以看到运行中的任务。

          URL列表文件格式要求

          URL 列表文件包含如下三部分信息:

          1. Object 在源目录的位置,以 URL 方式定义;
          2. Object 传输至 BOS 的指定 Bucket 后,存放的路径及 Object 名称;
          3. Object 上传至 BOS 后的存储类型,有 STANDARD、STANDARD-IA、COLD、ARCHIVE 四种,分别对应标准存储、低频存储、冷存储、归档存储类型。如果不填的话,默认是标准存储类型。

          BOS 支持用户在一个 .txt 文件中定义上述三部分信息。每一行代表一个 Object,第一列代表此Object 传输至 BOS 的存放路径,第二列代表在源目录地址,第三列代表在BOS的存储类型,如下图所示:

          以第一行代表的 Object 为例,其在源目录中的存放路径为http://abc001.com/A/1.jpg;其通过在线导入后在 BOS 指定 Bucket 下保存在cjbucket1/A/1.jpg这个路径中,其文件在 BOS 内的存储类型为 STANDARD,即标准存储类型。

          注意:三列信息之间,需以 TAB 隔开。

          传输列表

          查看任务

          • 已创建的任务会在传输列表统一展现。列表中展现每一个任务的名称、目标 Bucket、当前任务状态、任务创建时间及任务进度信息。
          • 对于每项任务,用户可在任务栏的下拉状态中查看更详细的任务信息。

          管理任务

          • 用户可对运行中的任务执行暂停操作,可对停止的任务执行删除或恢复操作,可对完成的任务执行删除操作。

          任务日志

          对于已完成的任务,BOS 还会自动生成一份任务日志,详细陈列任务执行过程中每个 Object 的传输情况,便于用户对失败的 Object 进行定位。

          仅需点击下图中点击下载按钮即可,此任务日志也会默认上传至任务传输目标 Bucket 的根目录下。

          上一篇
          事件通知及数据处理
          下一篇
          统计与监控