在线数据导入
更新时间:2022-07-04
该功能已于2022年6月30日下线,推荐您使用性能与功能更多卓越的数据流转平台,完成数据导入。
概述
当用户准备使用百度智能云 BOS 时,通常需要将其他云存储上的数据迁移至百度智能云 BOS 上。如果迁移部分数据量较大,使用传统的 下载再上传 的人工迁移方式往往费时费力,难以达到用户快速迁移的业务需求。
因此,BOS 为广大用户提供了在线数据导入功能。用户只需配置好导入规则,系统将自动去源目录抓取数据并存储至 BOS 上的指定路径,大幅提高业务数据的迁移效率。
注意事项
- 功能已下线
- 源 Object 大小限制为 0 - 10 GB。
- 迁移至 BOS 的数据都会默认传至该目标 Bucket 中。
- 源目录需为允许读取的状态,保证 BOS 可获取到该 Object。
- 若迁移的文件与目标 Bucket 中的某一个文件重名,Bucket 中该文件将直接被新文件覆盖。
- 传输服务运行时,第三方源路径可能会产生读取费用;BOS 写入目标 Bucket 时会产生请求费用。
- 在线导入任务会占用一定的带宽资源,因此用户需要合理安排任务执行时间,避免带宽被占满后对其他业务的影响。
在线数据导入
- 登录 BOS 管理控制台,进入全局概览页面。
- 点击左侧导航栏"数据在线导入"进入。
注意: 为了保证任务传输的性能,目前系统仅支持最多有 2 个“运行中”状态的任务。
- 进入创建任务页面,填写以下配置信息:
参数 | 说明 |
---|---|
任务名称 | 支持大小写字母、数字、中文以及-_ /.特殊字符,必须以字母开头,长度1-65。 |
传输目标 | 选择一个创建好的Bucket,将其作为在线数据导入的目的 Bucket。 |
选择传输源 | 点击选择文件按钮,将在本地准备好的 URL 列表文件上传到 BOS 中。关于此 URL 列表文件的格式要求,可参见 URL列表文件格式要求 。 |
配置执行时间 | 根据自身需要选择限定运行时段,或者设置在所有时间段运行。 |
- 点击提交,完成在线数据导入任务的创建,在任务列表中可以看到运行中的任务。
URL列表文件格式要求
URL 列表文件包含如下三部分信息:
- Object 在源目录的位置,以 URL 方式定义;
- Object 传输至 BOS 的指定 Bucket 后,存放的路径及 Object 名称;
- Object 上传至 BOS 后的存储类型,有 STANDARD、STANDARD-IA、COLD、ARCHIVE 四种,分别对应标准存储、低频存储、冷存储、归档存储类型。如果不填的话,默认是标准存储类型。
BOS 支持用户在一个 .txt 文件中定义上述三部分信息。每一行代表一个 Object,第一列代表此Object 传输至 BOS 的存放路径,第二列代表在源目录地址,第三列代表在BOS的存储类型,如下图所示:
以第一行代表的 Object 为例,其在源目录中的存放路径为http://abc001.com/A/1.jpg
;其通过在线导入后在 BOS 指定 Bucket 下保存在cjbucket1/A/1.jpg
这个路径中,其文件在 BOS 内的存储类型为 STANDARD,即标准存储类型。
注意:三列信息之间,需以 TAB 隔开。
传输列表
查看任务:
- 已创建的任务会在传输列表统一展现。列表中展现每一个任务的名称、目标 Bucket、当前任务状态、任务创建时间及任务进度信息。
- 对于每项任务,用户可在任务栏的下拉状态中查看更详细的任务信息。
管理任务:
- 用户可对运行中的任务执行暂停操作,可对停止的任务执行删除或恢复操作,可对完成的任务执行删除操作。
任务日志:
对于已完成的任务,BOS 还会自动生成一份任务日志,详细陈列任务执行过程中每个 Object 的传输情况,便于用户对失败的 Object 进行定位。
仅需点击下图中点击下载按钮即可,此任务日志也会默认上传至任务传输目标 Bucket 的根目录下。