数据上云方案

在线数据导入

概述

当用户准备使用百度智能云BOS时,时常需要将其他云存储上的数据迁移至百度智能云BOS上。如果迁移部分数据量较大,使用传统的 “下载再上传” 的人工迁移方式往往费时费力,难以达到用户快速迁移的业务需求。

因此,BOS为广大用户提供了在线数据导入功能。用户只需配置好导入规则,系统将自动去源目录抓取数据并存储至BOS上的指定路径,大幅提高业务数据的迁移效率。

创建任务

  1. 登录管理控制台,选择“产品服务>对象存储BOS”。

  2. 点击左侧导航栏"在线数据导入",进入在线数据导入页面。

    注意: 为了保证任务传输的性能,目前系统仅支持最多有2个“运行中”状态的任务。

  3. 点击“创建任务”,进入创建任务页面,填写任务名称,开始任务的创建。

  4. 选择传输目标,选一个创建好的Bucket,作为在线数据导入的存储地。

    注意:

    迁移至BOS的数据都会默认传至在“选择Bucket”中选择的Bucket。

    如果目标Bucket里有同名文件,则直接覆盖

  5. 选择传输源,点击“选择文件”按钮,将在本地准备好的URL列表文件上传到BOS中。

    注意:关于此URL列表文件的格式要求,可参见 URL列表文件格式要求

  6. 选择配置执行时间可通过点击“限定运行时段”,选择合理的任务执行时间。

注意

1.源目录需为允许读取的状态,保证BOS可获取到该Object

2.传输服务运行时,第三方源路径可能会产生读取费用;BOS写入目标Bucket时也会产生正常请求的费用,请知悉。

3.在线导入任务会占用一定的带宽资源,因此用户需要合理安排任务执行时间,避免带宽被占满后对其他业务的影响。

URL列表文件格式要求

URL列表文件包含如下三部分信息:

  1. Object在源目录的位置,以URL方式定义
  2. Object传输至BOS的指定Bucket后,存放的路径及Object名称
  3. Object上传至BOS后的存储类型,有STANDARD、STANDARD-IA、COLD三种,分别对应标准存储、低频存储、冷存储类型。如果不填的话,默认是标准存储类型。

    BOS支持用户在一个txt文件中定义上述三部分信息。每一行代表一个Object,第一列代表此Object传输至BOS的存放路径,第二列代表在源目录地址,第三列代表在BOS的存储类型,如下图所示:

    拿第一行代表的Object为例,其在源目录中的存放路径为http://abc001.com/A/1.jpg;其通过在线导入后在BOS指定Bucket下存在cjbucket1/A/1.jpg这个路径中,其文件在BOS内的存储类型为STANDARD。

    注意:
    三列信息之间,需以TAB隔开。

传输列表

已创建的任务会在传输列表统一展现。列表中展现每一个任务的名称、目标Bucket、当前任务状态、任务创建时间及任务进度信息。

用户可对运行中的任务执行暂停操作,可对停止的任务执行删除或恢复操作,可对完成的任务执行删除操作。

对于每项任务,用户可在任务栏的下拉状态中查看更详细的任务信息。

对于已完成的任务,BOS还会自动生成一份任务日志,详细陈列任务执行过程中每个Object的传输情况,便于用户对失败的Object进行定位。

仅需点击下图中“点击下载”按钮即可,此任务日志也会默认上传至任务传输目标Bucket的根目录下。