对象存储BOS

    在线数据导入

    概述

    当用户准备使用百度智能云 BOS 时,通常需要将其他云存储上的数据迁移至百度智能云 BOS 上。如果迁移部分数据量较大,使用传统的 “下载再上传” 的人工迁移方式往往费时费力,难以达到用户快速迁移的业务需求。

    因此,BOS 为广大用户提供了在线数据导入功能。用户只需配置好导入规则,系统将自动去源目录抓取数据并存储至 BOS 上的指定路径,大幅提高业务数据的迁移效率。

    操作步骤

    1. 登录百度智能云官网

    登录百度智能云官网

    2. 进入 BOS 控制台

    在页面左侧导航栏中选择 "存储和 CDN > 对象存储 BOS" 进入 BOS 控制台。

    3. 在 BOS 全局概览页面中点击创建任务

    点击页面下方"数据在线导入"卡片里的创建任务按钮,进入创建任务页面。

    image.png

    注意: 为了保证任务传输的性能,目前系统仅支持最多有 2 个“运行中”状态的任务。

    4. 配置任务

    在创建任务页面中,您需要填写如下配置信息:

    • 任务名称,即正在创建的任务的名称;
    • 传输目标,即选择一个创建好的Bucket,将其作为在线数据导入的目的 Bucket;
    • 选择传输源,点击“选择文件”按钮,将在本地准备好的 URL 列表文件上传到 BOS 中。关于此 URL 列表文件的格式要求,可参见 URL列表文件格式要求
    • 选择执行时间,您可以根据自身需要选择“限定运行时段”,或者设置在"所有时间段运行"。

    image.png

    注意

    • 迁移至 BOS 的数据都会默认传至该目标 Bucket 中;
    • 若迁移的文件与目标 Bucket 中的某一个文件重命,Bucket 中该文件将直接被新文件覆盖。
    • 源目录需为允许读取的状态,保证 BOS 可获取到该 Object;
    • 源 Object 大小限制为 0 - 10 GB;
    • 传输服务运行时,第三方源路径可能会产生读取费用;BOS 写入目标 Bucket 时会产生请求费用;
    • 在线导入任务会占用一定的带宽资源,因此用户需要合理安排任务执行时间,避免带宽被占满后对其他业务的影响。

    URL列表文件格式要求

    URL 列表文件包含如下三部分信息:

    1. Object 在源目录的位置,以 URL 方式定义;
    2. Object 传输至 BOS 的指定 Bucket 后,存放的路径及 Object 名称;
    3. Object 上传至 BOS 后的存储类型,有 STANDARD、STANDARD-IA、COLD、ARCHIVE 四种,分别对应标准存储、低频存储、冷存储、归档存储类型。如果不填的话,默认是标准存储类型。

    BOS 支持用户在一个 .txt 文件中定义上述三部分信息。每一行代表一个 Object,第一列代表此Object 传输至 BOS 的存放路径,第二列代表在源目录地址,第三列代表在BOS的存储类型,如下图所示:

    以第一行代表的 Object 为例,其在源目录中的存放路径为http://abc001.com/A/1.jpg;其通过在线导入后在 BOS 指定 Bucket 下保存在cjbucket1/A/1.jpg这个路径中,其文件在 BOS 内的存储类型为 STANDARD,即标准存储类型。

    注意: 三列信息之间,需以 TAB 隔开。

    传输列表

    已创建的任务会在传输列表统一展现。列表中展现每一个任务的名称、目标 Bucket、当前任务状态、任务创建时间及任务进度信息。

    用户可对运行中的任务执行暂停操作,可对停止的任务执行删除或恢复操作,可对完成的任务执行删除操作。

    对于每项任务,用户可在任务栏的下拉状态中查看更详细的任务信息。

    对于已完成的任务,BOS 还会自动生成一份任务日志,详细陈列任务执行过程中每个 Object 的传输情况,便于用户对失败的 Object 进行定位。

    仅需点击下图中“点击下载”按钮即可,此任务日志也会默认上传至任务传输目标 Bucket 的根目录下。

    上一篇
    事件通知及数据处理
    下一篇
    统计与监控