背景信息

本文介绍通过 URL 列表文件迁移到 BOS 的操作教程。百度智能云数据流转平台是百度智能云提供的存储产品数据迁移服务。

使用数据流转平台 CloudFlow，您只需在控制台填写源数据地址和目标 BOS 地址信息，并创建迁移任务即可。启动迁移后，您可以通过控制台管理迁移任务，查看迁移进度等信息；也可以查看迁移失败文件列表，并中断、删除、恢复迁移任务等。

注意事项：

• 源 Object 大小限制 48.8 TB。若您在控制台上传，则文件大小上限为 5 GB。若文件大小超过 5 GB，请通过分片上传方式上传到 BOS。
• 源目录需为允许读取的状态，保证 BOS 可获取到该 Object。
• 若迁移的文件与目标 Bucket 中的某一个文件重名，Bucket 中该文件将直接被新文件覆盖。
• 传输服务运行时，第三方源路径可能会产生读取费用；BOS 写入目标 Bucket 时会产生请求费用。
• 在线导入任务会占用一定的带宽资源，因此用户需要合理安排任务执行时间，避免带宽被占满后对其他业务的影响。

准备工作

开始迁移前，您需要准备 URL 列表文件，并在百度智能云 BOS 中做一些准备工作。

URL列表文件准备

预估迁移数据

预估需要迁移的数据，包括迁移存储量和迁移文件个数。

说明： 迁移任务的迁移时间取决于待迁移文件数量和文件容量。CloudFlow 会自适应您的迁移带宽性能，但若文件数量和容量较大，迁移时间可能较长。您可以在控制台查看迁移进程，若有迁移失败的文件，您可以导出失败文件并重传。

开启读权限

您需要开启源端读权限。

百度智能云BOS准备

创建目标存储空间（Bucket）

创建目标存储空间，用于存放迁移的数据。详情请参见创建存储空间。

迁移实施

登录数据流转平台

1.登录数据流转平台CloudFlow

登录数据流转平台 CloudFlow 管理控制台。

2.登录数据流转平台CloudFlow

进入控制台后，单击【新建迁移任务】，进入任务配置页面，进行迁移参数的设置。

任务设置

您需要对迁移任务的名称和迁移启动时间进行设置。

配置项	配置描述
迁移任务名称	输入迁移任务成名 名称可以不具备唯一性，长度最大64字符，支持大小英文字母，数字，特殊字符_- 创建一个迁移任务后，后台自动生成一个任务 ID，该任务 ID 可以作为迁移任务的唯一标识
开始迁移时间	立即迁移：任务创建完成后立即启动迁移进程 指定迁移开始时间：您可以指定任务的开始迁移时间。若您希望从业务低峰时间开始迁移数据，如深夜 12：00，可以提前指定开始时间 指定固定时间段迁移：若您希望从业务低峰时间开始迁移数据，如深夜 12：00，可以提前指定开始时间，迁移任务执行的时间区间。例如：执行时间设置为0:00-8:00，则会在每天凌晨0:00到早上8:00之间执行数据迁移任务， 其他时间暂停迁移并保留迁移进度，直到下一个执行时间窗口继续执行任务。

源端设置

您需要迁移源端信息进行设置。

配置项	配置描述
数据源端	选择源端的云服务商，此处迁移源服务提供商应选择 URL 列表
选择 URL 列表文件	本地上传：如果您的 URL 列表文件在本地，您可以先将其上传到您的某一个 Bucket 中。本地上传适用于 URL 列表文件小于 5GB 的场景。若您的 URL 列表文件大于 5GB，您可以提前将 URL 列表文件上传到您 BOS 的 Bucket 中，然后将该文件的访问地址填写到地址栏。 导入 BOS 中文件：若您已经将 URL 列表文件上传到 BOS，您可以将文件的 URL 填写到此处。 URL 列表文件为 .txt 格式的文本文件，您需要在 URL 列表文件中按行逐个写入文件源位置，具体格式参见下方 URL 列表文件格式要求。请确保源文件已开启读权限，若为私有权限，迁移进程无法开启。

目的端设置

您需要迁移目的端信息进行设置。

配置项	配置描述
目的端 AccessKey	填写目的端 Accesskey。您可以点击控制台右上角账号名称的安全中心查看
目的端 SecretKey	填写目的端 SecretKey。您可以点击控制台右上角账号名称的安全中心查看
目的端 Bucket 名称	填写您希望到的目的端 Bucket 名称，请确保 Bucket 名称填写准确无误 当前仅支持迁移到华北-北京、华北-保定、华东-苏州、华南-广州、华中金融-武汉的Bucket 若您计划在目的端保持源存储类型不变，则源端和目的端应该同时选择多 AZ 类型 Bucket，或者同时选择单 AZ 类 Bucket。若源端和目的端间一端为单 AZ 但一端为多 AZ，当您选择"源存储类型"时，会存在潜在的类型错位，详情请查看三方云和 BOS 存储类型对应关系
保存路径	根目录：数据存在目的端 Bucket 的根目录中 指定目录：输入一个指定目录。该目录可以是已有的目录，也可以是新建的目录（若当前不存在将在目的端 Bucket 自动创建）
保留源路径	是：源文件URL中的文件路径与文件名称将保留并作为BOS中目标文件名称 否：仅保留源文件URL中文件名称并作为BOS中目标文件名称 最终存储在BOS中目标文件名称（KEY）由保存路径与保留源路径共同决定，若源URL：http：//mydomain.com/tepm1/temp2/1.txt，设置保留路径为：test/，并确定保留源路径，目标文件名为：test/tepm1/temp2/1.txt
存储类型	若目标 Bucket 为单 AZ 类型，您可以选择源存储类型、标准存储、低频存储、冷存储或归档存储。不同存储类型的差异请查看分级存储 若目标 Bucket 为多 AZ 类型，则仅支持源存储类型、标准存储-多 AZ 和低频存储-多AZ 若您选择"源存储类型"，可能会有潜在的类型错位现象。关于不同云厂商和 BOS 间存储类型的对应关系，请查看三方云和 BOS 存储类型对应关系
同名保留策略	保留源文件：若目的端中有源端同名文件，则仅保留源端文件，目的端同名文件全部被替换 保留目的文件：若目的端中有源端同名文件，则仅保留目的端文件，源端同名文件跳过
ACL权限设置	循目的Bucket权限：遵循目的Bucket权限即迁移文件的权限与目的Bucket权限保持一致； 迁移源端文件权限即将源端文件的私有、公共读迁移到目的端，其他自定义文件权限默认替换为目的Bucket权限

性能设置

您需要根据迁移需求选择合适的性能设置，CloudFLow 配置每秒文件数和迁移速度限制。如果整个迁移过程时间较长，可以利用限制迁移文件数和调整迁移速度，在低谷时加速迁移以确保业务稳定，而在高峰时减缓或暂停以控制成本。

配置项	配置描述
性能配置	迁移任务支持每秒迁移文件数控制。若选择不限制，系统会自动为您匹配最优性能。若您选择每秒文件数指定上限，可在0～2000个之间指定每秒迁移文件数。 迁移任务支持迁移速度限制。若选择不限制，系统会自动为您匹配最优性能。若您选择迁移速度限制，可在0～250Mbps之间指定迁移最高速度。若您的迁移文件数量或容量较大，也可以通过工单提前联系我们。 迁移速度限制支持配置指定时间段限速与全时段限速，目前仅支持配置5条指定时间段限速规则。

URL列表文件格式要求

URL 列表文件仅需包含以下信息：

• Object 在源目录的位置，以 URL 方式定义；

每一行代表一个 Object URL，如下图所示：

查看迁移状态和进度

在数据流转平台 CloudFlow 控制台，您可以查看所有迁移任务的状态和进度。

迁移状态

• 待迁移：若用户指定时间发起数据迁移，任务状态为待迁移；
• 任务完成有失败文件：任务完成，但部分文件迁移成功，部分失败。您可以在列表中查看迁移成功和失败的数量，并导出失败文件列表；
• 任务成功：任务完成，且文件全部迁移成功；
• 任务暂停：中途主动暂停迁移任务；
• 任务失败：计划迁移的文件全部迁移失败，0个文件迁移成功，您需要排查迁移失败的原因。

说明： 由于迁移任务时间可能较长，列表中迁移成功和失败的文件数量将会每 30 秒更新一次。若数字暂停，请耐心等待。

相关操作

• 查看详情：点击后查看任务配置详情和任务传输详情；
• 导出失败文件列表：点击后可以下载当前的迁移失败文件；
• 删除任务：任务完成后讲不需要的任务删除。任务删除后不影响已经迁移的文件；
• 暂停任务：当任务处于"迁移中"或者"待迁移"状态时将迁移任务暂停，适合迁移配置错误或不希望继续迁移的场景，以便及时阻止任务。点击暂停任务后，该按钮变为"恢复任务"，点击后可断点重传。