华为云OBS迁移到BOS

背景信息

本文介绍由华为云 OBS 迁移到 BOS 的操作教程。百度智能云数据流转平台是百度智能云提供的存储产品数据迁移服务。使用该服务，您可以将第三方数据轻松迁移至百度智能云对象存储 BOS。

使用数据流转平台 CloudFlow，您只需在控制台填写源数据地址和目标 BOS 地址信息，并创建迁移任务即可。启动迁移后，您可以通过控制台管理迁移任务，查看迁移进度等信息；也可以查看迁移失败文件列表，并中断、删除、恢复迁移任务等。

准备工作

开始迁移前，您需要在华为云 OBS 和 百度智能云 BOS 中做一些准备工作。

华为云OBS准备

预估迁移数据

预估需要迁移的数据，包括迁移存储量和迁移文件个数。您可以登录华为云 OBS 控制台，单击某个待迁移存储空间的名称，查看待迁移存储空间（Bucket）的存储量和对象（文件）数量。

说明： 迁移任务的迁移时间取决于待迁移文件数量和文件容量。CloudFlow 会自适应您的迁移带宽性能，但若文件数量和容量较大，迁移时间可能较长。您可以在控制台查看迁移进程，若有迁移失败的文件，您可以导出失败文件并重传。

解冻存储空间待迁移数据

对于华为云 OBS 的归档存储、深度归档存储，您需要先在华为云将相应文件解冻（取回），待解冻完成后再创建迁移任务。在线迁移服务并不会对源端数据执行解冻操作。若您源端有未解冻、解冻中的文件，则这些文件都会迁移失败。

说明： 请您务必解冻操作完成后再创建迁移任务。请您根据待迁移的数据总量确保解冻时长，以防迁移期间数据再次变成冻结状态。解冻（取回）操作可能会收取一定费用，计费规则可咨询您的源存储空间服务运营商。

百度智能云BOS准备

创建目标存储空间（Bucket）

创建目标存储空间，用于存放迁移的数据。详情请参见创建存储空间。

迁移实施

登录数据流转平台

1.登录数据流转平台CloudFlow

登录数据流转平台 CloudFlow 管理控制台。

2.登录数据流转平台CloudFlow

进入控制台后，单击【新建迁移任务】，进入任务配置页面，进行迁移参数的设置。

任务设置

您需要对迁移任务的名称和迁移启动时间进行设置。

配置项	配置描述
迁移任务名称	输入迁移任务成名 名称可以不具备唯一性，长度最大64字符，支持大小英文字母，数字，特殊字符_- 创建一个迁移任务后，后台自动生成一个任务 ID，该任务 ID 可以作为迁移任务的唯一标识
开始迁移时间	立即迁移：任务创建完成后立即启动迁移进程 指定迁移开始时间：您可以指定任务的开始迁移时间。若您希望从业务低峰时间开始迁移数据，如深夜 12：00，可以提前指定开始时间 固定时间段迁移：您可以指定迁移任务生效日期、迁移执行时间段。若您希望从业务低峰时间开始迁移数据，如周末深夜 12：00，可以提前指定生效日期、迁移执行时间段

源端设置

您需要迁移源端信息进行设置。

配置项	配置描述
数据源端	选择源端的云服务商，此处迁移源服务提供商应选择华为云 OBS
增量迁移	可选配置项 开启后支持按需选择小时、天、周粒度的增量扫描周期，来对源端增量数据进行定时扫描和迁移。点击 增量迁移说明 查看配置指引
源端 Endpoint	填写源端 Endpoint 信息，用于指定源端存储桶所在地域。点击地区与终端节点查看华为云 OBS Endpoint 举例：若您的源端 Endpoint 为 obs.cn-north-1.myhuaweicloud.com 且使用 http 协议访问，则此处填 http://obs.cn-north-1.myhuaweicloud.com。若您使用https协议，则填写 https://obs.cn-north-1.myhuaweicloud.com
源端 AccessKey	填写您在源端的 AccessKey。您可以登录华为云管理控制台，将鼠标置于页面右上方的账号图标，单击 accesskeys 查看
源端 SecretKey	填写您在源端的 SecretKey。您可以登录华为云管理控制台，将鼠标置于页面右上方的账号图标，单击 accesskeys 查看
源 Bucket 名称	填写您在源端待迁移数据所在的 Bucket 名称，请确保 Bucket 名称填写准确无误
源文件前缀	全部：对源 Bucket 内全部文件进行迁移 指定文件名前缀：对源 Bucket 内指定前缀下的文件进行迁移。创建成功后，每一条前缀都将生成一条迁移任务。若您在创建时源端指定了 2 个前缀，则在创建完成后的任务列表中看到 2 条迁移任务
源文件时间范围	全部：对源 Bucket 内全部文件进行迁移 指定时间：只迁移指定时间范围内源端新增或变更的文件，如 2018-07-09 至 2019-11-18（当日零点）

目的端设置

您需要迁移目的端信息进行设置。

配置项	配置描述
目的端 AccessKey	填写目的端 Accesskey。您可以点击控制台右上角账号名称的安全中心查看
目的端 SecretKey	填写目的端 SecretKey。您可以点击控制台右上角账号名称的安全中心查看
目的端 Bucket 名称	填写您希望到的目的端 Bucket 名称，请确保 Bucket 名称填写准确无误 当前仅支持迁移到华北-北京、华东-苏州、华南-广州、华北-保定、华中-武汉的 Bucket 若您计划在目的端保持源存储类型不变，则源端和目的端应该同时选择多 AZ 类型 Bucket，或者同时选择单 AZ 类 Bucket。若源端和目的端间一端为单 AZ 但一端为多 AZ，当您选择"源存储类型"时，会存在潜在的类型错位，详情请查看三方云和 BOS 存储类型对应关系
保存路径	根目录：数据存在目的端 Bucket 的根目录中 指定目录：输入一个指定目录。该目录可以是已有的目录，也可以是新建的目录（若当前不存在将在目的端 Bucket 自动创建）
存储类型	若目标 Bucket 为单 AZ 类型，您可以选择源存储类型、标准存储、低频存储、冷存储或归档存储。不同存储类型的差异请查看分级存储 若目标 Bucket 为多 AZ 类型，则仅支持源存储类型、标准存储-多 AZ 和低频存储-多AZ 若您选择"源存储类型"，可能会有潜在的类型错位现象。关于不同云厂商和 BOS 间存储类型的对应关系，请查看三方云和 BOS 存储类型对应关系
同名保留策略	保留源文件：若目的端中有源端同名文件，则仅保留源端文件，目的端同名文件全部被替换 保留目的文件：若目的端中有源端同名文件，则仅保留目的端文件，源端同名文件跳过
ACL权限设置	遵循目的Bucket权限：迁移完成后ACL权限与目的Bucket权限一致 迁移源端文件权限：迁移完成后ACL权限与迁移源端文件权限一致

迁移模式设置

您需要根据迁移需求选择合适的迁移模式，CloudFLow 支持半托管迁移和全托管迁移。关于迁移模式的介绍，请查看全托管迁移和半托管迁移介绍。

配置项	配置描述
迁移模式	全托管迁移：即使用公网发起源端和目的端间的端到端数据迁移，无需在源端搭建迁移服务 半托管迁移：您需要先在源端部署迁移服务，并安装 CloudFlow 官方迁移 Agent，适用于专线环境迁移、源端云服务器拉流迁移的场景。关于 Agent 下载和安装教程，请查看全托管迁移和半托管迁移介绍

性能设置

您需要根据迁移需求选择合适的性能设置，CloudFLow 配置每秒文件数和迁移速度限制。如果整个迁移过程时间较长，可以利用限制迁移文件数和调整迁移速度，在低谷时加速迁移以确保业务稳定，而在高峰时减缓或暂停以控制成本。

配置项	配置描述
性能配置	迁移任务支持每秒迁移文件数控制。若选择不限制，系统会自动为您匹配最优性能。若您选择每秒文件数指定上限，可在0～2000个之间指定每秒迁移文件数。 迁移任务支持迁移速度限制。若选择不限制，系统会自动为您匹配最优性能。若您选择迁移速度限制，可在0～250Mbps之间指定迁移最高速度。若您的迁移文件数量或容量较大，也可以通过工单提前联系我们。 迁移速度限制支持配置指定时间段限速与全时段限速，目前仅支持配置5条指定时间段限速规则。

查看迁移状态和进度

在数据流转平台 CloudFlow 控制台，您可以查看所有迁移任务的状态和进度。

迁移状态

• 待迁移：若用户指定时间发起数据迁移，任务状态为待迁移；
• 任务完成有失败文件：任务完成，但部分文件迁移成功，部分失败。您可以在列表中查看迁移成功和失败的数量，并导出失败文件列表；
• 任务成功：任务完成，且文件全部迁移成功；
• 任务暂停：中途主动暂停迁移任务；
• 任务失败：计划迁移的文件全部迁移失败，0个文件迁移成功，您需要排查迁移失败的原因。

说明： 由于迁移任务时间可能较长，列表中迁移成功和失败的文件数量将会每 30 秒更新一次。若数字暂停，请耐心等待。

相关操作

• 查看详情：点击后查看任务配置详情和任务传输详情；
• 导出失败文件列表：点击后可以下载当前的迁移失败文件；
• 删除任务：任务完成后讲不需要的任务删除。任务删除后不影响已经迁移的文件；
• 暂停任务：当任务处于"迁移中"或者"待迁移"状态时将迁移任务暂停，适合迁移配置错误或不希望继续迁移的场景，以便及时阻止任务。点击暂停任务后，该按钮变为"恢复任务"，点击后可断点重传。