背景信息

本文介绍BOS存储桶数据复制的操作教程。百度智能云数据流转平台是百度智能云提供的存储产品数据迁移服务。使用该服务，您不仅可以将第三方数据迁移至百度智能云对象存储 BOS，也能轻松实现对象存储BOS各存储桶间的数据复制。

使用数据流转平台 CloudFlow，您只需在控制台填写源数据地址和目标 BOS 地址信息，并创建复制任务即可。启动复制后，您可以通过控制台管理复制任务，查看复制进度等信息；也可以查看复制失败文件列表，并中断、删除、恢复复制任务等。

适用场景

• 异地容灾：BOS 为对象数据提供了99.9999999999%（12个9）的可用性，但仍然存在各种不可抗因素如战争、自然灾害等因素导致数据丢失。如果您无法忍受因数据丢失带来的损失，希望显式地在不同存储桶维护一份数据副本，那么您可以通过存储桶复制实现数据的异地容灾，当某个数据中心因为不可抗因素损毁时，另一个存储桶的数据中心仍然可以提供副本数据以供您使用。

• 数据迁移与备份：您可以根据业务发展需要，将业务数据从一个存储桶复制到另一个存储桶，实现数据迁移和数据备份。

  说明： 跨地域数据备份容灾与对数据复制延时要求高，追求低延时的场景推荐使用对象存储的数据同步功能。

准备工作

开始复制前，您需要在百度智能云 BOS 中做一些准备工作。

百度智能云BOS准备

预估复制数据

预估需要复制的数据，包括需要复制的存储量和复制文件个数。您可以登录百度智能云BOS 控制台，单击某个待复制存储空间的名称，查看待复制存储空间（Bucket）的存储量和对象（文件）数量。

说明： 复制任务的复制时间取决于待复制文件数量和文件容量。CloudFlow 会自适应您的复制带宽性能，但若文件数量和容量较大，复制时间可能较长。您可以在控制台查看复制进程，若有复制失败的文件，您可以导出失败文件并重传。

解冻存储空间待复制数据

对于百度智能云 BOS 的归档存储，您需要先在百度智能云将相应文件解冻（取回），待解冻完成后再创建复制任务。在线复制服务并不会对源端数据执行解冻操作。若您源端有未解冻、解冻中的文件，则这些文件都会复制失败。

说明： 请您务必解冻操作完成后再创建复制任务。请您根据待复制的数据总量确保解冻时长，以防复制期间数据再次变成冻结状态。解冻（取回）操作可能会收取一定费用，计费规则可咨询您的源存储空间服务运营商。

创建目标存储空间（Bucket）

创建目标存储空间，用于存放复制的数据。详情请参见创建存储空间。

复制实施

登录数据流转平台

1.登录数据流转平台CloudFlow

登录数据流转平台 CloudFlow 管理控制台。

2.登录数据流转平台CloudFlow

进入控制台后，单击【新建迁移任务】，进入任务配置页面，进行参数的设置。

任务设置

您需要对迁移任务的名称和开始迁移时间进行设置。

配置项	配置描述
任务名称	输入迁移任务名称 名称可以不具备唯一性，长度最大64字符，支持大小英文字母，数字，特殊字符_- 创建一个迁移任务后，后台自动生成一个任务 ID，该任务 ID 可以作为迁移任务的唯一标识
开始迁移时间	立即迁移：任务创建完成后立即启动迁移进程 指定迁移开始时间：您可以指定任务的开始复制时间。若您希望从业务低峰时间开始复制数据，如深夜 12：00，可以提前指定开始时间 指定固定时间段迁移：您可以根据业务需求，指定任务进行的固定时间段，如 年-月-日 时-分-秒 至 年-月-日 时-分-秒。

源端设置

您需要复制源端信息进行设置。

配置项	配置描述
数据源端	选择源端的云服务商，此处迁移源服务提供商应选择百度智能云 BOS
源端 Endpoint	填写源端 Endpoint 信息，用于指定源端存储桶所在地域。点击Region与Endpoint查看百度智能云 BOS Endpoint 举例：若您的源端 Endpoint 为 bj.bcebos.com 且使用 http 协议访问，则此处填 http://bj.bcebos.com。若您使用https协议，则填写 https://bj.bcebos.com
源端 AccessKey	填写您在源端的 AccessKey。您可以登录百度智能云管理控制台，将鼠标置于页面右上方的账号图标，单击 accesskeys 查看
源端 SecretKey	填写您在源端的 SecretKey。您可以登录百度智能云管理控制台，将鼠标置于页面右上方的账号图标，单击 accesskeys 查看
源 Bucket 名称	填写/下拉选择您在源端待复制数据所在的 Bucket 名称，请确保 Bucket 名称准确无误
源文件前缀	全部：对源 Bucket 内全部文件进行复制 指定文件名前缀：对源 Bucket 内指定前缀下的文件进行复制。创建成功后，每一条前缀都将生成一条复制任务。若您在创建时源端指定了 2 个前缀，则在创建完成后的任务列表中看到 2 条复制任务
源文件时间范围	全部：对源 Bucket 内全部文件进行复制 指定时间：只复制指定时间范围内源端新增或变更的文件，如 2018-07-09 至 2019-11-18（当日零点）

目的端设置

您需要复制目的端信息进行设置。

配置项	配置描述
目的端 AccessKey	填写目的端 AccessKey。您可以点击控制台右上角账号名称的安全中心查看
目的端 SecretKey	填写目的端 SecretKey。您可以点击控制台右上角账号名称的安全中心查看
目的端 Bucket 名称	填写/下拉选择您希望保存到的目的端 Bucket 名称，请确保 Bucket 名称准确无误 当前仅支持复制到华北-北京，华北-保定，华东-苏州，华南-广州，华中金融-武汉地域的非专属存储桶 若您计划在目的端保持源存储类型不变，则源端和目的端应该同时选择多 AZ 类型 Bucket，或者同时选择单 AZ 类 Bucket。若源端和目的端间一端为单 AZ 但一端为多 AZ，当您选择"源存储类型"时，会存在潜在的类型错位，详情请查看三方云和 BOS 存储类型对应关系
保存路径	根目录：数据存在目的端 Bucket 的根目录中 指定目录：输入一个指定目录。该目录可以是已有的目录，也可以是新建的目录（若当前不存在将在目的端 Bucket 自动创建）
存储类型	若目标 Bucket 为单 AZ 类型，您可以选择源存储类型、标准存储、低频存储、冷存储或归档存储。不同存储类型的差异请查看分级存储 若目标 Bucket 为多 AZ 类型，则仅支持源存储类型、标准存储-多 AZ 和低频存储-多AZ 若您选择"源存储类型"，可能会有潜在的类型错位现象。关于不同云厂商和 BOS 间存储类型的对应关系，请查看三方云和 BOS 存储类型对应关系
同名保留策略	保留源文件：若目的端中有源端同名文件，则仅保留源端文件，目的端同名文件全部被替换 保留目的文件：若目的端中有源端同名文件，则仅保留目的端文件，源端同名文件跳过
ACL权限设置	遵循目的Bucket权限：迁移文件的权限与目的Bucket权限保持一致 迁移源端文件权限：将源端文件的私有、公共读迁移到目的端，其他自定义文件权限默认替换为目的Bucket权限

复制模式设置

您需要根据复制需求选择合适的复制模式，CloudFLow 支持半托管迁移和全托管迁移。关于迁移模式的介绍，请查看全托管迁移和半托管迁移介绍。

配置项	配置描述
迁移模式	全托管迁移：即使用公网发起源端和目的端间的端到端数据迁移，无需在源端搭建迁移服务 半托管迁移：您需要先在源端部署迁移服务，并安装 CloudFlow 官方迁移 Agent，适用于专线环境迁移、源端云服务器拉流迁移的场景。关于 Agent 下载和安装教程，请查看全托管迁移和半托管迁移介绍

性能设置

您需要根据迁移需求选择合适的性能设置，CloudFLow 配置每秒文件数和迁移速度限制。如果整个迁移过程时间较长，可以利用限制迁移文件数和调整迁移速度，在低谷时加速迁移以确保业务稳定，而在高峰时减缓或暂停以控制成本。

配置项	配置描述
性能配置	迁移任务支持每秒迁移文件数控制。若选择不限制，系统会自动为您匹配最优性能。若您选择每秒文件数指定上限，可在0～2000个之间指定每秒迁移文件数。 迁移任务支持迁移速度限制。若选择不限制，系统会自动为您匹配最优性能。若您选择迁移速度限制，可在0～250Mbps之间指定迁移最高速度。若您的迁移文件数量或容量较大，也可以通过工单提前联系我们。 迁移速度限制支持配置指定时间段限速与全时段限速，目前仅支持配置5条指定时间段限速规则。

查看复制状态和进度

在数据流转平台 CloudFlow 控制台，您可以查看所有复制任务的状态和进度。

复制状态

• 待迁移：若用户指定时间发起数据复制，任务状态为待迁移；
• 任务完成有失败文件：任务完成，但部分文件复制成功，部分失败。您可以在列表中查看复制成功和失败的数量，并导出失败文件列表；
• 任务成功：任务完成，且文件全部复制成功；
• 任务暂停：中途主动暂停复制任务；
• 任务失败：计划复制的文件全部复制失败，0个文件复制成功，您需要排查复制失败的原因。

说明： 由于复制任务时间可能较长，列表中复制成功和失败的文件数量将会每 30 秒更新一次。若数字暂停，请耐心等待。

相关操作

• 查看详情：点击后查看任务配置详情和任务传输详情；
• 导出失败文件列表：点击后可以下载当前的复制失败文件；
• 删除任务：任务完成后讲不需要的任务删除。任务删除后不影响已经复制的文件；
• 暂停任务：当任务处于"迁移中"或者"待迁移"状态时将复制任务暂停，适合复制配置错误或不希望继续复制的场景，以便及时阻止任务。点击暂停任务后，该按钮变为"恢复任务"，点击后可断点重传。