三方云数据迁移到BOS

概览

若您希望将其他云服务商中对象存储的数据迁移到 BOS,您可以使用 BOS 提供的如下若干方案。您可以根据自身需求选择合适的迁移方式。

需求场景

需求场景1:其他云服务商历史数据迁移

历史数据具有数据量较大的特点。针对其他云历史存量数据迁移到 BOS 的场景，百度智能云对象存储 BOS提供了两种迁移方式，分别是 BOS Import 工具和数据流转平台 CloudFlow。

需求场景2:其他云服务商增量数据迁移

当历史数据处于迁移过程时，源端可能还在源源不断的写入新数据。BOS 针对源端的增量数据提供迁移和同步方案，您可以使用 BOS Import 工具、数据流转平台 CloudFlow 和 BOS 镜像回源。

方案概述

针对客户从其他云迁移到 BOS 的场景，百度智能云对象存储 BOS 提供了三种迁移方式，分别是 CloudFlow 数据流转平台、BOS Import 工具、镜像回源。

• 数据流转平台 CloudFlow（推荐使用） ：是百度智能云存储推出的存储数据全托管迁移平台，支持可视化创建迁移任务，并对迁移任务的进度进行查看。您可以通过数据流转平台对其他云服务商中的历史存量数据和增量数据发起跨云迁移，也可以对本地自建的对象存储集群进行上云迁移。CloudFlow 支持公网和专线环境的数据迁移。
• BOS Import 脚本化工具 ：具有可靠、安全、稳定的特点，您可以从 BOS 官网中下载并安装到本地，配置后即可发起数据迁移，适用于 1 TB 以上的数据迁移；
• BOS 镜像回源：您可以为存储桶 Bucket 配置镜像回源。当用户访问该 Bucket 中某一 Object 时，若发现该 Object 在 BOS 中并不存在，则 BOS 会立刻向预先配置好的回源地址请求该 Object，保证访问正常进行。在请求过程中，源站返回的数据会自动给到请求用户而用户对该过程无感。同时，该数据也会自动存入 BOS，提升日后该类请求的流畅性。

实践操作

历史存量数据跨云迁移

方式1：CloudFlow数据流转平台（推荐使用）

数据流转平台 CloudFlow 是百度智能云存储推出的存储数据全托管迁移平台，通过可视化配置的方式实现三方云到百度智能云的数据迁移。支持的迁移类型为三方对象存储数据到百度智能云对象存储，并支持对迁移任务的进度和结果进行查看。对失败的迁移任务，支持发起迁移重试，并支持对迁移任务发起中断、删除等操作。

数据流转平台支持如下几方面的功能：

• 任务创建：启动一个数据迁移进程前，需要先创建相应的迁移任务；
• 支持源端：数据流转平台支持由阿里云 OSS、腾讯云 COS、金山云 KS3、七牛云 KODO 、华为云 CBS 、AWS 中国区、本地自建 S3 集群移到百度智能云对象存储 BOS；
• 任务管理：当迁移任务创建后，您可以对任务进行管理，如中断、删除、下载失败文件、重启等操作；
• 任务进度查看：迁移任务创建后，您可以对任务的迁移进度进行查看，如当前已经完成迁移的文件数、完成中成功迁移的文件数、失败的文件数、待迁移的文件数等等；
• 支持存量数据和增量迁移的迁移。

您可以登录百度智能云 BOS 控制台，点击左侧导航中的数据迁移来创建迁移任务，也可以直接登录CloudFlow控制台创建迁移任务并发起数据的迁移。详细迁移步骤请参考CloudFlow帮助文档。

方式2：BOS Import工具

BOS Import 工具是百度智能云对象存储 BOS 推出的用于将其它云存储的数据迁移到 BOS 的工具，具有“可拓展性良好”、“支持迁移任务热启停”等多种优点。工具基于 C-S 结构实现，client 端负责读取文件列表, 任务调度和进度统计等工作, 所有和迁移相关的参数/配置都在 client 端进行；迁移任务在 server 端完成, client 端通过 RPC 请求通知 server 对哪些文件进行迁移。

具体使用方式及注意事项请参见：BOS Import 工具

源端增量数据的跨云迁移

您可以通过配置镜像回源规则或 CloudFlow 数据流转平台来完成增量数据的跨云同步。

方式1：CloudFlow数据流转平台

数据流转平台 CloudFlow 是百度智能云存储推出的存储数据全托管迁移平台，通过可视化配置的方式实现三方云到百度智能云的数据迁移，支持对存量数据和增量数据发起跨云迁移和跨云同步。

方式2：镜像回源

镜像回源是一项 Bucket 级别的配置，主要用于帮助用户在不停服的情况进行数据热迁移，解决从其他云迁移到BOS的增量数据问题。

对一个 Bucket 配置了镜像回源后，当用户访问（GetObject）一个 BOS 中的 Object，BOS 发现该 Object 在 BOS 中并不存在时，BOS 会向回源地址请求该 Object，并将源站所返回数据一边返回给请求用户，一边存入 BOS。

具体使用方式及注意事项请参见：BOS镜像回源

相关产品

• 数据流转平台 CloudFlow - 跨云迁移：是百度智能云存储推出的存储数据全托管迁移平台，通过可视化配置的方式实现三方云到百度智能云的数据迁移。支持的迁移类型为三方对象存储数据到百度智能云对象存储，并支持对迁移任务的进度和结果进行查看。对失败的迁移任务，支持发起迁移重试，并支持对迁移任务发起中断、删除等操作。支持由阿里云 OSS、腾讯云 COS、金山云 KS3、七牛云 KODO 、华为云 CBS 、AWS 中国区、本地自建 S3 集群移到百度智能云对象存储 BOS。