概述

本文档介绍本地数据上云的典型实践操作。如果您的数据存储在自建 IDC，或存储在本地托管机房，可以参考本文档选择合适的数据迁移方式，将本地数据迁移至对象存储 BOS。

前提条件

• 已开通对象存储 BOS，并准备好用于接收迁移数据的目标 Bucket 或云上存储路径。
• 如需使用 BOS CMD 在线迁移，已在迁移机器上安装并配置 BOS CMD。
• 如需使用离线迁移，已准备联系人、寄送信息，并可通过工单或客户经理联系百度智能云。## 需求场景

需求场景 1：历史存量数据迁移上云

存量数据的特点是数据量一般比较大，迁移需要较长时间，但数据基本固定，很少再进行修改。本地数据上云时，您可以根据自身网络条件选择在线方式或离线方式进行迁移。

需求场景 2：增量数据迁移上云

当您在迁移历史存量数据的同时，源端可能还在持续写入新数据。针对这部分增量数据，BOS 也提供相应的数据上云方案。

方案概述

BOS 提供命令行 BOS CMD 工具、月光宝盒物理设备、硬盘寄送等多种数据迁移方式，您可以根据自己的需求选择合适的迁移方案。

实践操作

针对历史存量数据的操作

方式 1：BOS CMD 工具在线迁移上云

本地数据上云的在线方式适用于客户本地网络条件较好、带宽充裕的情况。在这种情况下，推荐通过 BOS CMD 工具的 Object 上传功能实现数据上云。

BOS CMD 是 BOS 提供的命令行工具，提供丰富的功能，方便用户对 BOS 资源进行各种操作和管理。BOS CMD 支持批量上传、同步上传（sync）、单文件上传三种 Object 上传方式，使用批量上传和同步上传（sync）可以高效解决本地存量数据在线上云的问题。

在已安装并配置 BOS CMD 的迁移机器上，执行以下命令进行批量上传：

1$ bcecmd bos cp <local-path> <bos-path> --recursive [--storage-class [STORAGE_CLASS]] [--restart] [--quiet] [--yes] [--disable-bar]

其中，local-path 为本地上传文件的目录，bos-path 为目标 BOS 路径。具体操作及注意事项请参见 BOS CMD Object 上传功能。

方式 2：月光宝盒拷贝后物理寄送方式上云

如果客户侧网络环境不好，存在带宽小、网络不稳定或带宽成本较高等情况，在有限带宽下进行传输速度不理想，推荐使用月光宝盒进行离线传输。

月光宝盒是百度智能云 BOS 提供的一种 TB 级数据传输解决方案，它使用存储设备在百度智能云和客户之间传输大量数据。它解决了大规模数据传输中出现的高昂网络成本、较长传输时间和安全等问题，且具有简单、快速、安全、成本低的优点。

和 BOS 提供的另一种离线方式“本地数据离线传输”相比，月光宝盒由 BOS 为您提供硬盘，因此，月光宝盒适用于迁移量大于等于 20 TB 的情况。

月光宝盒正处于公测期间，使用前需要填写公测申请： 月光宝盒公测申请

具体操作流程及注意事项请参见： 月光宝盒操作流程

方式 3：自有硬盘寄送方式上云

BOS 还提供了一种离线方式“本地数据离线传输”。它和“月光宝盒”的不同之处在于，离线传输仅支持客户自己提供硬盘。因此，离线传输适用于迁移量小于 20 TB 的情况。

使用离线传输前，请先通过 工单 或者客户经理联系我们。您把数据拷贝到硬盘上后，请把硬盘寄送到下面地址：

3. 与百度智能云确认离线传输事项后，将本地数据拷贝到自有硬盘，并将硬盘寄送至以下地址：

   • 地址：北京市房山区窦店镇广茂路 37 号 光环新网数据中心
   • 电话：18110062722
   • 联系人：BJDD 机房

注意： 硬盘寄送请选择保价，邮费需自付；硬盘寄回时一般选择到付。北京同城通常 1 天可达，异地通常 2 天内可达。硬盘寄回前会按照百度安全要求统一清空硬盘，请提前确认数据已完成迁移并保留必要备份。

针对源端增量数据的操作

方式 1：BOS CMD sync 功能

BOS CMD 的同步上传（sync）功能可以方便快捷地解决本地数据上云过程中增量数据的问题。同步上传默认支持批量操作，可以将本地目录同步到 BOS。如果 BOS 端已经有名称相同且修改时间比本地文件新的文件，同步上传会忽略此文件，只同步新文件或有改动的文件。sync 命令会同时列举本地和 BOS 侧文件，对于不同情况分别执行不同的动作，以保证增量数据准确、安全上传。

在已安装并配置 BOS CMD 的迁移机器上，执行以下命令进行同步上传（sync）：

1$ bcecmd bos sync <local_dir> bos:/<bucket_name>/[prefix] [--exclude EXCLUDE] [--include INCLUDE] [--delete] [--exclude-delete EXCLUDE-DELETE] [--dryrun] [--yes] [--quiet] [--storage-class STORAGE-CLASS] [--sync-type SYNC-TYPE] [--concurrency CONCURRENCY] [--restart]

其中，local_dir 为本地同步目录。具体操作及注意事项请参见 BOS CMD 同步上传(sync)功能。

相关产品

• 数据流转平台 CloudFlow - 月光宝盒：月光宝盒适用于百 TB 级数据的传输和迁移上云，它使用特定存储设备在百度智能云和客户之间传输大量数据。它解决了大规模数据传输中出现的高昂网络成本、较长传输时间和安全等问题，且具有简单、快速、安全、成本低的优点。

  月光宝盒由 BOS 为您提供移动存储设备，该设备具有大容量、可视化操作、军工级别防护加密等特性。单台月光宝盒设备的标定容量为 96 TB，实际使用容量为 83 TB 左右/每台，适用于百 TB 级别的本地 IDC 数据迁移上云场景。

• 对象存储 BOS - 硬盘寄送方式上云：它和“月光宝盒”的不同之处在于，设备需要由客户自行准备。您可以将数据写入自有硬盘，将硬盘批量寄送到百度智能云机房，我们将为您免费传输上云。该方案适用于需要自备硬盘的本地 IDC 数据迁移上云场景。
• BOS CMD 同步上传(sync)功能：方便快捷地解决本地数据上云过程中增量数据的问题。同步上传默认支持批量操作，可以将本地目录同步到 BOS。如果 BOS 端已经有名称相同且修改时间比本地文件新的文件，同步上传会忽略此文件，只同步新文件或有改动的文件。sync 命令会同时列举本地和 BOS 侧文件，对于不同情况分别执行不同的动作，以保证增量数据准确、安全上传。