创建迁移任务 在您使用 CloudFlow 在线迁移服务前,需要先创建迁移任务。
创建迁移任务
CloudFlow 是百度智能云存储推出的数据迁移服务,您可以通过可视化操作发起数据从三方云对象存储到百度智能云对象存储 BOS 的数据迁移。您在迁移前需要创建一个迁移任务,并在任务中填写任务信息、数据源信息、数据目的信息等。
配置项目
配置内容
任务设置
任务名称:名称可以不具备唯一性,长度最大64字符,支持大小英文字母,数字,特殊字符_-。
开始迁移时间:立即迁移(默认选项)、指定迁移开始时间:年-月-日 整点。
源端设置
服务提供商:请选择源数据所在的云服务商。
增量迁移:选择是否开启源端增量迁移。增量迁移采用定时扫方式,您需要设置扫描周期,扫描周期最小间隔周期为 1 小时,最大间隔周期为 1 周。请根据文件数量选择合适的扫描周期(参考:100 万级文件数量扫描一轮耗时约 4 分钟左右,1000 万级文件数量扫描一轮耗时约 1 小时左右)。扫描过程举例:用户首次全量迁移任务开始时间为 2020-09-09-10:00:00,第一次全量迁移花费3天3小时,全量迁移结束时间为 2020-09-12-13:00:00,那么 2020-09-09-10:00:00 之前的文件全部迁移完成。若用户设置了1小时周期的定时扫任务,系统开始在 2020-09-13-14:00:00 开始对 2020-09-09-10:00:00到 2020-09-13-14:00:00之间的文件进行增量扫描迁移;2020-09-13-15:00:00 开始对 2020-09-13-14:00:00 到 2020-09-13-15:00:00 之间产生的增量数据进行扫描迁移,以此类推。
源端 AK:输入在源厂商中的 AccessKey。建议为本次迁移创建一个新的 AccessKey,本次迁移结束后请在源端及时删除。
源端 SK:输入在源厂商中的 SecretKey。
源端Endpoint:输入源端 Bucket 所在的 Endpoint。如您从阿里云 OSS 发起数据迁移,某个 Bucket 的 Endpoint 为 oss-cn-beijing.aliyuncs.com,则在此处填入:http[s]://oss-cn-beijing.aliyuncs.com。
源端 Bucket 名称:计划迁移的源 Bucket 名称。
源文件前缀:全部、指定文件名前缀(最多输入20个前缀,一个前缀一行)。
源文件时间范围:全部、
指定时间:只迁移指定时间范围内源端新增或变更的文件,如 2018-07-09 至 2019-11-18(当日零点)。指定时间段迁移目前暂不支持增量迁移。
目的端设置
目的端 AccessKey。
目的端 SecretKey。
目的 Bucket 名称:输入 BOS 的目的 Bucket 名称。注意事项:(1)当前仅支持目的端在北京、苏州和广州的Bucket;(2)若您计划在目的端将存储类型设置为"与源端相同",则源端和目的端需要同时选择单 AZ 类型 Bucket,或同时选择多 AZ 类型 Bucket。若源端选择多 AZ 类型 Bucket,目的端选择单 AZ 类型 Bucket,则目的端全部转为相应单 AZ 类型文件;若源端选择单 AZ 类型 Bucket,目的端选择多 AZ 类型 Bucket,则目的端会将标准存储和低频存储转为相应的多 AZ 类型文件,源端其他类型如归档存储/深度归档存储/冷归档存储等无法迁移,请在任务结束后查看失败文件列表。
保存路径:保存到根目录、
保存到指定目录(可以是已有目录,若输入目录未创建则自动创建新目录)。
存储类型:请选择目的端文件的存储类型。若目的端 Bucket 为多 AZ 类型,则可选"源存储类型"、"标准存储-多AZ"、"低频存储-多AZ" ;若目的端 Bucket 为单 AZ 类型,则可选"源存储类型"、"标准存储"、"低频存储"、"冷存储"、"归档存储"。注意事项:(1)BOS 归档存储当前支持部分地域,请查看使用限制 ;(2)若您选择"源存储类型",请将源端的"冷归档存储"或者"深度归档存储"在迁移前转换为其他存储类型,或取回后在取回的有效期内进行迁移,否则无法迁移;(3)选择"源存储类型"时,源端和 BOS 间存储类型的对应关系请查看本文档下方说明。
同名保留策略:保留源文件(若目的端中有源端同名文件,则仅保留源端文件,目的端同名文件全部被替换)、保留目的文件(若目的端中有源端同名文件,则仅保留目的端文件,源端同名文件跳过)。
ACL 权限设置:遵循目的 Bucket 权限(即迁移文件的权限与目的Bucket权限保持一致)、迁移源端文件权限(即将源端文件的私有、公共读迁移到目的端,其他自定义文件权限默认替换为目的Bucket权限)。
性能设置
迁移任务支持每秒迁移文件数控制。若选择不限制,系统会自动为您匹配最优性能。若您选择每秒文件数指定上限,可在0~2000个之间指定每秒迁移文件数。
迁移任务支持迁移速度限制。若选择不限制,系统会自动为您匹配最优性能。若您选择迁移速度限制,可在0~250Mbps之间指定迁移最高速度。若您的迁移文件数量或容量较大,也可以通过工单提前联系我们。
迁移速度限制支持配置指定时间段限速与全时段限速,目前仅支持配置5条指定时间段限速规则。
三方云和BOS存储类型间对应关系
若您在目的端选择固定的存储类型,那么源端全部类型文件都将在目的端存为指定存储类型。当您在目的端选择"源存储类型"时 ,由于业界存储类型不能完全对齐,且由于最冷一级数据的取回和读取限制,BOS 针对不同迁移场景对源端和 BOS 间存储类型之间做了如下对应关系。
源端和BOS存储桶类型
源端存储类型
对应BOS存储类型
多 AZ -> 多 AZ
标准存储-多 AZ
标准存储-多 AZ
低频存储-多AZ
低频存储-多AZ
单 AZ -> 单 AZ
标准存储
标准存储
低频存储
低频存储
归档存储
冷存储
深度归档存储/冷归档存储
归档存储
多 AZ -> 单 AZ
标准存储-多 AZ
标准存储
低频存储-多 AZ
低频存储
单 AZ -> 多 AZ
标准存储
标准存储-多 AZ
低频存储
低频存储-多 AZ
其他类型
无法迁移,请在任务失败报告获取文件清单
说明 :
AWS 迁移说明:AWS 存储桶不区分多 AZ 和单 AZ。CloudFlow 对于 AWS S3 中国区的迁移任务,当目的端选择"源存储类型"后,遵循如下规则:
目的端选择单AZ存储桶:(1)S3 标准 - BOS 标准存储;(2)S3 单区 IA & 标准 IA - BOS 低频存储;(3)S3 Glacier - BOS 冷存储;(4)S3 Deep Glacier (取回后)- BOS 冷存储;
目的端选择多 AZ 存储桶:(1)S3 标准 - BOS标准存储-多AZ;(2)S3 单区IA & 标准IA - BOS低频存储-多AZ;(3)S3 其他类型:迁移失败。