对象存储BOS

    部署方式

    BosImport工具主要包括server和client两部分。

    • 对于小于30TB的小规模数据迁移,client和server可以运行在同一个机器上,修改client.properties文件,然后直接sh start_migration.sh启动迁移即可。
    • 对于大规模的数据迁移,或者需要提高迁移速度,可以部署多个server到多台机器上,client通过serverList配置多个server,并根据负载选择一个合适的server进行迁移,从而提高迁移效率。

    注意事项

    1. 单机可以开多个server进程,但是需要注意server/logs文件夹占用空间大小;
    2. server进程线程数需要根据机器CPU核数调整到合适数目,maxConnectionsPerServer建议设置为1,否则fail出现次数容易比较多。

    部署server

    1. 修改server的配置文件 server.properties, 主要修改监听端口号;
    2. 如果需要多个server并发迁移,可以批量复制server文件夹到用于迁移的多台机器上;
    3. 执行sh start_server.sh启动server,通过检查server进程是否监听了指定端口来判断是否已经成功启动server。

    部署client

    修改client.properties文件对client进行配置, 主要配置项包括

    1. 迁移类型:type,迁移名称:migrationName
    2. server响应单次请求所使用的并发数:serverThreadNum
    3. 单次请求文件数量: filesPerRequest
    4. 任务列表: taskList
    5. 文件列表:listDelimiter, 指定文件列表的表示形式: listFormat
    6. 源端目的端ak, sk, endpoint等信息
    7. 迁移策略:migrationStrategy
    8. 切块大小: blockSize, 默认5MB,因为BOS分块上传时Part数目范围是1-10000,blockSize=5MB时可以上传的单个Object最大为50GB,迁移大文件时需要调大该参数,Part数目在1000以内较佳。

    启动迁移

    server和client单机部署时,执行sh start_migration.sh脚本启动server和client,系统根据client.properties文件中配置的文件列表迁移数据;如果server部署到了多台机器上,需要在每台机器上分别执行sh start_server.sh启动server进程。

    停止迁移

    执行sh stop_migration.sh脚本停止server和client。如果server部署到了多台机器上,需要在每台机器上分别执行sh stop_server.sh停止server进程。

    一篇
    概述
    一篇
    配置文件