对象存储BOS

    概述

    BosImport工具用于将其它云存储的数据迁移到BOS。 工具基于C-S结构实现,client端负责读取文件列表, 任务调度和进度统计等工作, 所有和迁移相关的参数/配置都在client端进行;迁移任务在server端完成, client端通过RPC请求通知server对哪些文件进行迁移。

    BosImport工具具有以下特点:

    • 支持多种迁移方式, 可扩展性良好, 支持迁移不同的源端目的端,目前支持AWS S3、阿里云OOS、腾讯云COS、七牛、小米生态云、BOS等;
    • 支持实时迁移并发度/压力调节,server"热升级";
    • 支持迁移任务热启停,迁移进度实时显示;
    • 数据传输过程不落磁盘, 减少磁盘IO, 传输过程中将大文件切块传输, 块大小可以实时配置, 最大效率地利用迁移机器的带宽资源;
    • 负载均衡, client会选择没有压力的server进行迁移任务;
    • 支持自定义迁移的任务列表和文件数目;
    • 支持迁移任务QPS和流量限速;
    • 支持多种迁移策略: 1. FORCE_OVERWRITE: 强制覆盖目的端文件, 可能会破坏目的端文件, 危险, 慎用, 在确定需求的前提下使用; 2. KEEP_DESTITNATION: 如果目的端有同名文件文件存在则跳过; 3. KEEP_NEWER: 如果目的端有同名文件存在, 且新于源端文件, 则跳过, 否则覆盖之; 如果目的端没有"同名"文件(有可能迁移时文件需要改名)存在, 则按照迁移规则直接复制到目的端

    下载地址

    文件名及下载地址 MD5
    bosimport-1.0.0.tar a8093d5cda3d13c38a563f622440e3a1

    运行环境

    Java 1.7及以上

    目录结构

    ├── client
    │   ├── client.jar   # client jar,负责读取文件列表, 任务调度和进度统计等工作
    │   ├── resources    # client配置文件夹
    │   │   ├── client.properties   # client迁移任务配置文件
    │   │   └── client_logback.xml   # client日志配置文件
    │   ├── start_client.sh   # 启动client进程
    │   └── stop_client.sh   # 停止client进程
    ├── properties_examples   # 迁移任务client.properties不同源示例配置
    │   ├── client.properties.bos   # BOS迁移到BOS
    │   ├── client.properties.bos-check   # BOS到BOS校验
    │   ├── client.properties.cos   # COS迁移到BOS
        ├── client.properties.fds   # 小米生态云迁移到BOS
    │   ├── client.properties.http   # HTTP迁移到BOS
    │   ├── client.properties.oss   # OOS迁移到BOS
    │   ├── client.properties.qiniu   # 七牛迁移到BOS
    │   └── client.properties.s3   # AWS S3迁移到BOS
    ├── server
    │   ├── resources   # server配置文件夹
    │   │   ├── server.properties   # server配置文件
    │   │   └── server_logback.xml   # server日志配置文件
    │   ├── server.jar   # server.jar,负责读取数据源并迁移到BOS
        ├── supervise.sh   # supervisor脚本,保持server进程退出自动重启
    │   ├── start_server.sh   # 启动server进程
    │   └── stop_server.sh   # 停止server进程
    ├── start_migration.sh   # 一键启动迁移任务,包括server和client
    └── stop_migration.sh   # 一键停止迁移任务,包括server和client
    一篇
    BOSFTP
    一篇
    部署方式