使用CopyTable工具进行数据迁移
更新时间:2022-12-01
CopyTable工具介绍
CopyTable工具是HBase自带的一个数据迁移工具,可以帮助用户在集群间进行数据迁移。
迁移优势
- CopyTable工具是HBase内建工具,可以很好地支持用户在自建HBase集群与云数据库HBase产品间的数据迁移。
- CopyTable工具底层使用Hadoop MapReduce进行数据迁移,速度较快。
注意事项
- CopyTable工具更多地被用于停机迁移
- CopyTable工具使用HBase API进行数据迁移,对集群吞吐量可能有影响
迁移示例
- 购买一台BCC,在BCC中下载并配置HBase shell工具包,令其能够链接目标集群
- 在目标集群建表。目标表配置与源集群表配置一致:
create 'copytable_example','f1'
- 修改BCC中的hbase-site.xml,令BCC链接源集群。
- 在源集群中运行以下命令,进行迁移,其中$ZK1,$ZK2,$ZK3使用目标集群的真实Zookeeper地址代替:
hbase org.apache.hadoop.hbase.mapreduce.CopyTable --peer.adr=$ZK1,$ZK2,$ZK3:2181:/hbase copytable_example
- 连接目标集群,查看迁移结果。
关于CopyTable工具的更多详细信息,请参照官方文档CopyTable。