DataX 读写 BOS DataX DataX 是一个异构数据源离线同步工具,致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。
可以使用 Flink CDC 或 Datax 将事务数据库的 CDC 数据流写入到 Doris 中。 批量导入:将数据从外部存储系统(如对象存储、HDFS、本地文件、NAS)批量加载到 Doris 表中,适用于非实时数据导入的需求。 可以使用 Broker Load 将对象存储和 HDFS 中的文件写入到 Doris 中。
核 CPU、64GB 内存、1 块 100GB ESSD PL1 云磁盘 测试版本为 Doris-2.1.5 关闭打印 parpared 语句的 audit log 以提高性能 数据集 tpch sf10 lineitem 表数据集,30 个文件,总共约 22 GB,1.8 亿行 测试工具 DataX
核 CPU、64GB 内存、1 块 100GB ESSD PL1 云磁盘 测试版本为 PALO-2.1.5 关闭打印 parpared 语句的 audit log 以提高性能 数据集 tpch sf10 lineitem 表数据集,30 个文件,总共约 22 GB,1.8 亿行 测试工具 DataX