MinIO PALO 提供两种方式从 MinIO 导入文件: 使用 S3 Load 将 MinIO 文件导入到 PALO 中,这是一个异步的导入方式。 使用 TVF 将 MinIO 文件导入到 PALO 中,这是一个同步的导入方式。 使用 S3 Load 导入 使用 S3 Load 导入对象存储上的文件。
本节展示了不同导入方式下的 JSON 格式使用方法。
INTO TABLE INTO TABLE 指定数据库名与表名,可以省略数据库名。 PARTITION 指定导入的分区。如果用户能够确定数据对应的 partition,推荐指定该项。不满足这些分区的数据将被过滤掉。 COLUMNS TERMINATED BY 指定导入的列分隔符。 LINE TERMINATED BY 指定导入的行分隔符。
本节展示了不同导入方式下的 JSON 格式使用方法。
相比 DELETE 语句,使用删除标记在以下场景中具有更好的易用性和性能优势: CDC 场景 :在从 OLTP 数据库同步数据到 PALO 时,binlog 中的 Insert 和 Delete 操作通常交替出现。使用 DELETE 语句无法高效处理这些删除操作。
您可以使用 IFNULL 函数在出现空值时返回一个值。例如,表达式 IFNULL(arg,0) 在 arg 为 NULL 时返回 0,在 arg 不为 NULL 时返回其值。每个函数的具体行为,请参阅“函数”章节 NULL 和比较运算符 要测试结果是否为 NULL,只能使用比较条件 IS NULL 和 IS NOT NULL。如果使用一个结果取决于 NULL 的条件,则结果为 UNKNOWN。
Flink 使用 Flink Doris Connector 可以实时的将 Flink 产生的数据(如:Flink 读取 Kafka,MySQL 中的数据)导入到 PALO 中。 使用限制 需要依赖用户部署的 Flink 集群。 使用 Flink 导入数据 使用 Flink 导入数。在以下步骤中,演示如何通过 Flink 快速导入数据。
Flink 使用 Flink Doris Connector 可以实时的将 Flink 产生的数据(如:Flink 读取 Kafka,MySQL 中的数据)导入到 Doris 中。 使用限制 需要依赖用户部署的 Flink 集群。 使用 Flink 导入数据 使用 Flink 导入数据,详细步骤可以参考 Flink-Doris-Connector。
HDFS Doris 提供两种方式从 HDFS 导入文件: 使用 HDFS Load 将 HDFS 文件导入到 Doris 中,这是一个异步的导入方式。 使用 TVF 将 HDFS 文件导入到 Doris 中,这是一个同步的导入方式。
MySQL Dump PALO 在 0.15 之后的版本已经支持通过 mysqldump 工具导出数据或者表结构 使用示例 导出 导出 test 数据库中的 table1 表: mysqldump -h127.0.0.1 -P9030 -uroot --no-tablespaces --databases test --tables table1 导出 test 数据库中的 table1 表结构: