在 Broker load 导入过程中主要会出现 PENDING 和 LOADING 这两个导入中的状态。如果 Broker load 处于 PENDING 状态,则说明当前导入任务正在等待被执行;LOADING 状态则表示正在执行中。 导入任务的最终阶段有两个:CANCELLED 和 FINISHED,当 Load job 处于这两个阶段时,导入完成。
在导入过程中,期望的子任务并发度可能不等于实际并发度。
在导入过程中,期望的子任务并发度可能不等于实际并发度。
BROKER LOAD 描述 Broker Load 是 PALO 的数据导入方式,主要用于从远程存储系统(如 HDFS 或 S3)导入大规模数据。它通过 MySQL API 发起,是异步导入方式。导入进度和结果可以通过 SHOW LOAD 查询。 在早期版本中,S3 和 HDFS Load 依赖于 Broker 进程,但随着版本优化,现在直接从数据源读取,不再依赖额外的 Broker 进程。
设置导入过滤条件 导入过程中可以通过 WHERE 参数对导入的数据进行条件过滤。
Keywords Plain Text 复制 1 STREAM, LOAD 典型实践 查看导入任务状态 Stream Load 是一个同步导入过程,语句执行成功即代表数据导入成功。
load_example_db_20140102 并按 LoadStartTime 降序排序 SQL 复制 1 SHOW LOAD FROM example_db WHERE LABEL = "load_example_db_20140102" ORDER BY LoadStartTime DESC; 展示指定 db 的导入任务,指定 label 为 load_example_db
MySQL Load PALO 兼容 MySQL 协议,可以使用 MySQL 标准的 LOAD DATA 语法导入本地文件。MySQL Load 是一种同步导入方式,执行导入后即返回导入结果。可以通过 LOAD DATA 语句的返回结果判断导入是否成功。一般来说,可以使用 MySQL Load 导入 10GB 以下的文件,如果文件过大,建议将文件进行切分后使用 MySQL Load 进行导入。
MySQL Load Doris 兼容 MySQL 协议,可以使用 MySQL 标准的 LOAD DATA 语法导入本地文件。MySQL Load 是一种同步导入方式,执行导入后即返回导入结果。可以通过 LOAD DATA 语句的返回结果判断导入是否成功。一般来说,可以使用 MySQL Load 导入 10GB 以下的文件,如果文件过大,建议将文件进行切分后使用 MySQL Load 进行导入。
CANCEL-LOAD CANCEL LOAD Description 该语句用于撤销指定 label 的导入作业。