DM数据源
更新时间:2026-07-03
DM(达梦)数据源支持离线库表采集(Jdbc-DM)一类 source 插件,可写入 Iceberg、Doris、结构化数据集等目标端(各目标端插件参数详见各自文档)。本文以 Iceberg 作为目标端示例。
DM 插件类型
| 插件 | plugin_name | _db_pluginId | 作业类型 | 说明 |
|---|---|---|---|---|
| DM 离线采集 | Jdbc |
Jdbc-DM |
batch |
JDBC 读取达梦数据库表,适用于离线全量/条件增量同步 |
脚本 Demo 与参数说明
一、离线任务:DM → Iceberg
适用于离线全量同步或按条件增量同步。作业类型为 batch,source 使用 Jdbc-DM,sink 使用 Iceberg-batch。
JSON
1{
2 "_db_jobMeta": {
3 "name": "dm_orders_to_iceberg_batch",
4 "description": "达梦 ORDERS 表离线同步到 Iceberg",
5 "parentFolderId": "project_91cc_799bd26eee94",
6 "type": "batch",
7 "mode": "script"
8 },
9 "env": {
10 "job.mode": "BATCH",
11 "parallelism": 1,
12 "checkpoint.interval": 30000
13 },
14 "source": [
15 {
16 "plugin_name": "Jdbc",
17 "_db_pluginId": "Jdbc-DM",
18 "plugin_output": "source_table",
19 "_db_connectionId": "dm-conn-001",
20 "_db_sourceDatabase": "DMDB",
21 "_db_sourceSchema": "SALES",
22 "_db_sourceTable": "ORDERS",
23 "_db_where": "ID > 0",
24 "partition_column": "ID",
25 "_db_sourceChange": {
26 "onDeleteColumn": "SKIP",
27 "onAddColumn": "SKIP",
28 "onDeleteSource": "PAUSE"
29 }
30 }
31 ],
32 "sink": [
33 {
34 "plugin_name": "Iceberg",
35 "_db_pluginId": "Iceberg-batch",
36 "plugin_input": "source_table",
37 "_db_sinkPath": "lake.default",
38 "_db_catalog": "lake",
39 "_db_schema": "default",
40 "iceberg.table.upsert-mode-enabled": false,
41 "data_save_mode": "APPEND_DATA",
42 "_db_isAutoCreated": true,
43 "_db_sinkTableType": "MANAGED",
44 "_db_sinkNameRule": "SAME",
45 "_db_comment": "订单表"
46 }
47 ]
48}
Reader 参数:Jdbc-DM
| 参数 | 描述 | 是否必选 | 默认值 |
|---|---|---|---|
plugin_name |
SeaTunnel 插件名,固定填 Jdbc |
是 | 无 |
_db_pluginId |
DataBuilder 侧插件 ID,固定填 Jdbc-DM |
是 | 无 |
plugin_output |
Source 输出流名称,需与 sink 的 plugin_input 保持一致 |
是 | 无 |
_db_connectionId |
达梦数据源连接 ID | 是 | 无 |
_db_sourceDatabase |
达梦数据库名称(如 DMDB) |
是 | 无 |
_db_sourceSchema |
Schema 名称(如 SALES) |
是 | 无 |
_db_sourceTable |
数据表名称 | 是 | 无 |
partition_column |
分片字段,用于多并发采集,建议使用主键或唯一键 | 否 | 无 |
_db_where |
数据过滤条件,不含 WHERE 关键字,支持时间宏如 ${logicTime(yyyy-MM-dd HH:mm:ss,-1d)} |
否 | 无 |
_db_sourceChange.onDeleteColumn |
源端表字段被删除时的策略:SKIP 忽略 / PAUSE 终止任务 |
否 | SKIP |
_db_sourceChange.onAddColumn |
源端表新增字段时的策略:SKIP 忽略 / PAUSE 终止任务 |
否 | SKIP |
_db_sourceChange.onDeleteSource |
源端表被删除时的策略,当前仅支持 PAUSE |
否 | PAUSE |
配置编写注意事项
- plugin_name 与 _db_pluginId 的区别:
plugin_name是引擎层的真实插件名Jdbc,_db_pluginId是 DataBuilder 平台侧标识Jdbc-DM,两者不同。
评价此篇文章
