库表实时采集是平台面向流式结构化数据提供的实时集成能力，目前分为两类数据源链路：

1. 数据库 CDC 实时同步：对接 MySQL、Oracle、SQLServer关系型数据库，捕获库表新增、更新、删除操作，毫秒级同步变更数据；
2. Kafka 流式消费：直接读取 Kafka 消息队列中的实时业务数据流，完成结构化实时数据统一落地。

前提条件

• 具有空间管理员权限或其他具备该功能权限的角色。
• 任务运行需使用任务所在项目绑定资源组下的源链接与集成实例，请确保该计算实例与需要集成的数据源网络已打通。

配置说明

平台提供向导模式、脚本模式两种任务配置方式，适配不同业务复杂度场景，可按需选择使用。

• 向导模式（默认）：零代码可视化表单配置，操作简单、上手快速，适配常规标准化库表同步场景。
• 脚本模式：支持自定义脚本灵活拓展同步逻辑，适合快速接入更多引擎层已支持的数据源，满足复杂及个性化业务需求。

需在向导模式完成全部基本配置后，才可切换至脚本模式。

创建库表实时采集

任务创建入口

• 未创建过任务：进入数据集成>库表实时采集页面，选择对应的数据源（MySQL/Oracle/SQLServer/Kafka）进入任务配置页面。
• 已创建过任务：在库表实时采集任务列表右上角，单击创建按钮新建任务。

选择源端

在创建对话框，按需选择对应数据源类型完成连接创建：

任务配置流程

下文主要解释库表实时采集两种配置模式的完整搭建流程，明确两种模式的操作差异、配置规范及使用约束，可根据业务场景复杂度，选择适配的模式完成任务配置。

向导模式配置流程

1. 根据需求选择单击Kafka/MySQL/Oracle/SQLServer数据源；
2. 完整填写对应数据源连接配置参数；
3. 填写对应配置项后，校验连接无异常后，数据源创建完成，可基于该数据源配置采集任务。

表1 基本配置说明

表2 源端配置说明

表3 目标端配置说明

4. 完成源端与目标端配置后，单击添加源端表，选择需要同步的表或topic后，支持配置单表同步之间的源端目标端配置。

表4 源端配置说明

表5 目标端配置说明

5. 完成单表同步之间的源端目标端配置后，可进行映射配置，配置字段映射关系后，任务将根据字段映射关系，将源端字段写入目标端对应类型的字段中，若建表方式为已有表，目标端将会根据源端配置自动完成表结构配置和自动映射，若与期望不符可手动调整。

• 源端为Kafka类型时，需在源端手动新增和维护字段信息，字段配置说明如下：

  • 原生字段：系统默认提供以下Kafka原生字段，默认启用且不可修改：meta_key、meta_value、meta_partition、meta_headers、meta_offset、meta_timestamp，若无需同步该类字段至目标端，可不建立字段映射，源端该类字段数据将不会同步至目标端。

  • JSONPath解析嵌套字段：字段名称支持填写JSONPath，从Kafka消息中提取指定字段。

    • 例如：{"data":{"name":"bob","age":35}}为kafka记录的value值，当源头表字段配置为$.data.name时，将会读取bob作为这个字段的值并写入对应目标表
    • 例如：{"col1":"1","col2":"2","level1":{"level2":[{"level3":"test"}]}}为kafka记录的value值，当源头表字段配置为$.level1.level2[0].level3时，将会读取test作为这个字段的值并写入对应目标表

6. 映射配置完成后，最后配置高级配置（最大并发数，范围1～100）。
7. 在完成高级配置后，单击保存并前置检查。
8. 前置检查通过后，您可单击运行按钮，对任务进行运行。

脚本模式配置流程

1. 单击创建，选择某个源端类型
2. 在向导模式完成全部基本配置后，单击创建页面最上方的转为脚本模式按钮，进行切换。
3. 编辑脚本，配置集成任务，库表实时采集的通用脚本配置如下：

• _db_jobMeta：任务基础配置信息。其中syncMode用于标识任务运行类型，BASE_INCREMENT表示全量+增量模式；INCREMENT表示增量模式。
• env：任务高级配置信息。job.mode 用于区分离线任务和实时任务；parallelism 用于设置并发数。
• source、sink：数据源和目标端配置。
• _db_tableConfigs：库表实时采集为多表配置，可在该模块定义单表同步的源端与目标端配置。

1{
2  "_db_jobMeta": {
3    "name": "任务名称",
4    "description": "任务描述",
5    "parentFolderId": "folder_af42_bccdb16a1d00",
6    "type": "streaming",
7    "mode": "script",
8    "syncMode": "BASE_INCREMENT"
9  },
10  "env": {
11    "job.mode": "STREAMING",
12    "parallelism": 1,
13    "_db_enableCheckpoint": false
14  },
15  "source": [
16    {
17      "plugin_name": "插件名",
18      "_db_pluginId": "DB侧插件名"
19    }
20  ],
21  "sink": [
22    {
23      "plugin_name": "插件名",
24      "_db_pluginId": "DB侧插件名"
25    }
26  ],
27  "_db_tableConfigs": [
28    {
29      "tableIdentity": {
30        "sourceTable": "源端表名",
31        "sinkTable": "目标端表名"
32      },
33      "source": {
34        "_db_sourceChange": {}
35      },
36      "sink": {
37        "_db_isAutoCreated": true,
38        "_db_sinkNameRule": "SAME",
39        "_db_dmlConfig": {}
40      }
41    }
42  ]
43}

4. 配置完成后，单击保存并前置检查。
5. 前置检查通过后，您可单击运行按钮，对任务进行运行。

查看库表实时采集任务列表

创建完成的库表实时采集任务以列表形式展示，支持通过任务名称、源端类型、源端数据源、源端数据库或目的端库对列表进行筛选。

表6 库表实时采集任务列表项说明

库表实时采集任务详情

单击任务名可查看进入任务详情，查看任务运行记录、运行日志、任务配置和统计信息。

运行记录

运行记录分为全量进度和实时同步，通过按钮进行切换查看。

表7 全量进度运行记录说明

表8 实时同步运行记录说明

运行日志

页面内分为提交日志、运行日志两个子标签。支持关键词检索、日志级别筛选、时间范围筛选，提供日志下载功能。

任务配置

可查看任务的基本配置信息，脚本模式创建的任务仅支持以脚本形式查看。

统计信息

查看统计概览（已读取数据、已写入数据行数及大小）和趋势分析（运行时长、数据量和处理速率）。