库表离线采集是平台面向结构化数据库提供的数据集成能力，支持对接 DM、SAP HANA、MySQL、Oracle、PostgreSQL、SQL Server 等主流关系型数据库，基于自定义查询条件、增量过滤规则，批量抽取库表结构化数据，统一落地至平台数据卷、Lance 湖仓，完成业务结构化数据的离线归集与存储，支撑数据分析、报表计算、多模态融合等下游业务。

前提条件

• 具有空间管理员权限或其他具备该功能权限的角色。
• 任务运行需使用任务所在项目绑定资源组下的源链接与集成实例，请确保该计算实例与需要集成的数据源网络已打通。

配置说明

平台提供向导模式、脚本模式两种任务配置方式，适配不同业务复杂度场景，可按需选择使用。

• 向导模式（默认）：零代码可视化表单配置，操作简单、上手快速，适配常规标准化库表同步场景。
• 脚本模式：支持自定义脚本灵活拓展同步逻辑，适合快速接入更多引擎层已支持的数据源，满足复杂及个性化业务需求。

需在向导模式完成全部基本配置后，才可切换至脚本模式。

创建库表离线采集任务

任务创建入口

• 未创建过任务：进入数据集成>库表离线采集页面，选择对应数据源即可进入任务配置页面。
• 已创建过任务：在库表离线采集任务列表右上角，单击创建/批量创建按钮新建任务。

选择源端

在创建对话框，选择结构化数据源端，目前支持6类结构化数据，按需选择对应数据源类型完成连接创建：

任务配置流程

下文主要解释库表离线采集两种配置模式的完整搭建流程，明确两种模式的操作差异、配置规范及使用约束，可根据业务场景复杂度，选择适配的模式完成任务配置。

向导模式配置流程

1. 根据需求选择单击DM/HANA/MySQL/Oracle/PostgreSQL/SQLServer数据源；
2. 完整填写对应数据源连接配置参数；
3. 填写对应配置项，关于数据源的详细配置如下表：

表1 基本配置说明

表2 源端配置说明

表3 目标端配置说明

4. 完成源端与目标端配置后，若为自动建表，可查看系统自动生成的映射配置，支持手动编辑调整字段映射配置。若为选择已有表，则可按需进行同名映射、同行映射或手动映射。
5. 最后配置高级配置，具体参数说明如下：

表4 高级配置说明

6. 在完成高级配置后，单击保存并前置检查，会对计算资源状态检查、源端数据源连通性测试、目的端数据源连通性测试、脚本内容合法性检查、任务的合法性检查。

前置检查失败后，页面会展示具体失败原因，可根据日志提示修正数据源连接、任务过滤规则、目标端权限等配置项，修改完成后重新执行前置检查，全部校验项通过方可保存并创建任务。

7. 前置检查通过后，您单击运行按钮或单击发布按钮，对任务进行发布操作，发布任务之后，可以在工作流中被调度执行。
8. 若选择单击运行按钮，可按需选择运行或运行并查看详情两种执行方式，任务发起后即代表任务创建成功；选择运行并查看详情可直接跳转至任务运行记录页面，实时查看本次同步任务执行进度。

脚本模式配置流程

1. 单击创建，选择某个源端类型
2. 在向导模式完成全部基本配置后，单击创建页面最上方的转为脚本模式按钮，进行切换。
3. 编辑脚本，配置集成任务，库表离线采集的通用脚本配置如下：

• _db_jobMeta：任务基础配置信息。建议在向导模式完成配置后，不再在脚本模式中修改该部分内容。
• env：任务高级配置信息。其中 job.mode 用于区分离线任务和实时任务；parallelism 用于设置并发数；checkpoint.interval 用于配置断点续传检查点保存间隔。
• source、sink：数据源和目标端配置，不同源端插件支持的配置项有所差异。

1{
2  "_db_jobMeta": {
3    "name": "任务名称",
4    "description": "任务描述",
5    "parentFolderId": "project_91cc_799bd26eee94",
6    "type": "batch",
7    "mode": "script"
8  },
9  "env": {
10    "job.mode": "BATCH",
11    "parallelism": 1,
12    "checkpoint.interval": 30000
13  },
14  "source": [
15    {
16      "plugin_name": "插件名",
17      "_db_pluginId": "DB侧插件名"
18    }
19  ],
20  "sink": [
21    {
22      "plugin_name": "插件名",
23      "_db_pluginId": "DB侧插件名"
24    }
25  ]
26}

4. 配置完成后，单击保存并前置检查，各检查项通过后方可保存并创建任务。
5. 前置检查通过后，您单击运行按钮或单击发布按钮，对任务进行发布操作。
6. 若选择单击运行按钮，可按需选择运行或运行并查看详情两种执行方式。

查看库表离线采集任务列表

创建完成的库表离线采集任务以列表形式展示，支持通过任务名称、源端数据源、源端数据库和目标端数据库进行搜索。

表5 库表离线采集任务列表说明

列表批量操作

• 批量编辑高级配置、批量前置检查、批量运行、批量发布、批量删除。

查看库表离线采集任务详情

单击任务名称可进入库表离线采集任务详情，通过切换tab页可查看运行记录、任务信息和统计信息。

运行记录

表6 库表采集任务详情概览

任务信息

可查看任务的基本配置信息，脚本模式创建的任务仅支持以脚本形式查看。

统计信息

查看统计概览（已读取数据、已写入数据行数及大小）和趋势分析（运行时长、数据量和处理速率），趋势分析可通过时间范围进行筛选。