数据集成
更新时间:2026-07-03
一、数据源
1、数据源连通性测试失败怎么办?
常见原因包括:
| 问题 | 可能原因 | 处理建议 |
|---|---|---|
| 网络不通 | VPC、子网未联通 | 检数据源连通性测试使用数据源所属项目绑定的资源组下的源链接与集成实例,请确保该实例的网络与对应数据源网络联通。 |
| 账号错误 | 用户名、密码或 AK/SK 不正确 | 重新确认凭证 |
| 权限不足 | 源端账号无读取权限 | 授予库表读取权限 |
| 地址错误 | host、port、bucket、路径填写错误 | 核对连接信息 |
二、数据集成
1、如何选择数据接入方案?
可根据数据来源和接入方式选择对应的数据接入方案:
| 数据接入需求 | 推荐方案 |
|---|---|
| 周期性同步数据库中的表数据 | 库表离线采集 |
| 准实时同步数据库增量变更数据 | 库表实时采集 |
| 从 BOS、S3、HDFS 等对象存储或文件系统导入文件 | 文件离线采集 |
| 直接访问对象存储中的文件,无需导入 | 外部数据卷 |
| 上传本地文件进行处理 | 文件上传 |
如果你的数据来源于数据库,建议根据业务对实时性的要求选择库表离线采集或库表实时采集;如果数据来源于文件,则根据数据来源和是否需要将文件导入平台,选择文件离线采集、外部数据卷或文件上传。
2、如何周期性调度执行离线数据集成任务?
平台支持通过工作流调度实现数据集成任务的周期性执行,包括文件离线采集和库表离线采集两类任务。
操作步骤:
- 创建数据集成任务:在数据集成模块创建任务,完成配置后点击保存并进行前置检查。
说明: 创建任务前,请确保任务所属项目绑定的资源组已配置可连通源端数据源的源连接和集成实例,否则可能导致任务配置或运行失败。
- 发布数据集成任务:前置检查通过后,发布数据集成任务。仅已发布的任务可在工作流中被选择和调度。

- 配置工作流:创建工作流,根据任务类型新增文件采集节点或库表采集节点,在节点配置中选择已发布的数据集成任务。完成节点配置后,在工作流中设置调度策略并开启调度,即可实现数据集成任务的周期性执行。



3、数据集成是否支持断点续传?
支持,离线数据集成(文件离线采集、库表离线采集)可在创建任务时开启断点续传,开启后,任务执行过程中将定期将临时目录数据提交到正式目录,若任务失败,可在运行记录处点击重跑,并选择从断点继续,即可从最近一次checkpoint位置继续执行,避免已传输数据的重复传输。
4、向导模式下数据库置灰不可选是什么原因?
向导模式需要通过任务所属项目绑定资源组中的源链接和集成实例获取源端库表信息。当数据库置灰不可选时,请按以下步骤排查:
- 检查任务基本配置中是否已完成所属位置配置。
- 检查所属位置对应项目绑定的资源组下,是否存在运行中的源链接和集成实例。
- 若上述配置均正常但仍无法获取库表信息,请检查该源链接与集成实例的网络与对应数据源是否网络联通。
评价此篇文章

