文件离线采集是平台面向批量文件同步提供的数据集成能力，支持将本地上传至数据卷的文件、源端 FTP/SFTP/HDFS存储的文件，按自定义过滤规则、时间范围批量同步至数据卷或媒体集，完成多格式非结构化文件的统一归集、落地存储。

前提条件

• 具有空间管理员权限或其他具备该功能权限的角色。
• 任务运行需使用任务所在项目绑定资源组下的源链接与集成实例，请确保该计算实例与需要集成的数据源网络已打通。

配置说明

平台提供向导模式、脚本模式两种任务配置方式，适配不同业务复杂度场景，可按需选择使用。

• 向导模式（默认）：零代码可视化表单配置，操作简单、上手快速，适配常规标准化文件同步场景。
• 脚本模式：支持自定义脚本灵活拓展同步逻辑，适合快速接入更多引擎层已支持的数据源，满足复杂及个性化业务需求。

需在向导模式完成全部基本配置后，才可切换至脚本模式。

创建文件离线采集任务

任务创建入口

• 未创建过任务：进入数据集成>文件离线采集页面，选择对应数据源即可进入任务配置页面。
• 已创建过任务：在文件离线采集任务列表右上角，单击创建按钮新建任务。

数据来源选择方式

文件离线采集支持两种数据接入方式，可根据文件实际存储位置选择对应方案：

方式一：上传文件到卷（文件）

适用场景：本地电脑存在 CSV、图片、音视频、PDF 等文件，需要先上传至平台内置数据卷存储。

操作步骤：单击上传文件到卷，将文件夹或多个文件拖到对应区域或单击点击上传按钮进行上传文件，接着单击浏览按钮，配置上传目录，配置完成后，单击上传按钮即可。

方式二：FTP / SFTP / HDFS（数据源）

适用场景：文件已存放在远端服务器、分布式集群，需要建立远程连接拉取文件做离线采集。

操作步骤：具体操作步骤可参见下方任务配置流程。

任务配置流程

下文主要解释文件离线采集两种配置模式的完整搭建流程，明确两种模式的操作差异、配置规范及使用约束，可根据业务场景复杂度，选择适配的模式完成任务配置。

向导模式配置流程

1. 根据需求选择单击FTP/SFTP/HDFS数据源；
2. 完整填写对应数据源连接配置参数；
3. 填写对应配置项后，校验连接无异常后，数据源创建完成，可基于该数据源配置采集任务。关于数据源的详细配置如下表：

表1 基本配置说明

表2 源端配置项说明

表3 目标端配置说明

4. 在配置完源端目标端配置后，需进行运行配置，具体配置参数如下：

表4 运行配置说明

5. 配置完成后，单击保存并前置检查，会对计算资源状态检查、源端数据源连通性测试、目的端数据源连通性测试、脚本内容合法性检查、任务的合法性检查。

前置检查失败后，页面会展示具体失败原因，可根据日志提示修正数据源连接、任务过滤规则、目标端权限等配置项，修改完成后重新执行前置检查，全部校验项通过方可保存并创建任务。

6. 前置检查通过后，您单击运行按钮或单击发布按钮，对任务进行发布操作，发布任务之后，可以在工作流中被调度执行。
7. 若选择单击运行按钮，可按需选择运行或运行并查看详情两种执行方式，任务发起后即代表任务创建成功；选择运行并查看详情可直接跳转至任务运行记录页面，实时查看本次同步任务执行进度。

脚本模式配置流程

1. 单击创建，选择某个源端类型
2. 在向导模式完成全部基本配置后，单击创建页面最上方的转为脚本模式按钮，进行切换。
3. 编辑脚本，配置集成任务，文件离线采集的通用脚本配置如下：

• _db_jobMeta：任务基础配置信息，包括任务名称、任务描述、任务所属位置ID、任务类型等。建议在向导模式完成配置后，不再在脚本模式中修改该部分内容。

• env：任务高级配置信息。其中：

  • job.mode：用于区分离线任务和实时任务，该配置在任务创建时已确定，不支持修改。
  • parallelism：用于设置任务运行并发数，可根据实际需求进行调整。
  • checkpoint.interval：用于配置断点续传的检查点保存间隔。删除该配置表示关闭断点续传；保留并设置时间间隔则表示开启断点续传，并按配置周期保存任务执行进度。
• source、sink：数据源和目标端配置，不同源端插件支持的配置项有所差异，具体说明请参见脚本模式配置说明。

1{
2  "_db_jobMeta": {
3    "name": "任务名称",
4    "description": "任务描述",
5    "parentFolderId": "folder_af42_bccdb16a1d00",
6    "type": "file",
7    "mode": "script"
8  },
9  "env": {
10    "job.mode": "BATCH",
11    "parallelism": 1,
12    "checkpoint.interval": 900000
13  },
14  "source": [
15    {
16      "plugin_name": "插件名",
17      "_db_pluginId": "DB侧插件名"
18    }
19  ],
20  "sink": [
21    {
22      "plugin_name": "插件名",
23      "_db_pluginId": "DB侧插件名"
24    }
25  ]
26}

4. 配置完成后，单击保存并前置检查，会对计算资源状态检查、源端数据源连通性测试、目的端数据源连通性测试、脚本内容合法性检查、任务的合法性检查。

前置检查失败后，页面会展示具体失败原因，可根据日志提示修正数据源连接、任务过滤规则、目标端权限等配置项，修改完成后重新执行前置检查，全部校验项通过方可保存并创建任务。

5. 前置检查通过后，您单击运行按钮或单击发布按钮，对任务进行发布操作，发布任务之后，可以在工作流中被调度执行。
6. 若选择单击运行按钮，可按需选择运行或运行并查看详情两种执行方式，任务发起后即代表任务创建成功；选择运行并查看详情可直接跳转至任务运行记录页面，实时查看本次同步任务执行进度。

查看文件离线采集任务列表

创建成功的任务以列表形式展示，支持按照任务名称、目标端路径进行搜索。列表支持按照源端类型进行搜索，按照创建时间进行排序。

表5 列表字段说明

列表批量操作

• 批量运行：在列表最前方选中任务后，单击列表右上角运行按钮，可对任务进行批量运行操作。
• 批量删除：在列表最前方选中任务后，单击列表右上角删除按钮，可对任务进行批量删除操作。

查看文件离线采集任务详情

在任务详情页面单击任务名称，进入任务详情。查看任务的详细信息，包括运行记录、任务信息和统计信息，同时可以在详情页面对任务进行运行或编辑操作。

运行记录

在集成任务详情通过切换tab页选择运行记录，查看任务运行记录列表。

表6 任务详情运行记录列表说明

任务信息

在集成任务详情通过切换tab页选择任务信息，可查看任务的基本配置信息，请注意：脚本模式创建的任务仅支持以脚本形式查看配置信息。

统计信息

在集成任务详情通过切换tab页选择统计信息，查看统计概览（已读取文件、已写入文件和已跳过文件数量及大小）和趋势分析（运行时长、数据量和速率），趋势分析可通过时间范围进行筛选。