DB-数据卷
更新时间:2026-07-03
数据卷目标端支持文件写入(Volume)一类 sink 插件,用于将 FTP/SFTP/HDFS 等文件源采集到 DataBuilder 数据卷路径中。本文以 FTP 文件数据源作为源端示例。
数据卷插件类型
| 插件 | plugin_name | _db_pluginId | 作业类型 | 说明 |
|---|---|---|---|---|
| 数据卷文件写入 | Volume |
Volume |
file |
将文件写入数据卷路径,支持同名文件覆盖、跳过或重命名 |
脚本 Demo 与参数说明
一、文件任务:FTP → 数据卷
适用于将 FTP 服务器上的文件批量采集并写入数据卷路径的场景。作业类型为 file,source 使用 Ftp-File(参数详见 FTP 文件数据源文档),sink 使用 Volume。
JSON
1{
2 "_db_jobMeta": {
3 "name": "ftp_to_volume_file",
4 "description": "FTP 文件同步到 Volume",
5 "parentFolderId": "project_91cc_799bd26eee94",
6 "type": "file",
7 "mode": "script"
8 },
9 "env": {
10 "job.mode": "BATCH",
11 "parallelism": 1
12 },
13 "source": [
14 {
15 "plugin_name": "FtpFile",
16 "_db_pluginId": "Ftp-File",
17 "plugin_output": "source_file",
18 "_db_connectionId": "ftp-conn-001",
19 "path": "/data/in/orders/"
20 }
21 ],
22 "sink": [
23 {
24 "plugin_name": "Volume",
25 "_db_pluginId": "Volume",
26 "plugin_input": "source_file",
27 "_db_sinkPath": "/Volumes/lake/default/raw_files/orders/",
28 "duplicate_file_strategy": "OVERWRITE"
29 }
30 ]
31}
Writer 参数:Volume
| 参数 | 描述 | 是否必选 | 默认值 |
|---|---|---|---|
plugin_name |
SeaTunnel 插件名,固定填 Volume |
是 | 无 |
_db_pluginId |
DataBuilder 侧插件 ID,固定填 Volume |
是 | 无 |
plugin_input |
对应 source 的 plugin_output 值 |
是 | 无 |
_db_sinkPath |
Volume 目标路径,格式为 /Volumes/{catalog_name}/{schema_name}/{volume_name}/path/ |
是 | 无 |
duplicate_file_strategy |
同名文件处理策略:OVERWRITE(覆盖)/ SKIP(跳过)/ RENAME(重命名) |
否 | OVERWRITE |
配置编写注意事项
- plugin_name 与 _db_pluginId 均为
Volume:Volume 的引擎插件名和 DataBuilder 平台侧标识相同。 - 路径格式:
_db_sinkPath必须使用/Volumes/{catalog_name}/{schema_name}/{volume_name}/path/格式,不使用自造 URI scheme。 - 同名文件策略:默认
OVERWRITE会覆盖目标路径下的同名文件;如需保留历史文件,建议使用RENAME或提前规划分区目录。
评价此篇文章
