附录
更新时间:2025-08-07
JobRun
字段名 | 类型 | 说明 |
---|---|---|
durationSec | Int | 工作流运行时长(单位: 秒) |
errorMsg | String | 错误信息 |
jobId | String | 工作流 ID |
jobInstanceId | String | 运行记录 ID |
jobName | String | 作业名称 |
jobStatus | String | 运行记录状态 1. INIT:初始化 2. RUNNING_EXECUTION: 运行中 3. READY_PAUSE:准备暂停 4. PAUSE:已暂停 5. READY_STOP: 准备停止 6. STOP: 已停止 7. SUBMIT_FAILURE: 提交失败 8. SUCCESS: 运行成功 |
runUserId | String | 运行用户 ID |
runUsername | String | 运行用户名 |
tasks | Task[] | 本次运行的任务的列表 |
Task
字段名 | 类型 | 说明 |
---|---|---|
clusterList | ClusterConf[] | 计算实例列表 |
description | String | 任务描述,最大长度500个字符 |
durationSec | String | 子任务时长(单位:秒) |
endTime | String | 结束时间 |
id | String | 任务 ID,最大长度20个字符,并且以tid-开始,且后续字符只支持小写字母和数字 |
name | String | 任务名称, 最大长度256个字符,且只能包含数字, 大小写字母, 中文,下划线以及横线,不可只包含空白字符 |
rayTask | RayTask | Ray 任务配置 |
compoundTask | CompoundTask | 复合任务任务配置 |
sparkTask | SparkTask | SparkJar任务配置 |
pySparkTask | PySparkTask | PySpark任务配置 |
fileIntegrationTask | FileIntegrationTask | 文件采集任务配置 |
tableIntegrationTask | TableIntegrationTask | 库表采集任务配置 |
notebookTask | NotebookTask | Notebook任务配置 |
dependentTask | DependentTask | 依赖组件任务配置 |
dependsOn | String[] | 上游任务ID列表 |
startTime | String | 任务开始时间 |
taskStatus | String | 任务子任务状态 1. PENDING:调度中 2. RUNNING_EXECUTION: 运行中 3. PAUSE: 暂停 4. KILL: 终止 5. FAILURE: 运行失败 6. SUCCESS: 运行成功 |
ClusterConf
字段名 | 字段类型 | 字段说明 |
---|---|---|
clusterId | string | 计算实例ID |
clusterType | string | 计算实例类型,包括 1. RESIDENT: 常驻集群 2. EPHEMERAL: 非常驻集群 该字段仅支持常驻集群RESIDENT,若要选择非常驻集群,则需要通过给任务指定任务实例模板ID,即templateId的方式来使用(目前只有Spark/PySpark任务支持配置任务实例模板) |
engineType | string | 计算实例引擎类型, 在工作流中支持如下的引擎 1. Ray:Ray集群, 用于算子任务以及Ray任务 2. Doris: 支持notebook任务 3. Spark: 支持SparkJar任务以及PySpark任务 |
CompundTask
字段名 | 字段类型 | 字段说明 |
---|---|---|
operators | Operator[] | 算子详情列表 |
taskParam | CompoundTaskTaskParam | CompoundTask任务参数 |
CompoundTaskTaskParam
字段名 | 字段类型 | 字段说明 |
---|---|---|
parallel | int | CompoundTask任务下所有算子的默认并发 |
Operator
字段名 | 字段类型 | 字段说明 |
---|---|---|
dependsOn | String[] | 当前算子的所有上游算子的ID列表 |
id | String | 当前算子ID, 算子id最大长度为20个字符,并以opid-开头,且后续只包含数字和小写字母 |
metaData | MetaData | 算子元信息,包含数据仓库(catalog),数据模型(schema), 算子名称以及算子版本信息 |
name | String | 算子名称,最大长度为256,仅支持大小写字母,数字,中文以及下划线和横线 |
params | OperatorParam[] | key-value格式的算子参数的列表 |
Metadata
字段名 | 字段类型 | 字段说明 |
---|---|---|
catalogName | string | 算子归属的数据目录catalog名称 |
operatorName | string | 算子在元数据中名称 |
schemaName | string | 算子归属的数据模式database/schema名称 |
version | string | 算子版本 |
OperatorParam
字段名 | 字段类型 | 字段说明 |
---|---|---|
key | string | 算子参数名 |
value | string | 算子参数值 |
RayTask
字段名 | 字段类型 | 字段说明 |
---|---|---|
taskParam | RayTaskTaskParam | Ray任务参数类型 |
RayTaskTaskParam
字段名 | 类型 | 说明 |
---|---|---|
codePath | string | 工作区内Ray任务程序代码路径 |
entryPoint | string | Ray任务入口命令,形如 python my_task.py |
runtimeEnv | TaskEnvVar[] | key-value格式的运行环境变量列表 |
TaskEnvVar
字段名 | 类型 | 说明 |
---|---|---|
key | string | 环境变量名,最大长度为128, 且只支持大写字母,数字以及下划线,且不能以数字开头,不可以为空 |
value | string | 环境变量值,最大长度为256, 不可以为空, |
SparkTask
参数 | 类型 | 描述 |
---|---|---|
sparkTaskParam | SparkTaskParam | Spark 任务的核心参数配置 |
SparkTaskParam
字段名 | 类型 | 说明 |
---|---|---|
dependentLibraries | String[] | 依赖的 JAR 包以及zip包在工作区内的路径的列表 |
mainClass | String | Spark 应用的主类名 |
mainClassArgs | String[] | 主类参数列表,比如 --arg1 value1 --arg2 value2 value3这样的一组参数,需要通过["--arg1", "value1", "--arg2", "value2", "value3"]这样的方式传入 |
envVars | TaskEnvVar[] | key-value格式的环境变量列表 |
sparkConf | SparkConfEntry[] | key-value格式的Spark 配置项列表 |
templateId | String | 任务实例模板 ID |
SparkConfEntry
字段名 | 类型 | 说明 |
---|---|---|
key | String | Spark 配置项键,不能只包含空白字符 |
value | String | Spark 配置项值,不能只包含空白字符 |
PySparkTask
字段名 | 类型 | 说明 |
---|---|---|
pySparkTaskParam | PySparkTaskParam | PySpark 任务参数对象 |
PySparkTaskParam
字段名 | 类型 | 说明 |
---|---|---|
mainApplicationPyFile | String | PySpark任务的主程序 Python 文件在工作区内的路径 |
dependentLibraries | String[] | py以及zip类型的依赖库在工作区内路径列表 |
mainClassArgs | String[] | 主类参数列表,比如 --arg1 value1 --arg2 value2 value3这样的一组参数,需要通过["--arg1", "value1", "--arg2", "value2", "value3"]这样的方式传入 |
envVars | TaskEnvVar[] | key-value格式的环境变量列表 |
templateId | String | 任务模板 ID |
sparkConf | SparkConfEntry[] | Spark 配置项列表 |
FileIntegrationTask
字段名 | 类型 | 说明 |
---|---|---|
fileIntegrationTaskParam | FileIntegrationJobTaskParam | 文件采集任务参数对象 |
FileIntegrationJobTaskParam
字段名 | 类型 | 说明 |
---|---|---|
integrationJobId | String | 文件采集任务ID |
TableIntegrationTask
字段名 | 类型 | 说明 |
---|---|---|
fileIntegrationTaskParam | TableIntegrationJobTaskParam | 库表采集任务参数对象 |
TableIntegrationJobTaskParam
字段名 | 类型 | 说明 |
---|---|---|
integrationJobId | String | 库表采集任务ID |
NotebookTask
字段名 | 类型 | 说明 |
---|---|---|
notebookTaskParam | NotebookTaskParam | Notebook任务参数对象 |
NotebookTaskParam
字段名 | 类型 | 说明 |
---|---|---|
jupyterFilePath | String | Jupyter 文件在工作区内的路径 |
DependentTask
字段名 | 类型 | 说明 |
---|---|---|
dependTaskParam | DependTaskParam | 依赖组件任务参数对象 |
DependentTaskParam
字段名 | 类型 | 说明 |
---|---|---|
workspaceId | String | 依赖任务的工作空间ID,不能为空且不能是空白字符 |
jobId | String | 依赖任务的工作流ID,不能为空且不能是空白字符 |
depTaskId | String | 依赖任务的任务ID |
dateValue | String | 指定被依赖任务的完成时间段,在依赖检查时会在指定的时间段内查找被依赖任务是否有成功执行的记录,支持如下的配置 1. 小时级别 a. currentHour: 当前小时 b. last1Hour: 上一小时 c. last2hours: 上两小时 d. last3Hours: 上三小时 e. last12Hours: 上十二小时 f. last24Hours: 上二十四小时 2. 天级别 a. today: 今天 b. last1Days: 昨天 c. last2Days: 前两天 d. last3Days: 前三天 e. last7Days: 最近七天 3. 周级别 a. thisWeek: 本周 b. lastWeek: 上周 c. last2Weeks: 上两周 d. last3Weeks: 上三周 e. lastMonday: 上周一 f. lastTuesday: 上周二 g. lastWednesday: 上周三 h. lastThursday: 上周四 i. lastFriday: 上周五 j. lastSaturday: 上周六 k. lastSunday: 上周日 4. 月级别 a. thisMouth: 本月 b. thisMonthBegin: 本月初 c. thisMonthEnd: 本月底 d. lastMonth: 上个月 e. lastMonthBegin: 上月初 f. lastMonthEnd: 上月底 |
checkInterval | Int | 检查间隔(单位: 秒) |
failurePolicy | String | 失败处理策略 1. DEPENDENT_FAILURE_FAILURE: 依赖组件失败则任务bai 2. DEPENDENT_FAILURE_WAITING: 依赖组件失败则任务等待 |
failureWaitingTime | Int | 失败等待时间(单位: 分) |
ListJobResult
字段名 | 类型 | 说明 |
---|---|---|
marker | String | 本次请求使用的游标,表示从这个 jobId 开始查询。 |
isTruncated | Boolean | 是否被截断。如果为 true,表示还有更多数据可供获取。 |
nextMarker | String | 下一页的游标值(工作流ID),传给下一个请求的 marker 参数。 |
maxKeys | number | 当前页最多返回多少个记录 |
jobs | Job[] | 当前页实际返回的任务列表。此处为空数组,说明没有数据返回。 |
Job
字段名 | 类型 | 含义 |
---|---|---|
jobId | String | 任务 ID,用于唯一标识该作业 |
workspaceId | String | 所属工作空间 ID |
name | String | 作业名称 |
description | String | 作业描述信息 |
taskDefinitions | Task[] | 任务定义列表,包含该作业的任务信息集合 |
ScheduleConf
参数名 | 类型 | 说明 |
---|---|---|
startTime | String | 开始时间,格式为 yyyy-MM-dd HH:mm:ss,必须是有效日期时间 |
endTime | String | 结束时间,格式为 yyyy-MM-dd HH:mm:ss,必须是有效日期时间 |
crontab | String | Crontab 表达式,必须是可触发的,且周期必须大于等于 60 秒 |