附录
更新时间:2025-12-16
JobRun
| 字段名 | 类型 | 说明 |
|---|---|---|
durationSec |
Int |
工作流运行时长(单位: 秒) |
errorMsg |
String |
错误信息 |
jobId |
String |
工作流 ID |
jobInstanceId |
String |
运行记录 ID |
jobName |
String |
作业名称 |
jobStatus |
String |
运行记录状态INIT:初始化RUNNING_EXECUTION: 运行中READY_PAUSE:准备暂停PAUSE:已暂停READY_STOP: 准备停止STOP: 已停止SUBMIT_FAILURE: 提交失败SUCCESS: 运行成功**FAILURE: 失败SERIAL_WAIT:串行等待 |
runUserId |
String |
运行用户 ID |
runUsername |
String |
运行用户名 |
tasks |
Task[] |
本次运行的任务的列表 |
Task
| 字段名 | 类型 | 说明 |
|---|---|---|
clusterList |
ClusterConf[] |
计算实例列表 |
description |
String |
任务描述,最大长度500个字符 |
durationSec |
String |
子任务时长(单位:秒) |
endTime |
String |
结束时间 |
id |
String |
任务 ID,最大长度20个字符,并且以tid-开始,且后续字符只支持小写字母和数字 |
name |
String |
任务名称, 最大长度256个字符,且只能包含数字, 大小写字母, 中文,下划线以及横线,不可只包含空白字符 |
rayTask |
RayTask |
Ray 任务配置 |
compoundTask |
CompoundTask |
算子任务任务配置 |
sparkTask |
SparkTask |
SparkJar任务配置 |
pySparkTask |
PySparkTask |
PySpark任务配置 |
fileIntegrationTask |
FileIntegrationTask |
文件采集任务配置 |
tableIntegrationTask |
TableIntegrationTask |
库表采集任务配置 |
notebookTask |
NotebookTask |
Notebook任务配置 |
dependentTask |
DependentTask |
依赖组件任务配置 |
dependsOn |
String[] |
上游任务ID列表 |
startTime |
String |
任务开始时间 |
taskStatus |
String |
任务子任务状态PENDING:调度中RUNNING_EXECUTION: 运行中PAUSE: 暂停KILL: 终止FAILURE: 运行失败SUCCESS: 运行成功 |
ClusterConf
| 字段名 | 字段类型 | 字段说明 |
|---|---|---|
clusterId |
string |
计算实例ID |
clusterType |
string |
计算实例类型,包括RESIDENT: 常驻集群EPHEMERAL: 非常驻集群该字段仅支持常驻集群RESIDENT,若要选择非常驻集群,则需要通过给任务指定任务实例模板ID,即templateId的方式来使用(目前只有Spark/PySpark任务支持配置任务实例模板) |
engineType |
string |
计算实例引擎类型, 在工作流中支持如下的引擎RAY:Ray集群, 用于算子任务以及Ray任务DORIS: 支持Notebook任务SPARK: 支持Notebooke任务 |
CompundTask
| 字段名 | 字段类型 | 字段说明 |
|---|---|---|
operators |
Operator[] |
算子详情列表 |
taskParam |
CompoundTaskTaskParam |
CompoundTask任务参数 |
CompoundTaskTaskParam
| 字段名 | 字段类型 | 字段说明 |
|---|---|---|
parallel |
int |
CompoundTask任务下所有算子的默认并发 |
Operator
| 字段名 | 字段类型 | 字段说明 |
|---|---|---|
dependsOn |
String[] |
当前算子的所有上游算子的ID列表 |
id |
String |
当前算子ID, 算子id最大长度为20个字符,并以opid-开头,且后续只包含数字和小写字母 |
metaData |
MetaData |
算子元信息,包含数据仓库(catalog),数据模型(schema), 算子名称以及算子版本信息 |
name |
String |
算子名称,最大长度为256,仅支持大小写字母,数字,中文以及下划线和横线 |
params |
OperatorParam[] |
key-value格式的算子参数的列表 |
Metadata
| 字段名 | 字段类型 | 字段说明 |
|---|---|---|
catalogName |
string |
算子归属的数据目录catalog名称 |
operatorName |
string |
算子在元数据中名称 |
schemaName |
string |
算子归属的数据模式database/schema名称 |
version |
string |
算子版本 |
OperatorParam
| 字段名 | 字段类型 | 字段说明 |
|---|---|---|
key |
string |
算子参数名 |
value |
string |
算子参数值 |
RayTask
| 字段名 | 字段类型 | 字段说明 |
|---|---|---|
taskParam |
RayTaskTaskParam |
Ray任务参数类型 |
RayTaskTaskParam
| 字段名 | 类型 | 说明 |
|---|---|---|
codePath |
string |
工作区内Ray任务程序代码路径 |
entryPoint |
string |
Ray任务入口命令,形如 python my_task.py |
runtimeEnv |
TaskEnvVar[] |
key-value格式的运行环境变量列表 |
TaskEnvVar
| 字段名 | 类型 | 说明 |
|---|---|---|
key |
string |
环境变量名,最大长度为128, 且只支持大写字母,数字以及下划线,且不能以数字开头,不可以为空 |
value |
string |
环境变量值,最大长度为256, 不可以为空, |
SparkTask
| 参数 | 类型 | 描述 |
|---|---|---|
sparkTaskParam |
SparkTaskParam |
Spark 任务的核心参数配置 |
SparkTaskParam
| 字段名 | 类型 | 说明 |
|---|---|---|
dependentLibraries |
String[] |
依赖的 JAR 包以及zip包在工作区内的路径的列表 |
mainClass |
String |
Spark 应用的主类名 |
mainClassArgs |
String[] |
主类参数列表,比如 --arg1 value1 --arg2 value2 value3这样的一组参数,需要通过["--arg1", "value1", "--arg2", "value2", "value3"]这样的方式传入 |
envVars |
TaskEnvVar[] |
key-value格式的环境变量列表 |
sparkConf |
SparkConfEntry[] |
key-value格式的Spark 配置项列表 |
templateId |
String |
任务实例模板 ID |
SparkConfEntry
| 字段名 | 类型 | 说明 |
|---|---|---|
key |
String |
Spark 配置项键,不能只包含空白字符 |
value |
String |
Spark 配置项值,不能只包含空白字符 |
PySparkTask
| 字段名 | 类型 | 说明 |
|---|---|---|
pySparkTaskParam |
PySparkTaskParam |
PySpark 任务参数对象 |
PySparkTaskParam
| 字段名 | 类型 | 说明 |
|---|---|---|
mainApplicationPyFile |
String |
PySpark任务的主程序 Python 文件在工作区内的路径 |
dependentLibraries |
String[] |
py以及zip类型的依赖库在工作区内路径列表 |
mainClassArgs |
String[] |
主类参数列表,比如--arg1 value1 --arg2 value2 value3这样的一组参数,需要通过["--arg1", "value1", "--arg2", "value2", "value3"]这样的方式传入 |
envVars |
TaskEnvVar[] |
key-value格式的环境变量列表 |
templateId |
String |
任务模板 ID |
sparkConf |
SparkConfEntry[] |
Spark 配置项列表 |
FileIntegrationTask
| 字段名 | 类型 | 说明 |
|---|---|---|
fileIntegrationTaskParam |
FileIntegrationJobTaskParam |
文件采集任务参数对象 |
FileIntegrationJobTaskParam
| 字段名 | 类型 | 说明 |
|---|---|---|
integrationJobId |
String |
文件采集任务ID |
TableIntegrationTask
| 字段名 | 类型 | 说明 |
|---|---|---|
tileIntegrationTaskParam |
TableIntegrationJobTaskParam |
库表采集任务参数对象 |
TableIntegrationJobTaskParam
| 字段名 | 类型 | 说明 |
|---|---|---|
integrationJobId |
String |
库表采集任务ID |
NotebookTask
| 字段名 | 类型 | 说明 |
|---|---|---|
notebookTaskParam |
NotebookTaskParam |
Notebook任务参数对象 |
NotebookTaskParam
| 字段名 | 类型 | 说明 |
|---|---|---|
jupyterFilePath |
String |
Jupyter 文件在工作区内的路径 |
DependentTask
| 字段名 | 类型 | 说明 |
|---|---|---|
****dependentTaskParam |
DependentTaskParam |
依赖组件任务参数对象 |
DependentTaskParam
| 字段名 | 类型 | 说明 |
|---|---|---|
workspaceId |
String |
依赖任务的工作空间ID,不能为空且不能是空白字符 |
jobId |
String |
依赖任务的工作流ID,不能为空且不能是空白字符 |
depTaskId |
String |
依赖任务的任务ID |
dateValue |
String |
指定被依赖任务的完成时间段,在依赖检查时会在指定的时间段内查找被依赖任务是否有成功执行的记录,支持如下的配置小时级别currentHour: 当前小时last1Hour: 上一小时last2hours: 上两小时last3Hours: 上三小时last12Hours: 上十二小时last24Hours: 上二十四小时天级别today: 今天last1Days: 昨天last2Days: 前两天last3Days: 前三天last7Days: 最近七天周级别thisWeek: 本周lastWeek: 上周last2Weeks: 上两周last3Weeks: 上三周lastMonday: 上周一lastTuesday: 上周二lastWednesday: 上周三lastThursday: 上周四lastFriday: 上周五lastSaturday: 上周六lastSunday: 上周日月级别thisMouth: 本月``thisMonthBegin: 本月初thisMonthEnd: 本月底lastMonth: 上个月lastMonthBegin: 上月初lastMonthEnd: 上月底 |
checkInterval |
Int |
检查间隔(单位: 秒) |
failurePolicy |
String |
失败处理策略DEPENDENT_FAILURE_FAILURE: 依赖组件失败则任务baiDEPENDENT_FAILURE_WAITING: 依赖组件失败则任务等待 |
failureWaitingTime |
Int |
失败等待时间(单位: 分) |
ListJobResult
| 字段名 | 类型 | 说明 |
|---|---|---|
marker |
String |
本次请求使用的游标,表示从这个 jobId 开始查询。 |
isTruncated |
Boolean |
是否被截断。如果为 true,表示还有更多数据可供获取。 |
nextMarker |
String |
下一页的游标值(工作流ID),传给下一个请求的 marker 参数。 |
maxKeys |
number |
当前页最多返回多少个记录 |
jobs |
Job[] |
当前页实际返回的任务列表。此处为空数组,说明没有数据返回。 |
Job
| 字段名 | 类型 | 含义 |
|---|---|---|
jobId |
String |
任务 ID,用于唯一标识该作业 |
workspaceId |
String |
所属工作空间 ID |
name |
String |
作业名称 |
description |
String |
作业描述信息 |
tasks |
Task[] |
任务定义列表,包含该作业的任务信息集合 |
ScheduleConf
| 参数名 | 类型 | 说明 |
|---|---|---|
startTime |
String |
开始时间,格式为 yyyy-MM-dd HH:mm:ss,必须是有效日期时间 |
endTime |
String |
结束时间,格式为 yyyy-MM-dd HH:mm:ss,必须是有效日期时间 |
crontab |
String |
Crontab 表达式,必须是可触发的,且周期必须大于等于 60 秒 |
AlertStrategy
| 参数名 | 类型 | 说明 |
|---|---|---|
incidentAction |
String |
通知模版id,可以从bcm页面获取到指定通知模版对应的id |
alertScenes |
String[] |
告警场景:START(启动)、SUCCESS(运行成功)、FAILURE(运行失败)、TIMEOUT(运行超时) |
timeout |
Integer |
超时时间,单位:分钟/min,只有告警场景里勾选了TIMEOUT(运行超时)之后才会设置该值,如果存在多条告警同时设置了超时时间,以第一个设置值生效 |
alarmEventPolicyName |
String |
bcm侧的事件报警策略名称,创建/修改工作流更新告警策略时该值为空,修改工作流不更新告警策略时需要回传该值 |
