离线作业组开发
新建文件夹
作业组开发支持按照文件夹进行分组管理,在【作业组开发】中点击【新建文件夹】按钮,弹出【新增文件夹】弹窗。
作业组编排
作业组的编排目前支持六种作业类型:可视化作业、脚本作业、作业组、数据治理、数据集成、数据安全。
其中:
- 可视化作业包括类型:可视化;
- 脚本作业类型包括:Shell、Python、Spark、SparkSQL、HIVESQL、JDBCSQL、PySpark、Scala;
- 作业组类型包括:作业组;
- 数据治理类型包括:Quality;
- 数据集成类型包括:离线同步。
- 数据安全类型包括:数据脱敏。
用户拖拽某种类型节点到开发界面中,点击节点,进行作业节点的配置。
节点配置
各个节点配置支持引用的形式,如将在【可视化开发】、【脚本开发】、【作业组】、【数据治理】、【数据集成】、【数据安全】中开发好的任务进行引用。
节点配置定义 | 定义说明 |
---|---|
*节点名称 | 默认名称:JobGroup,可编辑 |
*作业组 | 下拉选项,选择已发布的作业组,同时支持名称检索权限限制:仅可选择当前用户发布的作业组 |
*版本 | 下拉选项,可选择对应已发布作业组的版本号 |
执行设置
用户可以对节点进行执行相关设置。
【最长执行时间】作业运行的时间上限,当超过这个时间上限后,作业失败。
【最大并行作业数】作业并行运行时的最大并行作业数量。
【失败重试】作业执行失败后重试的次数,以及每次重试之间的时间间隔,配置重试之后,作业节点会在配置时间间隔后,再次运行,直到超过重试次数之后,作业节点才算真正失败。
【设置依赖节点】本节点依赖其他任务节点。只有当被依赖节点执行成功之后,此节点才会被执行。
【优先级设置】作业节点的优先级。平台一共分为5级优先级。1-5,数字越高优先级越高。当在同一层级的任务,优先执行优先级高的作业。
可以拖拽多个节点。将多个节点之间建立相互的依赖关系。组成有向无环的DAG图。作业组按照此DAG图进行作业间的相互执行。
作业节点执行设置:
依赖节点参数配置:
目前支持STATUS 表达式:
表达式 | 说明 | 所依赖节点生效范围 | 说明 |
---|---|---|---|
节点无关语义(5种) | |||
one_success | 对于本节点直接依赖的上游节点,只要有一个节点执行成功,就能满足条件 | 与该节点具有直接依赖关系的节点,表达式中的 jobName 失效,但是需要用"*"作为占位符填充进表达式。 | 支持 "==" |
one_failed | 对于本节点直接依赖的上游节点,只要有一个节点执行失败,就能满足条件。 | 与该节点具有直接依赖关系的节点,表达式中的 jobName 失效,但是需要用"*"作为占位符填充进表达式。 | 支持 "==" |
all_success | 对于本节点直接依赖的上游节点,所有节点都要执行成功,才能满足条件 | 与该节点具有直接依赖关系的节点,表达式中的 jobName 失效,但是需要用"*"作为占位符填充进表达式。 | 支持 "==" |
all_failed | 对于本节点直接依赖的上游节点,所有节点都要执行失败,才能满足条件 | 与该节点具有直接依赖关系的节点,表达式中的 jobName 失效,但是需要用"*"作为占位符填充进表达式。 | 支持 "==" |
all_done | 对于本节点直接依赖的上游节点,所有节点都要执行完成,才能满足条件 | 与该节点具有直接依赖关系的节点,表达式中的 jobName 失效,但是需要用"*"作为占位符填充进表达式。 | 支持 "==" |
节点相关语义(2种) | |||
success | 对于本节点直接依赖的上游节点,其中某个节点执行成功,即满足条件 | 与该节点具有依赖关系(直接或间接)的节点,表达式中需准确指定 jobName。 | 支持 "==" |
failed | 对于本节点直接依赖的上游节点,其中某个节点执行失败,即满足条件 | 与该节点具有依赖关系(直接或间接)的节点,表达式中需准确指定 jobName。 | 支持 "==" |
作业组配置
作业组节点前后节点允许连接:可视化作业、脚本作业、作业组、数据治理、数据集成、数据安全。
基本信息
完成作业组开发后,点击右侧【基本信息】,显示作业组的基本信息,并能够进行描述修改。
参数设置
点击右侧【参数设置】,弹出作业组的参数设置。设置的参数可以在作业组中的作业进行引用。
- 参数名称:自定义参数名称;
- 参数值:填写参数值,支持固定值及时间宏函数;
- 参数引用:以${参数名称}方式在作业组中进行引用。
注:如果作业组和作业设置了同名的参数,则作业中设置的参数优先级高于作业组中设置的参数。
作业保存
点击页面上方【保存】完成对当前作业组的保存。
作业发布
点击页面上方【发布】,可将当前作业提交为一新的版本,并可在右侧【版本】浏览历史版本、执行版本回滚操作。
作业组执行
完成作业组配置后,点击“执行”按钮执行作业组,会展示当前作业组节点作业组级别的日志。