离线脚本作业开发
新增文件夹
脚本作业支持按照文件夹进行分组管理,在【脚本作业开发】中点击【新建文件夹】按钮,弹出【新增文件夹】弹窗:
新建作业
点击新建按钮,弹出【新建作业】弹窗。选择脚本类型,脚本作业名称、存放的文件夹,目前支持新建的脚本类型包括:HIVESQL、JDBCSQL、Spark SQL、PySpark、Spark Scala、Shell、Python等脚本类型。
脚本作业编辑
选择脚本类型后可以在编辑框中进行代码编辑开发。
脚本作业配置
不同类型的脚本支持不同的作业配置,各类脚本支持的配置项详情如下:
序号 | 脚本类型 | 配置项 |
---|---|---|
1 | HIVESQL | 基本信息、参数设置、血缘关系、版本 |
2 | JDBCSQL | 基本信息、参数设置、血缘关系、版本 |
3 | Spark SQL | 基本信息、参数设置、引擎设置、血缘关系、版本 |
4 | PySpark | 基本信息、参数设置、引擎设置、血缘关系、版本 |
5 | Spark Scala | 基本信息、参数设置、引擎设置、血缘关系、版本 |
6 | Shell | 基本信息、脚本设置、版本 |
7 | Python | 基本信息、脚本设置、版本 |
基本信息
开发完脚本作业之后,点击右侧【基本信息】,显示脚本作业的基本信息,并能够进行描述修改。
参数设置
针对HIVESQL、JDBCSQL脚本类型,支持参数设置填写:
点击右侧【参数设置】,弹出脚本作业的参数设置。设置的参数可以在脚本作业中进行引用。
- 参数名称:自定义参数名称
- 参数值:填写参数值,支持固定值及时间宏函数
- 参数引用:以${参数名称}方式在脚本作业中进行引用
脚本设置
针对Shell、Python脚本类型,支持脚本设置填写:支持修改python相关参数,,支持选择python版本。
引擎设置
针对Spark SQL、PySpark、Spark Scala类型的脚本支持引擎设置:支持修改Spark相关参数。
血缘关系
针对 HIVESQL、JDBCSQL、Spark SQL、PySpark、Spark Scala类型的脚本EDAP支持手工维护血缘关系:点击右侧【血缘关系】,可以选择输入与输出数据表类型,包含物理表、数据源表、自定义表以及其相关的配置。
计算资源
点击页面上方【计算资源】弹出作业资源设置框,对脚本作业进行资源设置。
作业保存
点击页面上方【保存】完成对当前作业的保存:
作业发布
点击页面上方【发布】,可将当前作业提交为一新的版本,并可在右侧【版本】浏览历史版本、执行版本回滚操作,同时将当前作业发布到【任务运维】中心:
作业执行
点击页面上方【执行】,进行脚本作业测试运行,且在【执行信息】中弹出执行日志信息。
脚本作业导入导出
脚本作业支持导入导出,正在执行中的草稿任务,导入、导出按钮无法点击。
作业导入
点击【导入】按钮,选择用户本地文件,只支持json类型文件导入,若用户选择非json类型文件,则提示:「请选择json文件」
导入的脚本作业默认覆盖原有工作台的草稿。
若导入的脚本作业类型与现有的脚本类型不一致,则提示:「导入作业的脚本类型与所建作业类型不一致!」
作业导出
点击【导出】按钮,弹窗提示:“是否确认导出该作业?”
点击【确认】后,会保存json文件至用户本地,文件名为:当前作业名.json
文件包含的内容:当前作业名、脚本内容、基本信息、参数配置