离线可视化作业开发
更新时间:2023-05-17
新增文件夹
可视化作业支持按照文件夹进行分组管理,在【可视化作业开发】中点击【新建文件夹】按钮,弹出【新增文件夹】弹窗:
输入文件夹名称、选择存放的上级文件夹可完成新增文件夹创建:
新建作业
选择文件夹后,点击【新建作业】按钮:
弹出【新建作业】弹窗。输入可视化作业名称、存放的文件夹,完成新作业创建:
点击【确定】。在【任务开发】列表中,显示创建任务。并且在开发面板中显示可视化作业支持插件。
可视化作业编辑
离线可视化开发作业支持五种类型插件。源端插件、数据处理组件、开发分析组件、目标端插件以及动作执行插件。
- 源端插件:作为整个可视化作业的数据输入端,源端插件只能作为开始节点,下游可以连接数据处理组件、开发分析组件或者直接连接目标端插件;
- 数据处理组件:对上游源端插件的数据进行数据处理,用户可以使用脚本类插件对数据进行处理;
- 数据开发组件:对上游源端插件的数据进行数据开发,用户可以使用SQL抽象插件进行数据处理;
- 目标端插件:将上游处理好的数据写入到目标端插件。且目标端插件需要作为可视化作业的最后节点;
- 动作执行插件:目前动作执行插件主要支持jdbcAction插件,支持对不同类型数据进行SQL执行相关操作,如truncate、delete等。
用户可以将插件节点拖拽到可视化开发面板中,进行可视化作业的开发:
可视化作业配置
基本信息
点击右侧【基本信息】,可显示可视化作业的基本信息,并能够进行描述修改。
参数设置
点击右侧【参数设置】,弹出可视化作业的参数设置。设置的参数可以在可视化作业中进行引用。
参数名称:自定义参数名称
参数值:填写参数值,支持固定值及时间宏函数
参数引用:以${参数名称}方式在可视化作业中进行引用
引擎设置
点击右侧【引擎设置】可以根据计算需求选择mapreduce或spark引擎,并可以针对不同引擎设置Driver和Executor的CPU及内存大小:
血缘关系
EDAP支持手工维护血缘关系:点击右侧【血缘关系】,可以选择输入与输出数据表类型,包含物理表、数据源表、自定义表以及其相关的配置。
计算资源
点击页面上方【计算资源】弹出作业资源设置框,对可视化作业进行资源选择。
作业保存
点击页面上方【保存】完成对当前作业的保存:
作业发布
点击页面上方【发布】,可将当前作业提交为一新的版本,并可在右侧【版本】浏览历史版本、执行版本回滚操作,同时将当前作业发布到【任务运维】中心:
作业执行
点击页面上方【执行】,进行可视化作业测试运行,且在【执行信息】中弹出执行日志信息。
作业导入导出
可视化作业支持导入导出,点击【导出】,将当前作业导出为json文件: