可视化作业
更新时间:2024-08-28
概述
EDAP支持离线作业开发模式,主要面向离线数据处理场景,同时提供了可视化作业开发、脚本作业开发、作业组开发三种开发方式,满足不同客户开发需求。本章节将详细的为您介绍可视化作业开发流程。
图一 离线开发可视化作业概览
表一 可视化作业概览描述
功能区域 | 描述 |
---|---|
选择作业 | 区域1用于快速切换不同作业 |
任务开发列表 | 区域2是任务开发列表。 系统默认作业文件是任务开发。在此区域可以新建作业或新建文件夹。支持按照文件名称搜索作业,并且可以定位作业。同时支持导入/导出文件(文件大小不超过200M的zip文件)。 |
插件列表 | 区域3展示作业对应插件或者开发面板。 |
作业配置 | 区域4是作业的不同配置,包括基本设置、参数设置、引擎设置和版本 |
作业操作 | 区域5可对作业进行不同操作 |
名词解释
针对文档中频繁出现的名词,下面将进行详细描述:
表二 名词解释
名词 | 说明 |
---|---|
作业 | 用户通过离线开发、实时开发功能编写的可视化、脚本、Jar包等统称为作业 |
作业组 | 离线开发下多个作业的组合被称为作业组 |
任务 | 作业发布后形成可被手动或定时调度的任务 |
实例 | 任务每次执行会形成一个实例,实例状态分为成功、失败、暂停等 |
新增文件夹
可视化作业支持按照文件夹进行分组管理,新建作业前可以选择新增文件夹。
- 进入可视化作业需要新建项目。没有项目选择侧边导航或者快速访问中数据加工>开发(顶部导航)>离线开发>可视化作业后,系统自动跳转新建项目,完善项目信息即可创建成功。
- 系统默认项目文件夹。可以直接选择侧边导航或者快速访问中数据加工>开发(顶部导航)>离线开发>可视化作业后进入可视化作业。
- 单击新建按钮,填写弹窗中配置项后点击确定即可创建成功。
新增作业
文件夹新增完毕,单击新建按钮选择新增作业。填写新建作业弹窗中配置项点击确定后新增完成。支持选择存放文件夹。在列表中显示任务名称,并且在插件中展示可视化插件表示新增作业成功。
可视化作业插件
离线可视化开发作业支持五种类型插件。源端插件、数据处理组件、开发分析组件、目标端插件以及动作执行插件。用户可以将插件节点拖拽到可视化开发面板中,进行可视化作业的开发,下面对具体插件详细描述。
1.选择需要的插件单击或者将其拖入可视化开发面板中,然后单击插件系统回跳出关于组件的配置界面。填写相关配置项单击确定即配置成功。
2.插件间支持相互连接。
表三 插件说明
插件类型 | 插件说明 |
---|---|
源端插件 | 作为整个可视化作业的数据输入端,源端插件只能作为开始节点,下游可以连接数据处理组件、开发分析组件或者直接连接目标端插件 |
数据处理组件 | 对上游源端插件的数据进行数据处理,用户可以使用脚本类插件对数据进行处理 |
数据开发组件 | 对上游源端插件的数据进行数据开发,用户可以使用SQL抽象插件进行数据处理 |
目标端插件 | 将上游处理好的数据写入到目标端插件。且目标端插件需要作为可视化作业的最后节点 |
动作执行插件 | 目前动作执行插件主要支持jdbcAction插件,支持对不同类型数据进行SQL执行相关操作,如truncate、delete等 |
可视化作业配置
可视化作业配置位于整个工作台的右边,单击不同配置项可以根据需要对作业进行配置。不同设置之间可进行点击切换。
表四 配置说明
作业配置名称 | 配置说明 |
---|---|
基本信息 | 单击右侧配置信息-基本信息,可展开查看可视化作业的基本信息,包括作业名称、责任人、作业类型和描述。支持对描述进行修改 |
参数设置 | 单击参数设置,填写弹窗内参数内配置项。 |
引擎设置 | 1.单击引擎设置,可以根据计算需求选择mapreduce或spark引擎,并可以针对不同引擎设置Driver和Executor的CPU及内存大小。 2.引擎也支持参数设置,具体描述参照参数设置即可。 |
版本 | 在作业发布后,可在此处查看历史版本、执行版本回滚操作。 |
可视化作业操作
在作业运行过程中,可对作业进行不同操作,包括但不限于保存、发布和执行。
表五 可视化作业操作说明
操作项 | 操作说明 |
---|---|
作业保存 | 单击面板上方保存按钮 |
发布作业 | 单击面板上方发布按钮,可将当前作业提交为新的版本。发布完成后可在面板右侧版本中查看历史版本、执行版本回滚操作,同时将当前作业发布到任务运维中心。 |
作业停止 | 单击面板上方停止按钮,可停止当前作业。 |
执行作业 | 单击页面上方执行,进行可视化作业测试运行,且在执行信息中弹出执行日志信息。 |
作业导出/入 | 可视化作业支持导入导出,单击导出,将当前作业导出为json文件 |
计算资源 | 点击页面上方计算资源弹出作业资源设置框,对脚本作业进行资源设置。 |