可视化作业
更新时间：2024-08-28
新建文件夹/作业
可视化作业支持按照文件夹进行分组管理，新建作业前可以选择新增文件夹。
- 选择侧边导航或者快速访问中数据加工>开发（顶部导航）>实时开发>可视化作业后进入作业组。
- 新建文件夹。单击新建按钮选择新建文件夹，填写相关配置项即可新建成功。
- 新建作业。单击新建按钮选择新建作业，文件夹支持自行选择存放，填写完毕点击确定新建成功。
可视化作业编辑
可视化作业支持四种类型插件。源端插件、数据处理组件、开发分析组件和目标端插件。用户可以返回将源端插件拖拽到开发画布中，作为实时数据的源端。具体插件的使用说明，可以点击右上角帮助文档查看。
表一 插件类型说明
| 插件类型 | 插件说明 | 操作说明 |
|---|---|---|
| 源端插件 | 作为整个作业的数据输入端，源端插件只能作为流水线的开始节点，下游可以连接数据处理组件、开发分析组件或者直接连接目标端插件。 | 目前源端支持【HTTP】、【Kafka Consumer】、【RabbitMQ Consumer】三种。用户可以返回将源端插件拖拽到开发画布中，作为实时数据的源端。 |
| 数据处理组件 | 对上游源端插件的数据进行数据处理，用户可以使用脚本类插件对数据进行处理。 | 数据处理组件拖拽到开发面板之后，将上游的源端插件连接到数据处理组件中。 |
| 数据开发组件 | 对上游源端插件的数据进行数据开发，用户可以使用SQL抽象插件进行数据处理。 | 开发分析组件和数据处理组件使用流程相同，在源端插件之后，进行数据处理。 |
| 目标端插件 | 将上游处理好的数据写入到目标端插件。且目标端插件需要作为流水线的最后节点。 | 实时作业支持目标端。用户可以将实时作业，处理加工的数据流接入到目标端。目标端可以是另一个kafka消息队列，也可以是Hive等数据库。 |
可视化作业配置
可视化作业配置位于整个页面右侧，单击不同的配置可查看具体配置详情。
表二 可视化作业配置项说明
| 可视化作业配置名称 | 配置说明 |
|---|---|
| 基本信息 | 单击右侧配置信息-基本信息，可展开查看可视化作业的基本信息，包括作业名称、责任人、作业类型和描述。支持对描述进行修改 |
| 参数设置 | 单击参数设置，填写弹窗内参数内配置项。 |
| 引擎设置 | 1.单击引擎设置，可以根据计算需求选择mapreduce或spark引擎，并可以针对不同引擎设置Driver和Executor的CPU及内存大小。 2.引擎也支持参数设置，具体描述参照参数设置即可。 |
| 版本 | 在作业发布后，可在此处查看历史版本、执行版本回滚操作。 |
可视化作业操作
在作业运行过程中，可对作业进行不同操作，包括但不限于保存、发布和执行。
表四 可视化作业操作说明
| 操作项 | 操作说明 |
|---|---|
| 作业保存 | 单击面板上方保存按钮 |
| 发布作业 | 单击面板上方发布按钮，可将当前作业提交为新的版本。发布完成后可在面板右侧版本中查看历史版本、执行版本回滚操作，同时将当前作业发布到任务运维中心。 |
| 作业停止 | 单击面板上方停止按钮，可停止当前作业。 |
| 执行作业 | 单击页面上方执行，进行可视化作业测试运行，且在执行信息中弹出执行日志信息。 |
| 作业导出/入 | 可视化作业支持导入导出，单击导出，将当前作业导出为json文件 |
| 计算资源 | 点击页面上方计算资源弹出作业资源设置框，对脚本作业进行资源设置。 |