概述
更新时间:2024-08-28
概述
EDAP支持离线作业开发模式,主要面向离线数据处理场景,同时提供了可视化作业开发、脚本作业开发、作业组开发三种开发方式,满足不同客户开发需求。
进入项目
在【我的项目】中的项目列表点击具体某个项目,进入项目内部。
离线开发
项目内,选择【离线开发】,进入离线作业的开发和编排界面。离线开发分为三类: 可视化作业开发、脚本作业开发、作业组开发。
- 可视化作业开发:使用拖拽的形式,降低用户开发、使用门槛,快速实现离线任务的加工处理;
- 脚本作业开发:以脚本的形式进行数据的开发,目前支持的脚本类型包括:HIVESQL、JDBCSQL、Spark SQL、PySpark、Spark Scala、Shell、Python等脚本类型;
- 作业组开发:将可视化作业开发、脚本作业开发等开发完成的作业,或者用户线下创建好的shell、python、spark等作业进行引用。实现作业组的可视化编排,并配置调度,实现离线作业组的周期性运行。
作业批量导入导出
仅支持顶级【任务开发】目录下的文件夹/作业的导入导出(涵盖可视化、脚本、作业组)。
导入
点击【导入】按钮,页面弹窗,选择用户本地文件,支持单文件、且zip类型文件导入,如果选择文件非zip类型,会提示:「请选择zip压缩包」;
如果提示“导入文件解析失败,请检查json文件”,则可能是单个json文件或zip压缩包内某个json文件不满足edap标准。
导入完成后,弹窗展示导入失败的文件名。
注意:同名脚本/作业进行覆盖。
导出
点击【导出】按钮,弹窗提示“是否确认导出该文件夹下所有作业?”
点击确定后,导出的文件会被打包为一个zip压缩包,压缩包名为:project_categ_datetime.zip(datatime为时间戳,到秒级)。
压缩包内包含文件夹及文件夹内所有的作业,作业格式仍为json格式,json包含内容与单作业导出内容保持一致(仅包含作业元信息,不包含引用的jar、文件)。