Spark作业开发
更新时间:2024-05-07
Spark作业开发
概述
新建Spark作业
参数说明:
参数名称 | 说明 |
---|---|
作业类型 | Spark Scala作业、Spark自定义作业 |
执行引擎 | Spark Streaming |
作业名称 | 只能包含英文字母、数字、中划线和下划线,且以英文字母开头,不大于50个字符 |
存放文件夹 | 选择存放的文件夹位置 |
新建Scala作业
新建Scala作业,呈现Scala代码编写面板,支持进行Scala代码的编写
目前,Source支持 kafka, Sink支持 kafka、hive和file。
引擎设置
参数说明
参数名称 | 默认参数值 | 操作 | 默认提示 | 参数名称-输入规则限制 | 默认参数值-输入规则限制 |
---|---|---|---|---|---|
spark.driver.cores | 1 | + - | 支持字母(a-z)和小数点(.)256字符以内 | 支持字母(a-z)和数字(0-9),长度24个字符 | |
spark.driver.memory | 1g | + - | |||
spark.executor.cores | 1 | + - | |||
spark.executor.instances | 1 | + - | |||
spark.executor.memory | 1g | + - |
新建自定义作业
作业配置参数说明:
参数名称 | 说明 |
---|---|
主程序包路径 | 选择主程序文件路径,如HDFS没有对应文件请上传文件,点击上传文件弹窗显示上传文件操作框 |
主程序包名称 | 填写程序包名称 |
主类名称 | 填写主类名称 |
Spark Main参数 | 填写相关参数,Spark 主类参数,支持多参数填写 |
引擎设置
参数说明
参数名称 | 参数值 | 操作 |
---|---|---|
spark.driver.cores | 1 | + - |
spark.driver.memory | 1g | + - |
spark.executor.cores | 1 | + - |
spark.executor.instances | 1 | + - |
spark.executor.memory | 1g | + - |