Flink作业
更新时间:2024-08-28
实时Flink文件夹/作业创建
- 实时Flink作业支持按照文件夹进行分组管理,新建作业前可以选择新增文件夹。
- 选择侧边导航或者快速访问中数据加工>开发(顶部导航)>实时作业(侧边)>Flink作业后进入Flink作业。
- 新建文件夹。单击新建按钮选择新建文件夹,填写相关配置项即可新建成功。
- 新建作业。单击新建按钮选择新建作业,文件夹支持自行选择存放作业,填写完毕点击确定新建成功。
- FlinkSQL:用户通过写SQL的方式就能够进行实时Flink作业的开发。
- Flink自定义:用户需要在线下编辑好Flink作业包,上传到平台之上。
实时Flink作业编辑
FlinkSQL作业
创建的FlinkSQL作业中,用户能够通过类SQL脚本进行任务开发,编写相应的FlinkSQL脚本。SQL脚本模板如下:
--创建kafka表
drop table if EXISTS kafka_run_log;
create table kafka_run_log(
carId int,
fuel_consumption int,
traffic string,
speed int,
latitude double,
longitude double,
create_time TIMESTAMP(3)
) with (
'connector.type' = 'kafka',
'connector.version' = '0.10',
'connector.topic' = 'vehicle_run_info',
'connector.properties.bootstrap.servers' = ' XX.XX.XX.XX:9093',
'connector.startup-mode' = 'latest-offset',
'connector.properties.enable.auto.commit' = 'false',
'format.type' = 'csv'
);
/*
创建mysql表语句
*/
drop table if EXISTS mysql_run_log;
CREATE TABLE mysql_run_log (
carId int,
fuel_consumption INT,
traffic varchar(50),
speed int,
latitude double,
longitude double,
create_time TIMESTAMP(3)
) WITH (
'connector.type' = 'jdbc',
'connector.url' = 'jdbc:mysql://XX.XX.XX.XX:3306/car_run_log?useSSL=false',
'connector.table' = 'mysql_run_log',
'connector.username' = 'edap_test',
'connector.password' = 'edap_test@1'
);
insert into
mysql_run_log
select
carId,
fuel_consumption,
traffic,
speed,
latitude,
longitude,
create_time
from
kafka_run_log;
select
count(carId)
from
mysql_run_log;
FlinkJAR作业
用户可以在开发界面中调整jar包的存储路径。
实时Flink作业配置
在Flink作业开发完成之后,可以在面板右侧可以查看作业配置,配置间可点击切换。
表三 配置说明
作业配置名称 | 配置说明 |
---|---|
基本信息 | 单击右侧配置信息>基本信息,可展开查看Flink作业的基本信息,包括作业名称、责任人、作业类型、执行引擎和描述。支持对描述进行修改。 |
参数设置 | 单击参数设置,填写弹窗内参数内配置项。 |
引擎设置 | 1.单击引擎设置,可以根据计算需求选择不同引擎配置,可手动填写。 2.引擎也支持参数设置,具体描述参照参数设置即可。 |
版本 | 在作业发布后,可在此处查看历史版本、执行版本回滚操作。 |
实时Flink作业操作
在作业运行过程中,可对作业进行不同操作,包括但不限于保存、发布和执行。
表四 实时Flink作业操作说明
操作项 | 操作说明 |
---|---|
作业保存 | 单击面板上方保存按钮。 |
发布作业 | 单击面板上方发布按钮,可将当前作业提交为新的版本。发布完成后可在面板右侧版本中查看历史版本、执行版本回滚操作,同时将当前作业发布到任务运维中心。 |
作业停止 | 单击面板上方停止按钮,可停止当前作业。 |
执行作业 | 单击页面上方执行,进行可视化作业测试运行,且在执行信息中弹出执行日志信息。 |
作业导出/入 | Flink作业支持导入导出,单击导出,将当前作业导出为json文件。 |
计算资源 | 点击页面上方计算资源弹出作业资源设置框,对脚本作业进行资源设置。 |