Flink作业
更新时间:2024-08-28
实时Flink文件夹/作业创建
- 实时Flink作业支持按照文件夹进行分组管理,新建作业前可以选择新增文件夹。
- 选择侧边导航或者快速访问中数据加工>开发(顶部导航)>实时作业(侧边)>Flink作业后进入Flink作业。
- 新建文件夹。单击新建按钮选择新建文件夹,填写相关配置项即可新建成功。
- 新建作业。单击新建按钮选择新建作业,文件夹支持自行选择存放作业,填写完毕点击确定新建成功。
- FlinkSQL:用户通过写SQL的方式就能够进行实时Flink作业的开发。
- Flink自定义:用户需要在线下编辑好Flink作业包,上传到平台之上。
实时Flink作业编辑
FlinkSQL作业
创建的FlinkSQL作业中,用户能够通过类SQL脚本进行任务开发,编写相应的FlinkSQL脚本。SQL脚本模板如下:
Plain Text
1--创建kafka表
2drop table if EXISTS kafka_run_log;
3create table kafka_run_log(
4 carId int,
5 fuel_consumption int,
6 traffic string,
7 speed int,
8 latitude double,
9 longitude double,
10 create_time TIMESTAMP(3)
11) with (
12 'connector.type' = 'kafka',
13 'connector.version' = '0.10',
14 'connector.topic' = 'vehicle_run_info',
15 'connector.properties.bootstrap.servers' = ' XX.XX.XX.XX:9093',
16 'connector.startup-mode' = 'latest-offset',
17 'connector.properties.enable.auto.commit' = 'false',
18 'format.type' = 'csv'
19);
20/*
21 创建mysql表语句
22 */
23drop table if EXISTS mysql_run_log;
24CREATE TABLE mysql_run_log (
25 carId int,
26 fuel_consumption INT,
27 traffic varchar(50),
28 speed int,
29 latitude double,
30 longitude double,
31 create_time TIMESTAMP(3)
32) WITH (
33 'connector.type' = 'jdbc',
34 'connector.url' = 'jdbc:mysql://XX.XX.XX.XX:3306/car_run_log?useSSL=false',
35 'connector.table' = 'mysql_run_log',
36 'connector.username' = 'edap_test',
37 'connector.password' = 'edap_test@1'
38);
39insert into
40 mysql_run_log
41select
42 carId,
43 fuel_consumption,
44 traffic,
45 speed,
46 latitude,
47 longitude,
48 create_time
49from
50 kafka_run_log;
51select
52 count(carId)
53from
54 mysql_run_log;
FlinkJAR作业
用户可以在开发界面中调整jar包的存储路径。
实时Flink作业配置
在Flink作业开发完成之后,可以在面板右侧可以查看作业配置,配置间可点击切换。
表三 配置说明
作业配置名称 | 配置说明 |
---|---|
基本信息 | 单击右侧配置信息>基本信息,可展开查看Flink作业的基本信息,包括作业名称、责任人、作业类型、执行引擎和描述。支持对描述进行修改。 |
参数设置 | 单击参数设置,填写弹窗内参数内配置项。 |
引擎设置 | 1.单击引擎设置,可以根据计算需求选择不同引擎配置,可手动填写。 2.引擎也支持参数设置,具体描述参照参数设置即可。 |
版本 | 在作业发布后,可在此处查看历史版本、执行版本回滚操作。 |
实时Flink作业操作
在作业运行过程中,可对作业进行不同操作,包括但不限于保存、发布和执行。
表四 实时Flink作业操作说明
操作项 | 操作说明 |
---|---|
作业保存 | 单击面板上方保存按钮。 |
发布作业 | 单击面板上方发布按钮,可将当前作业提交为新的版本。发布完成后可在面板右侧版本中查看历史版本、执行版本回滚操作,同时将当前作业发布到任务运维中心。 |
作业停止 | 单击面板上方停止按钮,可停止当前作业。 |
执行作业 | 单击页面上方执行,进行可视化作业测试运行,且在执行信息中弹出执行日志信息。 |
作业导出/入 | Flink作业支持导入导出,单击导出,将当前作业导出为json文件。 |
计算资源 | 点击页面上方计算资源弹出作业资源设置框,对脚本作业进行资源设置。 |