AllData数据中台核心菜单四:实时开发

作者:AllData公司负责人2024.10.18 17:58浏览量:95

简介:AllData数据中台核心菜单四:实时开发

🔥🔥 AllData可定义数据中台,以数据平台为底座,以数据中台为桥梁,以机器学习平台为工厂,以大模型应用为上游产品,提供全链路数字化解决方案。
✨开源项目:https://github.com/alldatacenter/alldata
✨官方文档https://alldata-document.readthedocs.io
✨社区文档:https://docs.qq.com/doc/DVHlkSEtvVXVCdEFo
4.jpg

AllData数据中台 - 主页

1729245019835.jpg

实时开发 - 功能描述

1、AllData实时开发功能基于开源项目StreamPark建设。

2、StreamPark提供了一系列快捷 API 和 Connector,开箱即用,作业状态自动追踪,快速完成作业的开发和管理。同时支持 Flink & Spark,无缝支持流式处理和批处理,连接互通,创造无限可能。

3、StreamPark 是一个流处理应用程序开发管理框架,旨在轻松构建和管理流处理应用程序,提供使用Flink 和Spark 编写流处理应用的开发框架和一站式实时计算平台,核心能力包括不限于应用开发、部署、管理、运维、实时数仓等。

4、StreamPark 为流处理作业提供全生命周期支持,从开发到部署,集众多功能于一身,是一站式流处理平台。

实时开发 - 模块功能汇总

1729245142029.jpg

实时开发 - 功能点展示

「 开发管理 」项目管理
1开发管理项目管理.jpg

「 开发管理 」作业管理
2.1开发管理作业管理.jpg

2.2开发管理作业管理.jpg

CREATE TABLE doris_table (
    cid INT,
    sid INT,
    name STRING,
    cls STRING,
    score INT,
    PRIMARY KEY (cid) NOT ENFORCED
) WITH (
'connector' = 'doris',
'fenodes' = '127.0.0.1:8030' ,
'table.identifier' = 'test.scoreinfo',
'username' = 'root',
'password'=''
);




CREATE TABLE JDBC_table (
  id BIGINT,
  name STRING,
  age INT,
  status BOOLEAN,
  PRIMARY KEY (id) NOT ENFORCED
) WITH (
   'connector' = 'jdbc',
   'url' = 'jdbc:mysql://localhost:3306/mydatabase',
   'table-name' = 'users',
   'username' = 'root',
   'password' = '123456'
);
--可选: 'sink.parallelism'='1',
--可选: 'lookup.cache.ttl'='1000s',

「 开发管理 」变量管理
3开发管理变量管理.jpg

「 设置中心 」系统管理
4设置中心系统管理.jpg

「 设置中心 」告警管理
5设置中心告警设置.jpg

「 设置中心 」Flink版本
6设置中心Flink版本.jpg

「 设置中心 」Flink集群
7设置中心Flink集群.jpg

「 设置中心 」扩展链接
8设置中心扩展链接.jpg

「 设置中心 」Yarn队列
9设置中心Yarn队列.jpg

「 系统设置 」用户管理
10系统设置用户管理.jpg

「 系统设置 」Token管理
11系统设置Token管理.jpg

「 系统设置 」成员管理
12系统设置成员管理.jpg

「 系统设置 」团队管理
13系统设置团队管理.jpg

「 系统设置 」角色管理
14系统设置角色管理.jpg

240906二维码二维码汇总.jpg