2022-12 数据湖计算支持Hudi,可使用计算引擎Spark、Flink、Trino对Hudi进行读写计算 数据湖选型支持Hive,增加开启数据湖元数据功能,支持对Hive元数据的管理、授权 新增规范设计模块,支持通过主题设计、数仓规划进行数据中台架构设计 引入维度建模理论,支持构建维度表和事实表,并设置表间的关联关系 支持数据模型的发布、修订、废弃、删除等管理操作 模型一键物化,生成物理表结构
否 同步Online DDL true,false maxRetryTime String 否 重试时间 720 sqlType String 否 同步语句选择 I,U,D,Q Schema字段数据结构说明 参数名称 参数类型 是否必须 描述 示例值 type String 否 需要传输的对象类型, 取值有: db(库), table(表), view(视图), function(函数), procedure
数据库名 "SCHEMA":"schema1", //SCHEMA名,仅在上游为PostgreSQL、SQLServer时存在 "TABLE":"tbl1", //表名 "TYPE":"U", //变更类型,I为insert,U为update,D为delete "
database :外部数据源中数据库的名称。 table :外部数据源中表的名称。 直接定义外部数据源。
反向数据流,结构同dtsTaskPos字段 Connection字段数据结构说明 参数名称 参数类型 是否必须 描述 示例值 instanceType String 否 实例类型 bcerds region String 否 地域 bj dbType String 否 数据库类型 mysql dbUser String 否 数据库访问账号 dts_trans dbPass String 否 数据库访问密码
主题设计 主题设计是通过简单的层级结构将繁杂的平台数据按照业务主题进行合理划分,帮助厘清业务数据,做好数据的分类整理与聚合。 功能介绍 主题设计可以对数据进行分类管理,支持查询、新建、编辑、删除等功能。以下只对主题设计功能进行简要介绍,具体操作介绍详见主题域/主题管理。 表一 功能介绍详细说明 功能名称 说明 查询 在搜索框内,支持搜索主题域/主题中包含的关键字,方便快捷地查找数据所在的主题。
BACKUP BACKUP Description 该语句用于备份指定数据库下的数据。该命令为异步操作。提交成功后,需通过 SHOW BACKUP 命令查看进度。 仅支持备份 OLAP 类型的表。
maxRetryTime String 否 重试时间 720 sqlType String 否 同步语句选择 I,U,D,Q Schema字段数据结构说明 参数名称 参数类型 是否必须 描述 示例值 type String 否 需要传输的对象类型, 取值有: db(库), table(表), view(视图), function(函数), procedure(存储过程) table src String
再创建一个名为的数据库以 KafkaEngine 供在本教程中使用: CREATE DATABASE KafkaEngine; 4.创建数据库后,需要切换到该数据库: USE KafkaEngine; 创建目标 准备目标表。在下面的示例中,为了简洁起见,我们使用简化的 GitHub 架构。
说明:如果不加-t的话,默认就是filter表;操作其他表,需要添加 -t 命令。