元数据管理
元数据管理是构建数据湖十分重要的一环,通过有效集中式的元数据管理,有效提升数据资产价值。您可以使用该功能管理元数据库和元数据表。
元数据列表
支持查看用户有权限的元数据列表,对元数据进行主题、库、表级别的管理,支持库的新增和删除、表的新增和删除、及库表的权限管理。
对于系统管理员和数据管理员角色,该列表展示同步至平台的所有表,并且可以进行新建、编辑等管理操作。
对于其他角色,该列表仅展示用户有权限的表。
库管理
新建库
选中目的数据源,右侧展示当前数据源下的所有数据库,数据库信息详情:
字段名称 | 字段描述 |
---|---|
库名称 | 展示数据库名称 |
创建人 | 展示数据库的创建人 |
存储路径 | 展示数据库的存储路径信息 |
描述 | 展示数据库描述信息 |
操作 | 支持有权限的用户进行编辑、删除数据库。支持编辑数据库的名称、存储路径以及描述信息。 |
点击右侧更多按钮,点击新建库。
字段名称 | 字段描述 |
---|---|
库名称 | 填写数据库名称 |
存储路径 | 填写数据库的存储路径信息 |
描述 | 填写数据库描述信息 |
编辑库
支持编辑有权限的数据库。
字段名称 | 字段描述 |
---|---|
库名称 | 编辑数据库名称 |
存储路径 | 编辑数据库的存储路径信息 |
描述 | 编辑数据库描述信息 |
删除库
支持删除有权限的数据库,点击删除弹出二次确认弹框,点击确认删除数据库。
库详情
点击库名称,支持查看库详情,详情包含数据库下所有的数据表。
字段名称 | 字段描述 |
---|---|
表名称 | 展示表名称 |
类型 | 包括管理表、外部表、映射表三种类型,对应通过不同方式创建的表 |
创建人 | 展示创建人 |
创建时间 | 展示创建时间 |
描述 | 展示表描述 |
表管理
支持查看有权限的表的信息,提供快捷查看模型信息,点击【查看关联模型信息】可以跳转至当前表对应的数据模型页面,查看建模信息。
新建表
选中目的数据库,右侧展示当前数据库下的所有数据表,点击右侧更多按钮,点击新建表,进入新建表页面。
可视化建表
1.基本信息
字段名称 | 字段描述 |
---|---|
表名称 | 填写表名称,以英文开头, 支持英文、数字、下划线,不超过32个字符 |
类型 | 包括管理表、外部表、映射表三种类型: |
描述 | 填写表描述 |
2.存储参数
字段名称 | 字段描述 |
---|---|
存储路径 | 填写数据表的存储路径。点击【使用默认路径】,自动填充表名作为最后一级默认路径 |
数据湖格式 | 支持选择无湖格式、Hudi、Delta Lake类型创建表 |
数据存储格式 | 支持选择数据存储格式:TEXTFILE、ORC、PARQUET |
高级参数配置 | 支持填写高级参数配置,属于文件/查询引擎的参数,可以指定字段分隔符、字段换行符等,范围比较广,给开发人员使用 |
3.元数据定义
支持通过界面配置新增字段,字段名称和分区定义的字段名称不能重复。
DDL建表
用户可以通过点击DDL模式弹窗中的“生成表结构”按钮,并点击确定按钮,以生成新的表。
编辑表
支持编辑表信息,包括表名称、表描述、存储路径、高级参数,数据存储格式、添加字段。不支持修改表类型、数据湖格式、添加分区。
表详情
提供详细的数据表查看功能,展示表的元数据信息。
基本信息
字段名 | 字段说明 |
---|---|
表名称 | 展示表名称 |
创建时间 | 记录表的创建时间 |
类型 | 展示表的类型,包括物理表(管理表、外部表)、映射表 |
数据源地址 | 展示数据源地址 |
存储路径 | 展示存储路径 |
数据湖格式 | 展示已选择的数据湖格式 |
元数据信息
展示表的字段信息和分区信息,包括字段类型、关联标准、是否允许为空、密级配置、描述等信息。
版本管理
每次保存元数据信息新增一个版本。
字段名 | 字段说明 |
---|---|
版本名称 | 自动生成版本号,点击版本号支持查看版本详情 |
操作人 | 记录操作人名称 |
最后更新时间 | 记录表结构的最后更新时间 |
操作 | 支持对比上一版本,对比当前版本 |
脱敏规则
展示当前表已添加的脱敏规则,支持为字段添加脱敏规则。
点击“”,为当前表配置脱敏规则。
字段名 | 字段说明 |
---|---|
脱敏列 | 选择待脱敏的列,只支持选择密级在L0以上的列 |
脱敏列密级 | 回显已选择的脱敏列密级 |
脱敏规则 | 选择脱敏规则中已创建的脱敏规则,若未创建可点击“前往创建”新建。 |
脱敏后密级 | 配置字段的脱敏后密级,若脱敏列当前密级为L9,则脱敏后可选密级为“L8~L0” |
描述 | 填写描述信息,支持维护 |
数据湖格式 | 展示已选择的数据湖格式 |
数据血缘
在选择表后,以该表为中心,显示上下游血缘关系。
- 选择显示粒度
血缘图谱支持表级、字段级两种显示粒度,默认显示表级。
- 选择显示范围
默认直系父子,即上游1层、下游1层,如果没有上游或下游,则显示0层。
支持用户自定义上下游层级,可下拉选择:0层、1层、2层、3层。
在图谱中点击节点左侧的“+”、“-”可以展开或折叠上一层级,末端节点无展开/折叠按钮。
- 查看节点信息
点击节点右侧“更多”,选择“查看节点信息“,右侧显示节点信息:表名称、数据源类型、数据源链接、数据库、更新时间、schema信息。对于数据湖的表,点击“查看表详情”,可跳转到元数据详情页面。
- 查看任务信息
点击连线上的任务节点,右侧显示产生该血缘关系的任务信息,包括:来源任务名称、任务类型、创建人、创建时间、运行时间、任务内容等。点击“查看任务详情”可以跳转到具体作业。
- 切换中心节点
双击其他节点,或点击节点右侧“更多”,选择“设为中心表”,可以进行中心节点的切换。
6.显示粒度选择字段级,查看字段级血缘