数据表
数据表
创建数据表
- 在数据模式下详情界面,单击立即创建 > 创建数据表,进入配置界面。
- 填写创建数据表配置项,完成后确定。
- 基础信息
| 配置项名称 | 说明 |
|---|---|
| 数据源格式 | ICEBERG。 |
| 数据表名称 | 输入数据表名称,支持英文、数字、下划线,必须以字母开头,长度为1~128个字符。 |
| 数据表类型 | 内部表/外部表。 |
| BOS路径 | 当数据表类型选择为外部表时填写该项,填写数据表路径。 |
| AccessKey | 当数据表类型选择为外部表时填写该项,填写BOS路径的智能云账号的AccessKey信息。 |
| SecretKey | 当数据表类型选择为外部表时填写该项,填写BOS路径的智能云账号的SecretKey信息。 |
| 描述 | 填写数据表描述,不超过300个字符。 |
- 字段信息
字段信息配置项用于定义数据表的字段相关属性,单击添加字段按钮,填写数据表字段信息配置项。
| 配置项名称 | 说明 |
|---|---|
| 字段名称 | 输入字段的名称,用于标识数据表中的某一列,字符长度限制在 1 ~ 128 之间。 |
| 字段类型 | 下拉选择字段的数据类型,STRINGFIXEDINTLONGFLOATDOUBLEDECIMALBOOLEANBINARYDATETIMETIMESTAMPTIMESTAMPTZLISTMAPSTRUCT |
| 非空 | 勾选该复选框后,该字段在数据表中不允许为空值,能保证数据的完整性。 |
| 字段描述 | 输入对该字段的描述信息,用于说明字段的含义、用途等。 |
| 操作 | 移除:单击操作列移除按钮,可删除当前配置的字段信息。 |
| 添加字段 | 点击 “+ 添加字段”按钮,可新增一个字段配置行,用于添加数据表的其他字段。 |
- 分区信息
分区信息用于对数据表进行分区管理,以优化数据查询等操作效率。单击添加分区按钮,填写分区信息配置项。
| 配置项名称 | 说明 |
|---|---|
| 字段名称 | 选择用于分区的字段,通过该字段的值将数据划分到不同分区。 |
| 转换函数 | 下拉选择转换函数,identitybuckettruncate |
| 操作 | 移除:单击操作列移除按钮,可移除当前配置的分区信息。 |
| 添加分区 | 点击 “+ 添加分区”按钮,支持为数据表设置多个分区规则,满足复杂的分区需求。 |
- 高级配置
高级配置用于设置数据表的额外属性,丰富数据表的元数据等信息
| 配置项名称 | 说明 |
|---|---|
| 属性名称 | 自定义数据表的属性标识,用于描述该属性的含义。 |
| 属性值 | 对应属性名称的具体取值,为属性名称所描述的内容赋予实际的值。 |
| 操作 | 移除:单击操作列移除按钮,可移除当前不需要的属性配置。 |
| 添加表属性 | 点击 “+ 添加表属性”按钮,新增高级配置项,支持为数据表添加多个额外属性。 |
DDL
支持左侧可视化区域定义表结构,系统将自动生成右侧DDL语句以供查看。DDL语句修改不会同步回左侧,且在左侧变更后会被覆盖。最终建表以左侧可视化配置为准。
- 格式化:在DDL侧单击格式化按钮,可对下方输入代码进行格式化。
- 语法规范:在DDL侧单击格式化按钮,可在下方展开语法规范,支持关闭。
数据表展示
创建成功的数据表展示在数据模式目录下,展开数据表单击数据表名称可查看数据表具体信息,包括数据表概览、详情、权限管理和DDL。
概览
在数据表详细信息页面通过tab切换查看数据表概览,包括表描述、字段信息和分区信息,描述支持编辑,字段信息支持按照字段名称查询。
数据预览
用户选择有权限的计算资源进行数据表预览,在数据表详细信息页面通过tab切换查看数据预览,若未连接计算实例,需单击连接计算实例进行连接,连接完成后可进行元数据处数据表预览和查询功能。
- 下载:数据表支持下载和数据分析功能,单击右上角下载按钮,可选择数据表格式后对数据表进行下载。
- 数据分析:单击右上角数据分析按钮,进入新页签,在工作区当前用户文件夹下创建一个notebook,并在第一个cell切换为SQL,并填入默认SQL语句,查询对应数据表LIMIT 100。
详情
在数据表详细信息页面通过tab切换查看数据表详情,查看数据表基本信息。
| 列表项 | 说明 |
|---|---|
| 数据目录名称 | 该数据表所属的数据目录名称。 |
| 数据模式名称 | 数据库模式名称,用于在数据库中进一步划分不同的命名空间。 |
| 数据表名称 | 数据表的唯一标识名称。 |
| 表类型 | 内部表/外部表。 |
| 数据源格式 | ICEBERG。 |
| 存储路径 | 指定数据表在存储介质(如文件系统、对象存储等)上的存储位置路径。 |
| 表属性 | 数据表的自定义属性信息。 |
| 创建时间 | 数据表创建的具体时间。 |
| 创建人 | 创建该数据表的用户名。 |
| 修改时间 | 数据表最后一次修改的时间。 |
| 最近修改人 | 最近一次修改该数据表的用户名。 |
权限管理
在数据表详细信息页面通过tab切换选择权限管理,在列表上方单击选择整表权限、列权限和行权限。查看数据表权限信息,支持按照主体名称进行搜索,还可以通过权限点对列表进行筛选。
- 整表权限:单击右上授权按钮,通过搜索用户名,对用户进行授权(读表、修改表数据、全部权限和管理)。在列表前选中后单击列表右上角取消授权,即可对用户取消授权。
- 列权限:单击右上授权按钮,通过搜索用户名并选择要授权的列,对用户进行授权(读表、修改表数据、全部权限)。在列表前选中后单击列表右上角取消授权,即可对用户取消授权。
- 行权限:单击右上授权按钮,通过搜索用户名并配置过滤规则,对用户进行授权,有读表权限但未添加行过滤规则的用户默认有全部行权限。在列表前选中后单击列表右上角取消授权,即可对用户取消授权。
数据血缘
- 数据血缘列表:在数据表详细信息页面通过tab切换选择数据血缘,查看关联对象、血缘图谱等。支持按照关联对象进行搜索,同时可通过时间(最近一周、最近1个月、最近3个月、最近6个月、最近1年)进行筛选。
数据血缘列表项
| 列表项名称 | 说明 |
|---|---|
| 关联对象 | 显示与当前数据表存在数据血缘关系的对象。 |
| 上 / 下游 | 标识关联对象相对于当前数据表的位置关系。 |
| 类型 | 说明关联对象的类型,类型分为全部、Notebook、工作流、数据集成、数据表、数据路径。 |
| 最近活跃时间 | 记录关联对象最近一次与当前数据表产生数据交互或活跃的时间。 |
- 数据血缘图谱:列表右上方单击查看血缘图谱可详细查看数据血缘图谱,图谱可通过时间(最近一周、最近1个月、最近3个月、最近6个月、最近1年)进行筛选查看。
图谱支持操作:
- 节点查看详情:用户选择任意一个数据表/数据路径节点,右侧展开节点详细信息。数据表信息包括名称、创建人、数据源格式、字段信息和血缘信息。数据路径包括名称、创建人、具体文件路径和血缘信息。
- 单击连线查看血缘链路详情:用户点击连线,右侧展开血缘链路详细信息。展示源对象、目标对象、最近活跃时间和血缘采集来源。
- 单击表字段现实字段级血缘:单击表字段,展开字段列表并高亮当前字段的上下游链路。
- 展开节点上下游:默认仅展示当前对象上下游各1层,可逐层展开,未展开上下游的节点会有对应的上下游节点展开按钮,单击后刷新图谱,刷新完成后显示对应上下游内容。
- 其他操作:支持恢复默认图谱、居中视图、全屏查看、缩小和放大。
- 数据血缘采集来源
| 模块 | 支持场景 |
|---|---|
| 数据集成 | 支持文件离线采集、库表离线采集、库表实时采集任务自动解析相关血缘 |
| Notebook | 支持Spark SQL、Doris SQL、Spark python自动解析相关血缘 |
| 工作流 | 支持文件采集、库表采集、notebook、SparkJar任务、PySpark任务节点自动解析相关血缘 |
DDL
在数据表详细信息页面通过tab切换选择DDL,查看DDL语句,支持复制该语句。
编辑数据表
在数据表页面右上方单击编辑数据表按钮,可对数据表配置信息进行编辑,编辑完成后确定数据表编辑结束。
重命名数据表
数据表的名称支持修改,在数据表详情界面右上角更多按钮展开后单击重命名数据表按钮,输入新的数据表名称后确定即可。注意:新名称在数据模式中不可重复。
删除数据表
在数据表详情界面右上角更多按钮展开后单击删除数据表按钮,系统会弹出提示框,确认无误后单击确定,数据表删除成功。
注意: 删除后的数据表无法恢复,请您谨慎操作。
分析与AI搜索实例的数据表
支持用户查看、修改和删除分析与AI搜索实例的数据表。
查看分析与AI搜索实例数据表
在左侧数据目录树选择分析与AI搜索实例数据表后,右侧展示数据表的详细内容,可以通过tab页查看概览/详情。
概览
- 通过tab页选择概览,查看表的字段信息,包括表的字段名称、字段类型和字段描述。
- 支持对描述进行编辑修改,单击编辑按钮即可编辑。
- 支持通过字段名称进行查询检索列表。
数据预览
用户选择有权限的计算资源进行分析与AI搜索实例数据表预览,在分析与AI搜索实例数据表详细信息页面通过tab切换查看数据预览,若未连接计算实例,需单击连接计算实例进行连接,连接完成后可进行元数据处数据表预览和查询功能。
- 下载:数据表支持下载和数据分析功能,单击右上角下载按钮,可选择数据表格式后对数据表进行下载。
- 数据分析:单击右上角数据分析按钮,进入新页签,在工作区当前用户文件夹下创建一个notebook,并在第一个cell切换为SQL,并填入默认SQL语句,查询对应数据表LIMIT 100。
详情
通过tab页选择详情,查看数据表详情。包括表名称、创建时间等。
| 列表项 | 说明 |
|---|---|
| 数据目录名称 | 数据目录的名称,用来识别数据目录的唯一性。 |
| 数据模式名称 | 数据模式的名称,用来识别数据模式的唯一性。 |
| 数据表名称 | 分析与AI搜索实例的数据表的名称。 |
| 表类型 | 内部表。 |
| 数据源格式 | Doris内表。 |
| 创建时间 | 创建数据表的时间。 |
权限管理
在分析与AI搜索实例数据表详细信息页面通过tab切换选择权限管理,查看数据表权限信息,支持按照主体名称进行搜索,还可以通过选择全部权限或管理对列表进行筛选。
单击右上授权按钮,通过搜索用户名,对用户进行授权(读表、修改表数据、全部权限和管理)。在列表前选中后单击列表右上角取消授权,即可对用户取消授权。
DDL
在数据表详细信息页面通过tab切换选择DDL,查看DDL语句,支持复制该语句。
重命名分析与AI搜索实例的数据表
单击数据表页面右上角更多按钮,单击修改名称后在编辑框修改表名称,修改完成确定。
需要注意的是,数据表的名称在同个分析与AI搜索实例的数据模式中不可重复,不同数据模式中可以重复。
删除分析与AI搜索实例的数据表
单击数据表页面右上角更多按钮,单击删除后系统会进行弹窗确认,确认无误后确定,数据表删除完毕。
注意:数据表删除后无法恢复,请谨慎操作。
