数据表
创建数据表
- 在元数据菜单,选择目标的数据目录,在数据模式下详情界面,单击立即创建 > 创建数据表,进入配置界面。
- 填写创建数据表配置项,完成后确定。
基础信息
| 配置项名称 | 说明 |
|---|---|
| 数据源格式 | 支持Iceberg和Lance两种格式。 |
| 数据表名称 | 输入数据表名称,支持英文、数字、下划线,必须以字母开头,长度为1~128个字符。 |
| 数据表类型 | 内部表/外部表。 |
| BOS路径 | 当数据表类型选择为外部表时填写该项,填写数据表路径。 |
| AccessKey | 当数据表类型选择为外部表时填写该项,填写BOS路径的智能云账号的AccessKey信息。 |
| SecretKey | 当数据表类型选择为外部表时填写该项,填写BOS路径的智能云账号的SecretKey信息。 |
| 描述 | 填写数据表描述,不超过300个字符。 |
字段信息
字段信息配置项用于定义数据表的字段相关属性,单击添加字段按钮,填写数据表字段信息配置项。
| 配置项名称 | 说明 |
|---|---|
| 字段名称 | 输入字段的名称,用于标识数据表中的某一列,字符长度限制在 1 ~ 128 之间。 |
| 字段类型 | 下拉选择字段的数据类型,BOOLEAN、INT、LONG、FLOAT、DOUBLE、DECIMAL、DATE、TIME、TIMESTAMP、TIMESTAMPTZ、STRING、FIXED、BINARY、LIST、MAP、STRUCT。 |
| 非空 | 勾选该复选框后,该字段在数据表中不允许为空值,能保证数据的完整性。 |
| 字段描述 | 输入对该字段的描述信息,用于说明字段的含义、用途等。 |
| 操作 | 删除:单击操作列删除按钮,可删除当前配置的字段信息。 |
| 添加字段 | 点击 "+ 添加字段"按钮,可新增一个字段配置行,用于添加数据表的其他字段。 |
分区信息
当数据源格式选择为Iceberg时,可配置分区信息。分区信息用于对数据表进行分区管理,以优化数据查询等操作效率。单击添加分区按钮,填写分区信息配置项。
| 配置项名称 | 说明 |
|---|---|
| 字段名称 | 选择用于分区的字段,通过该字段的值将数据划分到不同分区。 |
| 转换函数 | 下拉选择转换函数,identity、bucket、truncate。 |
| 操作 | 删除:单击操作列删除按钮,可移除当前配置的分区信息。 |
| 添加分区 | 点击 "+ 添加分区"按钮,支持为数据表设置多个分区规则,满足复杂的分区需求。 |
高级配置
高级配置用于设置数据表的额外属性,丰富数据表的元数据等信息。
| 配置项名称 | 说明 |
|---|---|
| 属性名称 | 自定义数据表的属性标识,用于描述该属性的含义。 |
| 属性值 | 对应属性名称的具体取值,为属性名称所描述的内容赋予实际的值。 |
| 操作 | 删除:单击操作列删除按钮,可移除当前不需要的属性配置。 |
| 添加表属性 | 点击 "+ 添加表属性"按钮,新增高级配置项,支持为数据表添加多个额外属性。 |
DDL
支持左侧可视化区域定义表结构,系统将自动生成右侧DDL语句以供查看。可视化配置与DDL编辑支持双向同步,最终建表以可视化配置信息为准。
- 格式化:在DDL侧单击格式化按钮,可对下方输入代码进行格式化。
- 语法规范:在DDL侧单击格式化按钮,可在下方展开语法规范,支持关闭。
数据表展示
创建成功的数据表展示在数据模式目录下,展开数据表单击数据表名称可查看数据表具体信息,包括数据表概览、数据预览、详情、权限管理、数据血缘、数据质量、自动运维和DDL。
概览
在数据表详细信息页面通过tab切换查看数据表概览,包括表描述、字段信息和分区信息,描述支持编辑,字段信息支持按照字段名称查询。
表1 数据表概览下字段信息说明
| 字段信息名称 | 说明 |
|---|---|
| 序号 | 字段在表中的顺序编号。 |
| 字段名称 | 数据表中字段的唯一标识。 |
| 字段类型 | 字段存储的数据类型(CHAR、VARCHAR、STRING、TINYINT、SMALLINT、INT、BIGINT、LARGEINT、FLOAT、DOUBLE、DECIMAL、BOOLEAN、DATE、DATETIME、ARRAY)。 |
| 非空 | 表示该字段是否允许为空值。 |
| 字段描述 | 对该字段业务含义的补充说明。 |
| 数据脱敏 | 仅具备数据表管理权限的用户可进行数据脱敏配置。 |
表2 配置数据脱敏配置项说明
| 配置项名称 | 说明 |
|---|---|
| 脱敏字段 | 显示当前字段名称。 |
| 策略名称 | 输入策略名称,支持中文、英文、数值以及_-./()特殊字符,长度不超过256个字符。 |
| 用户范围 | 下拉选择用户,支持搜索用户名。 |
| 算法类型 | 下拉选择算法类型,可选范围根据脱敏字段数据类型决定,全量有哈希、遮掩、截断、变换、加密。 |
| 算法名称 | 下拉选择算法名称,根据选择的脱敏算法类型和脱敏字段数据类型选择算法名称。 |
| 脱敏测试 | 输入脱敏测试,不超过500字符。 |
表3 算法类型对应项说明
| 算法类型 | 算法名称 | 适用数据类型 | 配置参数 |
|---|---|---|---|
| 加密 | AES / SM4 | 字符串类型 | 密钥位数、生成密钥 |
| 截断 | 字符类型截断 | 字符串类型 | 截断前m、n位 |
| 遮掩 | 遮掩前m后n/保留前m后n/遮掩自m到n/保留自m到n/遮掩全部/遮掩邮箱前缀 | 字符串类型 | m、n值 |
| 哈希 | SHA256/MD5/SHA1/SM3 | 字符串类型 | 盐值、参数位置 |
数据预览
用户使用当前空间默认资源组下的分析与AI搜索实例进行数据表预览,在数据表详细信息页面通过tab切换查看数据预览,若未连接计算实例,请联系空间管理员进行资源配置。
- 下载:数据表支持下载和数据分析功能。
- 数据分析:单击右上角数据分析按钮,进入新页签,在工作区当前用户文件夹下创建一个notebook。
详情
在数据表详细信息页面通过tab切换查看数据表详情,查看数据表基本信息。
表4 数据表基本信息说明
| 列表项 | 说明 |
|---|---|
| 数据目录名称 | 该数据表所属的数据目录名称。 |
| 数据模式名称 | 数据库模式名称。 |
| 数据表名称 | 数据表的唯一标识名称。 |
| 表类型 | 内部表/外部表。 |
| 数据源格式 | ICEBERG。 |
| 存储路径 | 数据表在存储介质上的存储位置路径。 |
| 表属性 | 数据表的自定义属性信息。 |
| 创建时间 | 数据表创建的具体时间。 |
| 创建人 | 创建该数据表的用户名。 |
| 修改时间 | 数据表最后一次修改的时间。 |
| 最近修改人 | 最近一次修改该数据表的用户名。 |
权限管理
在数据表详情页面切换至权限管理tab页,可查看当前数据表的授权信息,支持按主体名称搜索,也可按权限点筛选。
数据血缘
仅Iceberg格式的数据表支持在详情页通过Tab切换进入数据血缘页面,可查看该表的上下游关联关系;支持按时间范围筛选,并通过关联对象名称进行快速搜索,也可按上下游、对象类型、最近活跃时间进行多维度筛选。外部数据表是否展示数据血缘,以数据源和平台实际支持能力为准。
单击右上角查看血缘图谱,可跳转至可视化血缘视图页面,查看完整的数据血缘图谱。具体详情,可参见数据血缘文档。
数据质量
仅Iceberg格式的数据表支持通过Tab切换选择数据质量,查看详细信息。外部数据表是否展示该页签,以数据源和平台实际支持能力为准。单击右上角查看配置规则可查看该对象的规则管理,详见规则管理。
说明:只有MySQL、Oracle、SQLSever、PostgreSQL、HANA、DM达梦这6种数据源采集的数据表支持数据质量。
- 表质量通过率
当日运行成功的质量规则数中未告警的质量规则占比,同时支持查看各维度通过率。
- 异常规则数
异常规则数即当日最新告警等级为提示、严重、警告的规则数。
- 规则校验明细
记录每条规则当日最新运行状态和告警等级,按列表查看。支持通过规则名称或对象名称对列表进行筛选。
自动运维
仅Lance格式的数据表,支持在详细信息页面通过Tab切换进入自动运维界面,为平台上的Lance表提供一站式自动运维能力,降低存储成本,提升文件读写性能,实现定时自动运维。支持以下3种配置方式:
版本清理
配置版本清理策略,系统将自动清理过期快照版本,释放存储空间。
版本清理配置
单击立即配置按钮,在配置版本清理对话框进行配置,配置参数如下表:
| 配置项 | 说明 |
|---|---|
| 资源类型 | 必填,选择1种资源类型。支持数据处理实例(常驻实例) 、共享资源队列(severless实例)、独占资源队列(非常驻实例)3种资源类型。 |
| 引擎类型 | 必填,目前仅支持ray引擎类型。 |
| 节点规格 | 当选择共享资源队列类型时,需配置节点规格,支持选择1 核CPU / 4 核CPU / 8 核CPU三种规格。 |
| 节点数 | 当选择共享资源队列类型时,需配置节点数,默认是2,支持范围[2,100]。 |
| 快照保留天数 | 必填,默认是7天,支持范围[1,365]。 |
| 快照保留数量 | 必填,默认是至少保留1个快照。 |
| 自定义配置 | 非必填,单击添加按钮,支持选择以下2种配置项: |
| 调度周期 | 必填,支持选择每天/每周,以及具体时间点,默认是每天2:00。 |
查看版本清理详情
在配置完成后,可在版本清理页签查看当前配置的基本信息以及运行记录。支持单击编辑按钮,对配置信息进行编辑。
关闭周期调度后,才可进行编辑配置。
- 基本信息:展示版本清理任务全量配置参数,包含运维任务操作、资源配置、任务策略、调度策略;您可通过开关启用 / 关闭周期调度;同时支持单击周期调度右侧的立即执行按钮,手动发起即时版本清理。
- 运行记录:展示所有版本清理任务的完整执行记录。
| 列表项 | 说明 |
|---|---|
| 任务ID | 清理任务唯一标识,单击目标任务ID,可查看当前任务的运行日志。 |
| 状态 | 当前任务的状态,包括等待中、运行中、成功、失败、已终止、终止中6种状态。 |
| 触发方式 | 当前任务的触发方式,包括手动触发和周期调度两种方式。 |
| 开始时间 | 当前任务的开始时间。 |
| 结束时间 | 当前任务的结束时间。 |
| 耗时 | 当前任务整体执行时长。 |
| 清理版本数 | 本次回收过期快照总量。 |
| 释放空间 | 清理后释放的容量。 |
| 操作 | 不同任务状态对应差异化操作按钮: |
小文件合并
配置小文件合并策略,系统自动合并多个小文件,减少文件数、提升查询性能。
单击立即配置按钮,在配置小文件合并对话框进行配置,配置参数如下表:
| 配置项 | 说明 |
|---|---|
| 资源类型 | 必填,选择1种资源类型。支持数据处理实例(常驻实例) 、共享资源队列(severless实例)、独占资源队列(非常驻实例)3种资源类型。 |
| 引擎类型 | 必填,目前仅支持ray引擎类型。 |
| 节点规格 | 当选择共享资源队列类型时,需配置节点规格,支持选择1 核CPU / 4 核CPU / 8 核CPU三种规格。 |
| 节点数 | 当选择共享资源队列类型时,需配置节点数,默认是2,支持范围[2,100]。 |
| 目标输出文件行数 | 输入输出目标文件行数,小于此行数的文件将被合并成目标行数的一个大文件。 |
| 调度周期 | 必填,支持选择每天/每周,以及具体时间点,默认是每天2:00。 |
查看小文件合并详情
在配置完成后,可在版本清理页签查看当前配置的基本信息以及运行记录。支持单击编辑按钮,对配置信息进行编辑。
关闭周期调度后,才可进行编辑配置。
- 基本信息:展示小文件合并任务全量配置参数,包含运维任务操作、资源配置、任务策略、调度策略;您可通过开关启用 / 关闭周期调度;同时支持单击周期调度右侧的立即执行按钮,手动发起即时小文件合并。
- 运行记录:展示所有小文件合并任务的完整执行记录。
| 列表项 | 说明 |
|---|---|
| 任务ID | 清理任务唯一标识,单击目标任务ID,可查看当前任务的运行日志。 |
| 状态 | 当前任务的状态,包括等待中、运行中、成功、失败、已终止、终止中6种状态。 |
| 触发方式 | 当前任务的触发方式,包括手动触发和周期调度两种方式。 |
| 开始时间 | 当前任务的开始时间。 |
| 结束时间 | 当前任务的结束时间。 |
| 耗时 | 当前任务整体执行时长。 |
| 合并当前Fragment数 | 本次任务待合并的细碎数据分片总量。 |
| 合并后Fragment数 | 合并优化完成后生成的新数据分片总量 |
| 操作 | 不同任务状态对应差异化操作按钮: |
孤儿文件治理
配置孤儿文件治理任务,系统自动清理无版本引用的孤儿文件,释放存储空间。
单击立即配置按钮,在配置孤儿文件治理对话框进行配置,配置参数如下表:
| 配置项 | 说明 |
|---|---|
| 资源类型 | 必填,选择1种资源类型。支持数据处理实例(常驻实例) 、共享资源队列(severless实例)、独占资源队列(非常驻实例)3种资源类型。 |
| 引擎类型 | 必填,目前仅支持ray引擎类型。 |
| 节点规格 | 当选择共享资源队列类型时,需配置节点规格,支持选择1 核CPU / 4 核CPU / 8 核CPU三种规格。 |
| 节点数 | 当选择共享资源队列类型时,需配置节点数,默认是2,支持范围[2,100]。 |
| 保留时长 | 必填,默认是3天,支持范围[1,90],建议保留时长不低于3天,避免误清理正在写入的文件。 |
| 自定义配置 | 非必填,单击添加按钮,目前暂支持1种配置项: |
| 调度周期 | 必填,支持选择每天/每周,以及具体时间点,默认是每天2:00。 |
查看孤儿文件治理详情
在配置完成后,可在孤儿文件治理页签查看当前配置的基本信息以及运行记录。支持单击编辑按钮,对配置信息进行编辑。
关闭周期调度后,才可进行编辑配置。
- 基本信息:展示孤儿文件治理任务全量配置参数,包含运维任务操作、资源配置、任务策略、调度策略;您可通过开关启用 / 关闭周期调度;同时支持单击周期调度右侧的立即执行按钮,手动发起即时孤儿文件治理。
- 运行记录:展示所有孤儿文件治理任务的完整执行记录。
| 列表项 | 说明 |
|---|---|
| 任务ID | 清理任务唯一标识,单击目标任务ID,可查看当前任务的运行日志。 |
| 状态 | 当前任务的状态,包括等待中、运行中、成功、失败、已终止、终止中6种状态。 |
| 触发方式 | 当前任务的触发方式,包括手动触发和周期调度两种方式。 |
| 开始时间 | 当前任务的开始时间。 |
| 结束时间 | 当前任务的结束时间。 |
| 耗时 | 当前任务整体执行时长。 |
| 清理孤儿文件数 | 本次孤儿文件治理任务成功删除、无任何快照引用的孤立无效文件总个数。 |
| 释放空间 | 清理完成后,回收释放的总存储容量。 |
| 操作 | 不同任务状态对应差异化操作按钮: |
DDL
在数据表详细信息页面通过Tab切换选择DDL,查看DDL语句,支持复制该语句。
编辑数据表
在数据表页面右上方单击编辑数据表按钮,可对数据表配置信息进行编辑。
重命名数据表
在数据表详情界面右上角更多按钮展开后单击重命名数据表按钮,输入新的数据表名称后确定即可。新名称在数据模式中不可重复。
删除数据表
在数据表详情界面右上角更多按钮展开后单击删除数据表按钮,确认后删除。删除后的数据表无法恢复。
分析与AI搜索实例的数据表
支持用户查看、修改和删除分析与AI搜索实例的数据表。
创建数据表
- 在 Doris 数据模式下创建数据表,单击立即创建 > 创建数据表,进入配置界面。
- 填写创建数据表以下配置项,完成后确定。
- 基础配置
| 配置项 | 说明 |
|---|---|
| 数据源格式 | DORIS内表。 |
| 数据表名称 | 输入数据表名称,支持英文、数字、下划线,必须以字母开头,长度为1~128个字符。 |
| 数据表模型 | 选择明细模型/唯一模型/聚合模型,明细模型:保留所有写入记录,不做去重,适合日志、行为数据;唯一模型:相同主键列的记录仅保留一条,适合更新场景,如订单表;聚合模型:按指定列做预聚合,适合报表汇总场景,如按天统计表。 |
| 描述 | 填写数据表描述,不超过300个字符。 |
- 字段信息
| 配置项 | 说明 |
|---|---|
| 序号 | 字段的序列号。 |
| 字段名称 | 数据表字段的标识,要求以字母开头,支持英文、数字、下划线,长度 1~128 字符。 |
| 字段类型 | 下拉选择字段类型:CHAR、VARCHAR、STRING、TINYINT、SMALLINT、INT、BIGINT、LARGEINT、FLOAT、DOUBLE、DECIMAL、BOOLEAN、DATE、DATETIME、ARRAY。 |
| 主键 | 标记该字段是否为数据表主键,要求至少设置 1 个主键。 |
| 非空 | 勾选后表示该字段不允许存储空值。 |
| 聚合函数 | 当基础配置数据表类型选择聚合模型时,需填写此项。为Doris 表特有的配置,用于指定字段数据的聚合逻辑(如求和、取最大值等),通过下拉选择类型。 |
| 默认值 | 字段未输入数据时的默认填充值。 |
| 字段描述 | 对该字段的功能说明,长度限制 1024 字符内。 |
| 操作 | 单击 移除 按钮,可移除该字段信息。 |
| 添加字段 | 单击 添加字段 按钮,可新增一个字段配置行。 |
- 分区信息
针对右侧DDL编辑器进行的编辑内容,分区信息展示解析出的分区字段信息。
- 分桶信息
| 配置项 | 说明 |
|---|---|
| 分桶方式 | 选择分桶方式,可选范围为Hash分桶、Random分桶。 |
| 分桶列 | 当分桶方式为Hash分桶时,需填写此项。下拉选择分桶列,可选范围根据表模型展示。 |
| 分桶数 | 输入分桶数,最小数为1,最大数为100。 |
- 高级配置
| 配置项 | 说明 |
|---|---|
| 属性名称 | 填写数据表的自定义扩展属性标识。 |
| 属性值 | 对应 “属性名称” 的具体配置内容。 |
| 操作 | 单击 移除 按钮,可移除该表属性。 |
| 添加表属性 | 单击可新增一行属性配置。 |
DDL
支持左侧可视化区域定义表结构,系统将自动生成右侧DDL语句以供查看。可视化配置与DDL编辑支持双向同步,最终建表以可视化配置信息为准。
- 格式化:在DDL侧单击格式化按钮,可对下方输入代码进行格式化。
- 语法规范:在DDL侧单击格式化按钮,可在下方展开语法规范,支持关闭。
查看分析与AI搜索实例数据表
在左侧数据目录树选择分析与AI搜索实例数据表后,右侧展示数据表的详细内容,可以通过tab页查看概览/详情。
概览
- 通过tab页选择概览,查看表的字段信息,包括表的字段名称、字段类型和字段描述。
- 支持对描述进行编辑修改,单击编辑按钮即可编辑。
- 支持通过字段名称进行查询检索列表。
数据预览
用户使用当前空间默认资源组下的分析与AI搜索实例进行数据表预览,在数据表详细信息页面通过tab切换查看数据预览,若未连接计算实例,请联系空间管理员进行资源配置,配置完成后可在元数据处进行数据表预览和查询。
- 下载:数据表支持下载和数据分析功能,单击右上角下载按钮,可选择数据表格式后对数据表进行下载。
- 数据分析:单击右上角数据分析按钮,进入新页签,在工作区当前用户文件夹下创建一个notebook,并在第一个cell切换为SQL,并填入默认SQL语句,查询对应数据表LIMIT 100。
详情
通过tab页选择详情,查看数据表详情。包括表名称、创建时间等。
| 列表项 | 说明 |
|---|---|
| 数据目录名称 | 数据目录的名称,用来识别数据目录的唯一性。 |
| 数据模式名称 | 数据模式的名称,用来识别数据模式的唯一性。 |
| 数据表名称 | 分析与AI搜索实例的数据表的名称。 |
| 表类型 | 内部表。 |
| 数据源格式 | Doris内表。 |
| 创建时间 | 创建数据表的时间。 |
权限管理
在分析与AI搜索实例数据表详细信息页面通过tab切换选择权限管理,查看数据表权限信息,支持按照主体名称进行搜索,还可以通过选择全部权限或管理对列表进行筛选。
单击右上授权按钮,通过搜索用户名,对用户进行授权(读表、修改表数据、全部权限和管理)。在列表前选中后单击列表右上角取消授权,即可对用户取消授权。
数据血缘
具体参照上方数据表>数据血缘部分。
数据质量
具体参照上方数据表>数据质量部分。
DDL
在数据表详细信息页面通过tab切换选择DDL,查看DDL语句,支持复制该语句。
编辑数据表
在数据表页面右上方单击编辑数据表按钮,可通过编辑DDL的方式对数据表配置信息进行修改,编辑完成后确定数据表编辑结束。
重命名分析与AI搜索实例的数据表
单击数据表页面右上角更多按钮,单击修改名称后在编辑框修改表名称,修改完成确定。
需要注意的是,数据表的名称在同个分析与AI搜索实例的数据模式中不可重复,不同数据模式中可以重复。
删除分析与AI搜索实例的数据表
单击数据表页面右上角更多按钮,单击删除后系统会进行弹窗确认,确认无误后确定,数据表删除完毕。
注意:数据表删除后无法恢复,请谨慎操作。
评价此篇文章
