数据目录
数据目录是元数据的第一层,支持在目录中管理数据模式、数据表和其他数据资产。百度胜算的数据目录分为Datalake数据目录、外部数据目录和分析与AI搜索实例数据目录。
前提条件
- 已配置百度胜算的元存储。
- 已创建百度胜算的工作空间。
- 创建外部数据目录前,需创建受支持的数据源,且当前用户对该数据源具有运行及以上权限。
创建Datalake数据目录
Datalake数据目录中的数据存储在对象存储上,由百度胜算统一管理,支持创建数据模式、数据表、数据卷等对象。
每个工作空间预置一个system数据目录,用于提供高质量数据和AI资产。system数据目录不支持重命名和删除。
创建步骤
- 登录百度胜算控制台,在选中的工作空间操作列单击打开按钮,进入空间。
- 在侧边导航选择元数据,进入元数据页面。
- 单击数据目录树上的添加按钮,选择创建数据目录。
- 将目录类型选择为Datalake数据目录,填写配置项后单击确定。
- 创建完成的数据目录显示在数据目录树中,单击目录名称可查看详情。
表1 创建Datalake数据目录配置项说明
| 配置项名称 | 说明 |
|---|---|
| 数据目录名称 | 必填。在同一个元存储中不可重复。支持输入大小写字母、数字、下划线,长度为1-64个字符。 |
| 目录类型 | 支持选择Datalake数据目录、外部数据目录两种类型,选择Datalake数据目录即可。 |
| 描述 | 选填。支持输入大小写字母、数字、下划线及特殊字符,长度为0-150个字符。 |
查看Datalake数据目录
在数据目录树中单击Datalake数据目录名称,右侧展示目录详情。可编辑目录描述,并查看以下基本信息。
表2 Datalake数据目录详情说明
| 基本信息名称 | 说明 |
|---|---|
| 数据目录名称 | 数据目录的名称。 |
| 数据目录类型 | Datalake数据目录。 |
| 存储路径 | 对象存储路径。 |
| 创建时间 | 创建数据目录的时间。 |
| 创建人 | 创建数据目录的用户。 |
| 修改时间 | 最后一次修改数据目录的时间。 |
| 最近修改人 | 最后一次修改数据目录的用户。 |
| 数据表个数 | 数据表的数量。 |
| 数据卷个数 | 数据卷的数量。 |
| 数据集个数 | 数据集的数量。 |
| 算子个数 | 算子的数量。 |
| 模型个数 | 模型的数量。 |
工作空间
通过切换tab页选择工作空间,可在此页面制定哪些空间可以访问目录,同事在操作列可对已经分配的工作空间进行取消,支持通过名称进行搜索空间。
权限管理
通过切换tab页选择权限管理,可在权限管理页面查看当前目录的用户。通过单击授权或取消授权可对用户进行授权和取消权限操作,支持通过主体名称进行搜索。
重命名Datalake数据目录
在目录详情页面右上角展开更多操作,单击重命名数据目录,输入新的名称后单击确定。新名称在同一个元存储中不可重复。
删除Datalake数据目录
在目录详情页面右上角展开更多操作,单击删除数据目录,确认无误后单击确定。
注意:
- 仅当Datalake数据目录中没有数据对象时,才可删除该目录。
- 删除后的数据目录无法恢复,请谨慎操作。
创建外部数据目录
外部数据目录通过数据源连接采集外部数据库的数据模式、数据表和字段等元数据。数据仍存储在源端,不会搬迁至百度胜算。外部数据目录为只读,受支持的数据源可通过分析与AI搜索实例(Doris)引擎进行数据预览和查询。
支持创建外部数据目录的数据源类型:PostgreSQL、MySQL、Oracle、SQL Server、SAP HANA、达梦(DM)。
创建入口和步骤
支持从元数据页面或数据源详情页创建外部数据目录。
从元数据页面创建:
- 在侧边导航选择元数据,进入元数据页面。
- 单击数据目录树上的添加按钮,选择创建数据目录。
- 将目录类型选择为外部数据目录,选择数据源并填写其他配置项。
- 单击确定完成创建。
从数据源详情页创建:
- 进入目标数据源详情页。
- 单击创建外部数据目录按钮。弹窗中的目录类型固定为外部数据目录,数据源固定为当前数据源。
- 填写数据目录名称和描述,单击确定。
表3 创建外部数据目录配置项说明
| 配置项名称 | 说明 |
|---|---|
| 数据目录名称 | 必填。在同一个元存储中不可重复。支持输入大小写字母、数字、下划线,长度为1-64个字符。 |
| 目录类型 | 支持选择Datalake数据目录、外部数据目录两种类型,选择外部数据目录。 |
| 数据源 | 必填。可选择当前空间内已创建、当前用户具有运行及以上权限且支持元数据采集的数据源。下拉列表展示数据源图标、名称和类型,支持搜索。 |
| 描述 | 选填。支持输入大小写字母、数字、下划线及特殊字符,长度为0-150个字符。 |
创建外部数据目录时不会立即采集元数据。目录以折叠状态显示在数据目录树中,首次展开时触发数据模式列表采集。
查看外部数据目录
外部数据目录在数据目录树中以特定图标展示,层级结构为外部数据目录>数据模式>数据表。展开目录后展示外部数据库中的数据模式,展开数据模式后展示数据表。
在数据目录树中单击外部数据目录名称,右侧展示目录详情。可编辑目录描述,并查看以下基本信息。
表4 外部数据目录详情说明
| 基本信息名称 | 说明 |
|---|---|
| 数据目录名称 | 外部数据目录的名称。 |
| 数据目录类型 | 外部数据目录。 |
| 数据源 | 关联的数据源,支持单击跳转至数据源详情页。 |
| 创建时间 | 创建数据目录的时间。 |
| 创建人 | 创建数据目录的用户。 |
| 修改时间 | 最后一次修改数据目录的时间。 |
| 最近修改人 | 最后一次修改数据目录的用户。 |
| 数据表个数 | 数据表的数量。 |
工作空间
通过切换tab页选择工作空间,可在此页面制定哪些空间可以访问目录,同事在操作列可对已经分配的工作空间进行取消,支持通过名称进行搜索空间。
权限管理
通过切换tab页选择权限管理,可在权限管理页面查看当前目录的用户。通过单击授权或取消授权可对用户进行授权和取消权限操作,支持通过主体名称进行搜索。
外部数据目录沿用Datalake数据目录级权限体系,但为只读,仅包含以下权限点,不支持写入类权限。
表4 外部数据目录权限点说明
| 权限点 | 说明 |
|---|---|
| 查看元数据 | 查看外部数据目录及其下层级的元数据信息。 |
| 读表 | 读取外部数据目录下数据表的数据,包括数据预览和查询。 |
| 全部权限 | 包含以上所有权限,后续新增权限也自动包含。 |
| 管理 | 管理类权限,包括权限管理、重命名和删除。 |
重命名外部数据目录
在目录详情页面右上角展开更多操作,单击重命名数据目录,输入新的名称后单击确定。重命名仅修改百度胜算侧的显示名称,不影响源端数据库。
删除外部数据目录
在目录详情页面右上角展开更多操作,单击删除数据目录,确认无误后单击确定。
注意:
- 删除操作仅移除百度胜算侧的元数据映射,不影响源端数据库及其数据。
- 删除后的数据目录无法恢复,请谨慎操作。
元数据采集机制
采集范围
| 采集对象 | 采集内容 | 说明 |
|---|---|---|
| Schema | Schema 名称 | 采集外部数据库中的所有 Database/Schema |
| Table | 表名称 | 采集 Schema 下的所有表 |
| Column | 字段名称、字段类型、是否非空、字段描述 | 字段类型直接存储并展示外部数据库的原始类型,不做类型映射转换 |
采集时机与采集方式
外部数据目录采用交互触发式采集,即元数据在用户与外部数据目录交互时被动采集,而非一次性全量拉取。Datalake 数据目录的元数据由百度胜算直接管理,不涉及元数据采集。
表6 元数据采集触发时机说明
| 触发动作 | 采集内容 | 说明 |
|---|---|---|
| 创建外部数据目录 | - | 不采集元数据,外部数据目录以空节点形式出现在数据目录树中。 |
| 展开外部数据目录节点 | 数据模式列表 | 每次展开均发起一次数据模式列表采集请求。 |
| 单击数据模式 | 数据模式描述信息 | 每次单击均发起一次数据模式信息采集请求。 |
| 展开数据模式节点 | 数据表列表 | 每次展开均发起一次数据表列表采集请求。 |
| 单击数据表 | 字段名称、字段类型、是否非空、字段描述 | 每次单击均发起一次字段信息采集请求。字段类型直接展示外部数据库的原始类型,不做类型映射转换。 |
采集计算资源
元数据采集使用空间默认资源组下的源连接与集成实例执行,采集前请确认已在空间默认资源组中配置源连接与集成实例,且实例处于运行中状态。
采集缓存与更新策略
- 实时采集优先:用户每次展开节点或点击数据表时,系统均向源端发起一次采集请求(展示 Loading 状态),采集成功后更新本地缓存并展示最新结果;
- 缓存持久化:每次采集成功后,采集结果持久化存储在百度胜算元数据存储中,作为后续采集失败时的回退数据,若采集请求失败(超时、连接异常等),系统回退展示该节点上一次采集成功的缓存内容。
分析与AI搜索实例数据目录
分析与AI搜索实例集群创建完成之后,默认在元数据中生成一个分析与AI搜索实例的数据目录,包括数据目录-数据模式-数据表的三层结构。
注意:在元数据模块,不支持修改分析与AI搜索实例的数据目录,包括重命名和删除。
查看分析与AI搜索实例数据目录
在数据目录树中单击分析与AI搜索实例数据目录名称,右侧展示目录详情和权限管理等信息。
表7 分析与AI搜索实例数据目录详情说明
| 基本信息名称 | 说明 |
|---|---|
| 数据目录名称 | 当前数据目录的名称。 |
| 创建时间 | 创建当前数据目录的时间。 |
| 创建人 | 创建当前数据目录的用户。 |
| 存储路径 | BOS存储路径。 |
| 修改时间 | 修改当前数据目录的时间。 |
| 最近修改人 | 最近修改当前数据目录的用户。 |
| 数据目录类型 | 分析与AI搜索实例-Doris 数据目录。 |
| 分析与AI搜索实例名称 | 当前数据目录对应的分析与AI搜索实例名称。 |
| 分析与AI搜索实例ID | 当前数据目录对应的分析与AI搜索实例ID。 |
权限管理
切换至权限管理tab页,可查看当前数据目录的用户。通过授权或取消授权管理用户权限,支持通过主体名称搜索。
分析与AI搜索实例数据目录沿用Datalake数据目录级权限体系,但仅包含以下权限点。
表4 分析与AI搜索实例数据目录权限点说明
| 权限点 | 说明 |
|---|---|
| 查看元数据 | 查看当前数据目录及其下数据模式、数据表等对象的元数据信息。 |
| 读表 | 读取当前数据目录下数据表中的数据。 |
| 修改 | 修改当前数据目录下已有对象。 |
| 创建模式 | 在当前数据目录中创建数据模式。 |
| 创建表 | 在当前数据目录的数据模式中创建数据表。 |
| 全部权限 | 包含当前可授予的全部权限;后续新增的权限也会自动包含。 |
| 管理 | 获得与对象所有者类似的管理权限,例如权限管理。 |
评价此篇文章
