DataBuilder元数据，支持用户组织和管理AI和数据资产。元数据支持三层结构：数据目录-数据模式-数据表/数据卷/数据集/算子/模型，数据目录是第一层，数据目录之下可以创建数据模式，数据模式中可以包含数据表、数据卷、数据集、算子和模型。本文将介绍如何使用元数据进行数据管理。

前提条件

• 已配置好 DataBuilder 元存储。
• 已创建 DataBuilder 工作空间。

使用数据目录

数据目录为元数据第一层，支持在数据目录中创建数据模式。

创建数据目录

1. 登录 DataBuilder 控制台，在选中的工作空间操作列单击 打开 按钮，进入空间内。
2. 侧边导航选择元数据，进入元数据后单击添加按钮新建数据目录。
3. 填写新建数据目录配置项，填写完成后单击确定，数据目录创建完成。
4. 创建完成的数据目录在数据目录树展示，单击数据目录名称可在右侧查看数据目录详细信息。

表一 新建数据目录配置项说明

配置项名称	说明
数据目录名称	填写数据目录名称，在同一个元存储中不可重复。必填项，支持输入大小写字母、数字、下划线，1-64字符。注意：在创建数据目录时若提示“存在同名数据目录“时，数据目录无法创建成功。
描述	输入描述。支持输入大小写字母、数字、下划线等各种特殊字符，0-150字符。

查看数据目录

• 数据目录详情

在数据目录树单击数据目录名称可在右侧查看数据目录详细信息，详情处可以对描述进行修改。基本信息包括存储路径、创建时间和创建人等。

每个工作空间预置一个system 数据目录，提供高质量数据和AI资产，支持用户使用。

表二 数据目录详情说明

基本信息名称	说明
数据目录名称	数据目录的名称，用来识别数据目录的唯一性。
存储路径	BOS存储路径。
创建时间	创建数据目录的时间。
创建人	创建数据目录的用户的用户名。
修改时间	最后一次修改数据目录时间。
最近修改人	最后一次修改数据目录的用户。
数据表个数	数据表的数量。
数据卷个数	数据卷的数量。
数据集个数	数据集的数量。
算子个数	算子的数量。
模型个数	模式的数量。

• 工作空间

通过切换tab页选择工作空间，可在此页面制定哪些空间可以访问目录，同事在操作列可对已经分配的工作空间进行取消，支持通过名称进行搜索空间。

• 权限管理

通过切换tab页选择权限管理，可在权限管理页面查看当前目录的用户。通过单击授权或撤销可对用户进行授权和取消权限操作，支持通过主体名称进行搜索。

修改数据目录名称

数据目录的名称支持修改，在目录详情界面右上角更多按钮展开后单击重命名数据目录按钮，输入新的数据目录名称后确定即可。

注意：

• 新修改的数据目录名称同样不可重复。
• system数据目录为系统内置，不支持修改名称。

删除数据目录

数据目录支持删除，但是数据目录只有在没有数据表或数据卷的情况可以删除。

在数据目录详情界面右上角更多按钮展开后单击 删除数据目录 按钮，系统会弹出提示框，确认无误后单击确定，数据目录删除成功。

注意：

• 删除后的数据目录无法恢复，请您谨慎操作。
• system数据目录为系统内置，不支持删除。

数据模式

数据模式为元数据中第二层，支持在目录中创建数据模式，在数据模式中创建数据表和数据卷。

创建数据模式

1. 登录 DataBuilder 控制台，在选中的工作空间操作列单击打开按钮，进入空间内。
2. 侧边导航选择元数据，进入元数据后在目录树上单击要创建数据模式的目录名称，在详情页面右上方单击创建数据模式按钮。
3. 在创建数据模式弹窗填写相关配置项后单击确定按钮，数据模式创建完成。

表三 创建数据模式配置项说明

配置项名称	说明
数据模式名称	输入数据模式名称，必填。支持输入大小写字母、数字、下划线，1-64字符，数据模式名称在目录中不可重复。
描述	输入数据模式描述。支持输入大小写字母、数字、下划线等各种特殊字符，0-150字符。

查看数据模式

• 数据模式详情

在目录树单击数据模式名称，可在右侧查看数据模式详细信息，详情处可以对描述进行修改。基本信息包括存储路径、创建时间和创建人等。

每个目录创建之后默认带有一个名称为default的数据模式，用户可以对default数据模式进行修改和删除。

表四 查看数据模式信息说明

基本信息名称	说明
目录名称	目录的名称，用来识别目录的唯一性。
数据模式名称	数据模式的名称，用来识别数据模式的唯一性。
存储路径	BOS存储路径。
创建时间	创建数据模式的时间。
创建人	创建数据模式的用户名。
修改时间	最新一次数据模式的修改时间。
最近修改人	最新一次数据模式的修改用户名。
数据表个数	数据表的数量。
数据卷个数	数据卷的数量。
数据集个数	数据集的数量。
算子个数	算子的数量。
模型个数	模式的数量。

修改数据模式名称

数据模式的名称支持修改，在数据模式详情界面右上角更多按钮展开后单击 重命名数据模式 按钮，输入新的数据模式名称后确定即可。

注意：

• 新名称在数据目录中不可重复。
• system 数据目录中的数据模式不可修改名称。

删除数据模式

数据模式支持删除。在数据模式详情界面右上角更多按钮展开后单击删除数据模式 按钮，系统会弹出提示框，确认无误后单击确定，数据模式删除成功。

注意：

• 如果数据模式中有数据表、数据卷、数据集、算子和模型，则数据模式不可删除。
• 删除后的数据模式无法恢复，请您谨慎操作。

数据表

创建数据表

1. 在数据模式下详情界面，单击立即创建 > 创建数据表，进入配置界面。
2. 填写创建数据表配置项，完成后确定。

• 基础信息

配置项名称	说明
数据源格式	ICEBERG。
数据表名称	输入数据表名称，支持英文、数字、下划线，必须以字母开头，长度为1～128个字符。
数据表类型	内部表/外部表。
BOS路径	当数据表类型选择为外部表时填写该项，填写数据表路径。
AccessKey	当数据表类型选择为外部表时填写该项，填写BOS路径的智能云账号的AccessKey信息。
SecretKey	当数据表类型选择为外部表时填写该项，填写BOS路径的智能云账号的SecretKey信息。
描述	填写数据表描述，不超过300个字符。

• 字段信息

字段信息配置项用于定义数据表的字段相关属性，单击添加字段按钮，填写数据表字段信息配置项。

配置项名称	说明
字段名称	输入字段的名称，用于标识数据表中的某一列，字符长度限制在 1 ～ 128 之间。
字段类型	下拉选择字段的数据类型，STRINGFIXEDINTLONGFLOATDOUBLEDECIMALBOOLEANBINARYDATETIMETIMESTAMPTIMESTAMPTZLISTMAPSTRUCT
非空	勾选该复选框后，该字段在数据表中不允许为空值，能保证数据的完整性。
字段描述	输入对该字段的描述信息，用于说明字段的含义、用途等。
操作	移除：单击操作列移除按钮，可删除当前配置的字段信息。
添加字段	点击 “+ 添加字段”按钮，可新增一个字段配置行，用于添加数据表的其他字段。

• 分区信息

分区信息用于对数据表进行分区管理，以优化数据查询等操作效率。单击添加分区按钮，填写分区信息配置项。

配置项名称	说明
字段名称	选择用于分区的字段，通过该字段的值将数据划分到不同分区。
转换函数	下拉选择转换函数，identitybuckettruncate
操作	移除：单击操作列移除按钮，可移除当前配置的分区信息。
添加分区	点击 “+ 添加分区”按钮，支持为数据表设置多个分区规则，满足复杂的分区需求。

• 高级配置

高级配置用于设置数据表的额外属性，丰富数据表的元数据等信息

配置项名称	说明
属性名称	自定义数据表的属性标识，用于描述该属性的含义。
属性值	对应属性名称的具体取值，为属性名称所描述的内容赋予实际的值。
操作	移除：单击操作列移除按钮，可移除当前不需要的属性配置。
添加表属性	点击 “+ 添加表属性”按钮，新增高级配置项，支持为数据表添加多个额外属性。

DDL

支持左侧可视化区域定义表结构，系统将自动生成右侧DDL语句以供查看。DDL语句修改不会同步回左侧，且在左侧变更后会被覆盖。最终建表以左侧可视化配置为准。

1. 格式化：在DDL侧单击格式化按钮，可对下方输入代码进行格式化。
2. 语法规范：在DDL侧单击格式化按钮，可在下方展开语法规范，支持关闭。

数据表展示

创建成功的数据表展示在数据模式目录下，展开数据表单击数据表名称可查看数据表具体信息，包括数据表概览、详情、权限管理和DDL。

概览

在数据表详细信息页面通过tab切换查看数据表概览，包括表描述、字段信息和分区信息，描述支持编辑，字段信息支持按照字段名称查询。

数据预览

用户选择有权限的计算资源进行数据表预览，在数据表详细信息页面通过tab切换查看数据预览，若未连接计算实例，需单击连接计算实例进行连接，连接完成后可进行元数据处数据表预览和查询功能。

• 下载：数据表支持下载和数据分析功能，单击右上角下载按钮，可选择数据表格式后对数据表进行下载。
• 数据分析：单击右上角数据分析按钮，进入新页签，在工作区当前用户文件夹下创建一个notebook，并在第一个cell切换为SQL，并填入默认SQL语句，查询对应数据表LIMIT 100。

详情

在数据表详细信息页面通过tab切换查看数据表详情，查看数据表基本信息。

列表项	说明
数据目录名称	该数据表所属的数据目录名称。
数据模式名称	数据库模式名称，用于在数据库中进一步划分不同的命名空间。
数据表名称	数据表的唯一标识名称。
表类型	内部表/外部表。
数据源格式	ICEBERG。
存储路径	指定数据表在存储介质（如文件系统、对象存储等）上的存储位置路径。
表属性	数据表的自定义属性信息。
创建时间	数据表创建的具体时间。
创建人	创建该数据表的用户名。
修改时间	数据表最后一次修改的时间。
最近修改人	最近一次修改该数据表的用户名。

权限管理

在数据表详细信息页面通过tab切换选择权限管理，在列表上方单击选择整表权限、列权限和行权限。查看数据表权限信息，支持按照主体名称进行搜索，还可以通过权限点对列表进行筛选。

• 整表权限：单击右上授权按钮，通过搜索用户名，对用户进行授权（读表、修改表数据、全部权限和管理）。在列表前选中后单击列表右上角取消授权，即可对用户取消授权。
• 列权限：单击右上授权按钮，通过搜索用户名并选择要授权的列，对用户进行授权（读表、修改表数据、全部权限）。在列表前选中后单击列表右上角取消授权，即可对用户取消授权。
• 行权限：单击右上授权按钮，通过搜索用户名并配置过滤规则，对用户进行授权，有读表权限但未添加行过滤规则的用户默认有全部行权限。在列表前选中后单击列表右上角取消授权，即可对用户取消授权。

DDL

在数据表详细信息页面通过tab切换选择DDL，查看DDL语句，支持复制该语句。

编辑数据表

在数据表页面右上方单击编辑数据表按钮，可对数据表配置信息进行编辑，编辑完成后确定数据表编辑结束。

重命名数据表

数据表的名称支持修改，在数据表详情界面右上角更多按钮展开后单击重命名数据表按钮，输入新的数据表名称后确定即可。注意：新名称在数据模式中不可重复。

删除数据表

在数据表详情界面右上角更多按钮展开后单击删除数据表按钮，系统会弹出提示框，确认无误后单击确定，数据表删除成功。

注意：

删除后的数据表无法恢复，请您谨慎操作。

数据卷

数据卷为元数据中第三层，支持在数据模式中创建数据卷。用数据卷来管理非结构化数据。

创建数据卷

1. 登录 DataBuilder 控制台，在选中的工作空间操作列单击 打开 按钮，进入工作空间。
2. 侧边导航选择元数据，进入元数据后在数据目录树上单击要创建数据卷的数据模式名称，在详情页面右上方单击立即创建 > 创建数据卷按钮。
3. 系统跳出创建数据卷页面，在创建页面填写对应配置项，填写完成确定。
4. 创建完成的数据卷在左侧数据目录树展示，单击名称可查看数据卷详情。

表五 创建数据卷配置项说明

配置项名称	说明
数据卷名称	输入数据卷名称，必填。支持输入 大小写字母、数字、下划线，1-64字符。 注意：数据卷名称在数据模式中不可重复。
数据卷类型	两种类型可选，内部数据卷 或外部数据卷。 内部数据卷 会在元存储对应的路径下统一管理；外部数据卷为挂载形式，支持用户将其他BOS路径上的数据挂载到Databuilder。
Bos路径	在选择外部数据卷的需要填写对应的BOS存储路径。 注意：BOS路径需要和工作空间在同一个地域。
AccessKey	在选择 外部数据卷的需要填写 AccessKey。
SecretKey	在选择 外部数据卷的需要填写 SecretKey 。
描述	填写数据卷描述。支持输入大小写字母、数字、下划线等各种特殊字符，0-150字符。

上传文件到数据卷

1. 在数据卷页面右上方单击上传数据到数据卷 按钮，将文件夹或多个文件拖到对应区域或者单击点击上传按钮后，上传对应文件。
2. 在上传过程中，在页面右下方可查看文件上传情况和进度。
3. 上传成功的文件以列表形式展示，可以对文件进行复制路径、删除或下载操作。

• 复制路径：单击按钮复制文件在 DataBuilder 的文件路径。
• 预览：单击预览按钮，可预览文件，查看文件的详情。支持右上角复制文件路径和下载文件。注意：平台仅支持以下格式的文件预览：txt、csv、json、yaml/yml、log、md、xml、png、jpg/jpeg、bmp、gif、svg、webp、tiff/tif。
• 删除：单击删除按钮系统再次提示，确认无误后单击确认按钮，数据卷删除成功。注意：删除的数据卷无法恢复，请您谨慎操作。
• 下载：单击下载按钮后文件可以通过浏览器下载到本地。

注意：

• ⽬标数据⽬录下如果存在同名⽂件，将被新上传的⽂件覆盖。
• 每次上传的总文件大小不超过500MB，单个文件不超过100MB；每次最多上传100个文件。

查看数据卷

左侧数据目录树选择数据卷后，右侧展示数据卷的详细内容，可以通过单击切换查看概览或详情。

概览

在概览页面可以查看数据卷描述、数据卷的文件路径和上传文件列表。单击描述旁边修改按钮可以对数据卷的描述进行修改。

详情

详情页面可查看关于数据卷的详细信息，包括创建人、创建信息等。

修改数据卷名称

数据卷的名称支持修改，在数据卷详情界面右上角更多按钮展开后单击重命名数据卷按钮，输入新的数据卷名称后确定即可。注意：新名称在数据模式中不可重复。

删除数据卷

在数据卷详情界面右上角更多按钮展开后单击删除数据卷按钮，系统会弹出提示框，确认无误后单击确定，数据卷删除成功。

注意：

• 删除后的数据卷无法恢复，请您谨慎操作。

数据集

DataBuilder支持在数据目录中创建数据集。

创建数据集及版本

1. 在数据卷页面右上角点击创建数据集按钮，填写创建数据集配置项。

表六 创建数据集配置项

配置项名称	说明
数据集名称	填写数据集名称，支持输入 大小写字母、数字、下划线，1-64字符，数据集名称在schema中不可重复。
数据集类型	选择数据集类型，内部数据集 / 外部数据集。 当选择内部数据集时，需要填写数据类型和描述。 当选择外部数据集时，需要填写数据类型、存储类型和描述。
数据类型	选择数据类型，数据类型：文本、图片、音频、视频。
存储类型	对象存储BOS。
数据集描述	填写数据集描述，0-150字符。

2. 在数据集页面右上角单击创建数据集版本按钮，进入配置流程。

表七 创建数据集版本配置项说明

配置项	说明
数据解析格式	下拉选择数据解析格式，当前支持Parquet、CSV、JSON、Text和Imagefolder。
描述	输入对数据集版本的描述，0-150字符。

查看数据集

在左侧目录树选择数据集后，右侧展示数据集的详细内容，用tab页切换可查看数据集数据/概览/详情。

数据集概览

1. 通过切换tab页选择概览可查看数据集描述、版本信息。
2. 单击描述旁边修改按钮可以对数据集的描述进行修改。
3. 版本信息：概览页面展示数据集概览版本信息，支持对版本信息进行删除操作。

版本信息数据详情

展示当前版本文件中的详细数据内容.支持图片的查看，单击图片可将图片放大，右侧查看图片信息。单击全屏检索可在当前页面进入数据集分析检索页，通过编写SQL对数据集进行查询并支持保存SQL语句和导入SQL语句。

版本信息概览

1. 单击数据集概览中版本信息名称，进入版本信息详情，通过tab也切换选择概览可查看版本信息概览。
2. 在描述旁边单击修改按钮，可对描述进行修改。
3. 文件信息：文件信息可查看版本信息的详细信息，包括文件名称、文件大小等，同时可对文件信息进行下载或删除操作。
4. 数据集版本中上传文件：支持上传数据，单击详情右上角上传数据到数据集，将文件拖拽到页面对应区域或选择文件可进行数据上传。在上传过程中，在页面右下方可查看文件上传情况和进度。注意：每次上传的总文件大小不超过500MB，单个文件不超过100MB。

表八 版本信息文件信息列表说明

列表项名称	说明
文件名称	数据集版本文件的名称。
文件大小	文件的大小。
更新时间	版本信息最新更新时间。
操作	下载：单击下载按钮，文件可以直接通过浏览器下载到本地。 删除：单击删除按钮，删除文件信息。注意：文件信息删除后不可恢复，请谨慎操作。 预览：单击预览按钮，可预览文件，查看文件的详情。支持右上角复制文件路径和下载文件。注意：平台仅支持以下格式的文件预览：txt、csv、json、yaml/yml、log、md、xml、png、jpg/jpeg、bmp、gif、svg、webp、tiff/tif。

版本信息详情

1. 单击数据集概览中版本信息名称，进入版本信息详情，通过tab也切换选择详情可查看版本信息详情。详情包括数据集的版本、版本ID、数据路径、创建人、创建时间、最近修改人、修改时间、数据格式、样本数、数据集大小和属性。

数据集详情

通过切换tab页选择详情可查看数据集数据集基本信息。包括数据集名称、数据集 ID、数据集类型、所有者、创建人、创建时间、最近修改人、修改时间、存储类型和数据类型。

权限管理

通过切换tab页选择权限管理，可在权限管理页面查看当前数据集的用户。通过单击授权或撤销可对用户进行授权和取消权限操作，支持通过主体名称进行搜索。

修改数据集名称

在数据集页面右上角创建按钮旁边单击按钮，选择重命名Datase。在编辑框内修改数据集名称后单击确定，需要注意的是，数据集的名称在同个schema中不可重复，不同schema中间可以重复。

删除数据集

在数据集页面右上角创建按钮旁边单击按钮，选择删除Datase。注意：删除后数据无法恢复，请谨慎删除。

模型

创建模型及版本

1. 在数据卷页面右上角点击创建模型按钮，填写创建模型配置项。

表九 创建模型配置项

配置项名称	说明
模型名称	填写模型名称，支持输入 大小写字母、数字、下划线，1-64字符，模型名称在schema中不可重复。
模型类型	选择模型类型，内部模型 / 外部模型： 当选择内部模型时，需要填写数据类型和描述。 当选择外部模型时，需要填写数据类型、存储类型和描述。
存储类型	对象存储BOS。
模型描述	填写数据集描述，0-150字符。

2. 在模型页面右上角单击创建模型版本按钮，进入配置流程。

表十 创建模型版本配置项说明

配置项	说明
基础模型	下拉选择基础模型。
描述	输入对模型版本的描述，0-150字符。

查看模型

模型概览

1. 通过切换tab页选择概览可查看模型描述、版本信息。
2. 单击描述旁边修改按钮可以对模型的描述进行修改。
3. 版本信息：概览页面展示模型概览版本信息，支持对版本信息进行删除操作。

模型版本概览

1. 单击模型概览中版本信息名称，进入版本信息详情，通过tab也切换选择概览可查看版本信息概览。
2. 在描述旁边单击修改按钮，可对描述进行修改。
3. 文件信息：文件信息可查看版本信息的详细信息，包括文件名称、文件大小等，同时可对文件信息进行下载或删除操作。
4. 模型版本中上传文件：支持上传数据，单击详情右上角上传数据到模型，将文件拖拽到页面对应区域或选择文件可进行数据上传。在上传过程中，在页面右下方可查看文件上传情况和进度。注意：每次上传的总文件大小不超过500MB，单个文件不超过100MB。

表十一 模型版本概览列表项说明

列表项名称	说明
文件名称	数据集版本文件的名称。
文件大小	文件的大小。
更新时间	最新更新时间。
操作	下载：单击下载按钮，文件可以直接通过浏览器下载到本地。 删除：单击删除按钮，删除文件信息。注意：文件信息删除后不可恢复，请谨慎操作。 预览：单击预览按钮，可预览文件，查看文件的详情。支持右上角复制文件路径和下载文件。注意：平台仅支持以下格式的文件预览：txt、csv、json、yaml/yml、log、md、xml、png、jpg/jpeg、bmp、gif、svg、webp、tiff/tif。

模型版本详情

1. 单击模型概览中版本信息名称，进入版本信息详情，通过tab也切换选择详情可查看版本信息详情。详情包括数据集的版本、版本ID、数据路径、创建人、创建时间、最近修改人、修改时间、数据格式、样本数、数据集大小和属性。

模型详情

通过切换tab页选择详情可查看模型数据集基本信息。包括模型名称、模型 ID、模型类型、所有者、创建人、创建时间、最近修改人、修改时间和存储类型。

权限管理

通过切换tab页选择权限管理，可在权限管理页面查看当前数据集的用户。通过单击授权或撤销可对用户进行授权和取消权限操作，支持通过主体名称进行搜索。

修改模型名称

在模型页面右上角创建按钮旁边单击按钮，选择重命名模型。在编辑框内修改模型名称后单击确定，需要注意的是，模型的名称在同个schema中不可重复，不同schema中间可以重复。

删除模型

在模型页面右上角创建按钮旁边单击按钮，选择删除模型。注意：删除后数据无法恢复，请谨慎删除。

算子

在元数据中可以查看内置算子和在工作流中使用内置算子。

查看内置算子

在system 数据目录中内置多个算子，单击名为system的数据目录展开可查看当前内置算子。单击具体算子名称可查看对应的算子概览和算子详情。

概览

通过tab切换可查看算子概览信息。包括描述、使用说明和版本列表。

• 描述：关于函数能力的介绍。
• 使用说明：包括函数详细介绍、使用方式说明和数据处理示例。
• 版本列表：介绍算子的版本信息，以列表形式展示。列表可查看版本的详细信息，包括版本号、ID和创建时间等，单击版本号可展开查看版本详情。

表十二 版本列表项说明

列表项名称	说明
版本号	对应算子的版本号。单击版本号可展开查看版本详情。
ID	算子唯一ID。
创建时间	创建版本的时间点。
修改时间	更新该版本算子的时间。
版本描述	对于版本的描述信息。支持大小写字母、数字、下划线等各种特殊字符，0-150字符。默认查看少量字符，展开后显示全部描述。

表十三 版本详情说明

详情项名称	说明
版本号	对应算子的版本号。
版本ID	版本的唯一ID。
版本描述	当前算子版本的描述。展开可查看全部字符。
创建时间	当前版本创建时间。
创建人	创建算子的用户。
修改时间	更新该版本算子的时间。
最近修改人	修改算子的用户。
代码语言	python。
算子代码路径	算子代码路径。
算子类型	类型包含extract、transform、filter、dedup、embedding、others。
运行环境	当前算子的运行环境。
输入参数	包括3个字段，key、类型和value。key默认为input，不同算子有不同的类型和value。
输出参数	包括3个字段，key、类型和value。key默认为output，不同算子有不同的类型和value。
运行参数	包括4个字段，key、默认值、类型和required。默认值 = 5；类型：Interger；required = true。
支持引擎	支持运行该算子的引擎，包括Ray、Spark。
资源配置	支持运行该算子的资源，包括GPU、CPU。

表十四 算子说明

算子名称	说明
databuilder_location_loader	加载数据源路径的数据，目前支持BOS和数据卷方式。BOS路径格式为：bos://bucket_name/path/to/data；数据卷路径格式为：/数据卷s/test/default/data_vol/。
exporter	将数据输出到指定路径，目前支持BOS和数据卷方式。BOS路径格式为：bos://bucket_name/path/to/data；数据卷路径格式为：/数据卷s/test/default/data_vol/。
video_info_extractor	提取视频信息（帧数、高度、宽度、长宽比、帧率、帧率和像素值）。
column_filter	过滤指定数值列中满足条件的行，设置过滤数值列名、表达式运算符、阈值。eg:过滤帧数小于100的视频，filtercol值为num_frames、filter算子值为<、filter_value值为100。
video_scene_detector	检测视频场景边界，输出边界时间列表。
video_scene_cutter	根据场景时间戳分割视频。
aesthetic_evaluation	对视频的美学质量进行打分，采用improved aesthetic predictor模型，其中美学质量越高分数越高。
optical_flow_evaluation	对视频的运动进行打分，采用UniMatch模型，计算视频的光流分数，其中画面运动越多分数越高。
ocr_evaluation	对视频中的文字进行检测，采用DBNet++模型，计算OCR分数。文字越密集的视频，分数越高。
pllava_caption	采用pllava模型对视频进行caption，生成文字描述视频的内容。
matching_score	采用CLIP计算文本和视频之间的匹配分数。
video_scanner	给定一个bos视频路径，可以生成这个路径下所有的视频信息，包括文件名和bos地址。

详情

通过tab切换可查看算子详细信息。包括数据目录名称、数据模式名称和创建时间等。

表十五 算子详情信息说明

基本信息项名称	说明
数据目录名称	当前算子的数据目录名称。
数据模式名称	当前算子的数据模式名称。
算子名称	当前算子的算子名称。
算子别名	算子其他名称。
使用说明	当前算子概览的使用说明。
创建时间	创建当前算子的时间。
创建人	创建算子的用户。
修改时间	所有版本的最后修改时间。
最近修改人	最后修改版本的用户。
最新版本 ID	算子最新版本的ID名。
最新版本号	算子最新版本号名。

自定义算子

DataBuilder支持在数据模式中创建自定义算子。

创建自定义算子及版本

1. 在数据模式页面右上角单击立即创建>创建算子，填写创建自定义算子配置项。
2. 填写完成后单击仅创建算子按钮，算子创建完毕，可在算子列表上方单击创建算子版本，去创建算子版本。如选择提交并创建算子版本，进入创建算子版本流程。

表十六 创建自定义算子配置项

配置项名称	说明
算子名称	填写自定义算子名称，支持输入 大小写字母、数字、下划线，1-64字符，自定义算子名称在schema中不可重复。
算子别名	算子的别称，方便用户更直观地理解算子用途。
描述	对当前算子的描述，字符长度限制在 0 到 150 之间。
使用说明	输入对当前算子的使用说明。

表十七 创建自定义算子版本配置项说明

配置项名称	说明
算子名称	填写自定义算子名称，支持输入 大小写字母、数字、下划线，1-64字符，自定义算子名称在数据卷中不可重复。
算子别名	算子的别称，方便用户更直观地理解算子用途。
算子版本	算子的版本号，用于标识算子的不同迭代版本。
版本描述	对当前算子版本的描述说明，可输入相关信息，字符长度限制在 0 到 150 之间。
算子类型	下拉选择算子的类型，算子类型分为：DEDUP、EMBEDDING、EXTRACT、FILTER、OTHERS、TRANSFORM、SOURCE、SINK。
代码语言	下拉选择编写算子代码所用的编程语言，Python
执行代码	通过 “+ 添加文件” 按钮添加算子的执行代码文件。
支持引擎	下拉选择算子运行所支持的引擎，Ray/Spark。
资源类型	下拉选择算子运行所需的资源类型，CPU/GPU。
类名	输入算子代码中对应的类名称，用于指定运行的类。
执行镜像	可选择 “官方镜像” 或 “自定义镜像”，“官方镜像” 使用平台提供的标准运行环境镜像，“自定义镜像” 可使用用户自己配置的镜像，以满足特定的运行环境需求。当前只支持官方镜像。
输入参数	单击添加字段，可新增输入参数配置行，用于添加更多的输入参数。
输出参数	单击添加字段，可新增输出参数配置行，添加更多输出参数。
运行参数	单击添加字段，用于添加更多的运行参数。

查看自定义算子

在左侧目录树选择自定义算子后，右侧展示自定义算子的详细内容，用tab页切换可查看自定义算子概览/详情。

自定义算子概览

1. 通过切换tab页选择概览可查看自定义算子描述、版本信息。
2. 单击描述旁边修改按钮可以对自定义算子的描述进行修改。
3. 版本信息：概览页面展示自定义算子概览版本信息，支持对版本信息进行删除操作。

版本信息详情

单击自定义算子概览中版本信息名称可侧边展开查看版本信息详情。

自定义算子详情

通过切换tab页选择详情可查看自定义算子自定义算子基本信息。包括自定义算子名称、自定义算子 ID、自定义算子类型、所有者、创建人、创建时间、最近修改人、修改时间、存储类型和数据类型。

权限管理

通过切换tab页选择权限管理，可在权限管理页面查看当前自定义算子的用户。通过单击授权或撤销可对用户进行授权和取消权限操作，支持通过主体名称进行搜索。

重命名自定义算子名称

在自定义算子页面右上角创建按钮旁边单击按钮，选择重命名算子。在编辑框内修改自定义算子名称后单击确定，需要注意的是，自定义算子的名称在同个数据卷中不可重复，不同数据卷中间可以重复。

删除自定义算子

在自定义算子页面右上角创建按钮旁边单击按钮，选择删除算子。注意：删除后数据无法恢复，请谨慎删除。

分析与AI搜索实例数据目录

分析与AI搜索实例集群创建完成之后，默认在元数据中生成一个分析与AI搜索实例的数据目录，包括数据目录-数据模式-数据表的三层结构。

查询检索数据目录和分析与AI搜索实例是一一对应的，每个分析与AI搜索实例只能对对应对查询检索数据目录进行查询。默认分析与AI搜索实例的数据目录为空，可以查看和更新分析与AI搜索实例的数据目录。

查看分析与AI搜索实例数据目录

单击数据目录名称，右侧查看分析与AI搜索实例的数据模式详情，详情可查看数据目录的描述信息等。

注意：在元数据模块，不支持修改分析与AI搜索实例的数据目录，包括重命名和删除。

表十八 分析与AI搜索实例数据目录详情列表说明

列表项	说明
数据目录名称	当前数据目录的名称。
创建时间	创建当前数据目录的时间。
创建人	创建当前数据目录的用户名。
存储路径	BOS存储路径。
数据表个数	当前数据目录下数据表的个数。
数据目录类型	分析与AI搜索实例-Doris 数据目录。
分析与AI搜索实例名称	当前数据目录的分析与AI搜索实例名称。
分析与AI搜索实例ID	当前数据目录的分析与AI搜索实例id。

权限管理

通过切换tab页选择权限管理，可在权限管理页面查看当前分析与AI搜索实例数据目录的用户。通过单击授权或撤销可对用户进行授权和取消权限操作，支持通过主体名称进行搜索。

分析与AI搜索实例的数据模式

支持在分析与AI搜索实例的数据目录中创建数据模式。

创建分析与AI搜索实例的数据模式

在数据目录详情页面右上角单击创建数据模式按钮，填写创建数据模式配置项，填写完成后单击确定按钮。

表十九 创建数据模式配置项

配置项名称	说明
数据模式名称	填写数据模式名称，支持输入大小写字母、数字、下划线，必须以字母开头，长度1- 64。注意：数据模式名称在 数据目录中不可重复。
描述	填写数据模式描述。

查看分析与AI搜索实例的数据模式

创建完成的数据模式在左侧数据目录树中展示，单击数据模式名称右侧展示对应数据模式的详细内容，包括描述和基本信息，支持对描述进行编辑修改。

表二十 数据模式详情说明

基本信息项	说明
数据目录名称	当前数据模式数据目录的名称。
数据模式名称	当前数据模式的名称。
数据表个数	分析与AI搜索实例的数据模式中发数据表的数量。

权限管理

通过切换tab页选择权限管理，可在权限管理页面查看当前分析与AI搜索实例的数据模式的用户。通过单击授权或撤销可对用户进行授权和取消权限操作，支持通过主体名称进行搜索。

重命名分析与AI搜索实例的数据模式

单击数据表页面右上角更多按钮，单击修改名称后在编辑框修改数据模式名称，修改完成确定。

需要注意的是，数据模式的名称在 数据目录中不可重复。

删除分析与AI搜索实例的数据模式

在数据模式详情页选择更多按钮，单击删除后系统会进行弹窗确认，确认无误后确定，数据模式删除完毕。

注意：数据模式下有数据表的情况，数据模式不支持删除。数据模式删除后无法恢复，请谨慎操作。

分析与AI搜索实例的数据表

支持用户查看、修改和删除分析与AI搜索实例的数据表。

查看分析与AI搜索实例数据表

在左侧数据目录树选择分析与AI搜索实例数据表后，右侧展示数据表的详细内容，可以通过tab页查看概览/详情。

概览

1. 通过tab页选择概览，查看表的字段信息，包括表的字段名称、字段类型和字段描述。
2. 支持对描述进行编辑修改，单击编辑按钮即可编辑。
3. 支持通过字段名称进行查询检索列表。

数据预览

用户选择有权限的计算资源进行分析与AI搜索实例数据表预览，在分析与AI搜索实例数据表详细信息页面通过tab切换查看数据预览，若未连接计算实例，需单击连接计算实例进行连接，连接完成后可进行元数据处数据表预览和查询功能。

• 下载：数据表支持下载和数据分析功能，单击右上角下载按钮，可选择数据表格式后对数据表进行下载。
• 数据分析：单击右上角数据分析按钮，进入新页签，在工作区当前用户文件夹下创建一个notebook，并在第一个cell切换为SQL，并填入默认SQL语句，查询对应数据表LIMIT 100。

详情

通过tab页选择详情，查看数据表详情。包括表名称、创建时间等。

表二十一 数据表详情列表说明

列表项	说明
数据目录名称	数据目录的名称，用来识别数据目录的唯一性。
数据模式名称	数据模式的名称，用来识别数据模式的唯一性。
数据表名称	分析与AI搜索实例的数据表的名称。
表类型	内部表。
数据源格式	Doris内表。
创建时间	创建数据表的时间。

权限管理

在分析与AI搜索实例数据表详细信息页面通过tab切换选择权限管理，查看数据表权限信息，支持按照主体名称进行搜索，还可以通过选择全部权限或管理对列表进行筛选。

单击右上授权按钮，通过搜索用户名，对用户进行授权（读表、修改表数据、全部权限和管理）。在列表前选中后单击列表右上角取消授权，即可对用户取消授权。

DDL

在数据表详细信息页面通过tab切换选择DDL，查看DDL语句，支持复制该语句。

重命名分析与AI搜索实例的数据表

单击数据表页面右上角更多按钮，单击修改名称后在编辑框修改表名称，修改完成确定。

需要注意的是，数据表的名称在同个分析与AI搜索实例的数据模式中不可重复，不同数据模式中可以重复。

删除分析与AI搜索实例的数据表

单击数据表页面右上角更多按钮，单击删除后系统会进行弹窗确认，确认无误后确定，数据表删除完毕。

注意：数据表删除后无法恢复，请谨慎操作。

数据源

DataBuilder提供统一的数据源管理功能，帮助用户高效、安全地连接和管理多种异构数据源，以便后续进行数据同步，实现企业多源异构数据源的数据汇聚。

创建数据源

1. 在元数据页面在目录列表上方单击添加按钮，选择创建数据源。
2. 选择创建数据源的类型（关系型数据库：MySQL/Oracle/SQLServer/PostgreSQL/HANA，半结构化存储：SFTP/FTP/HDFS）完成后单击下一步去建立连接。
3. 根据需要填写配置项，然后确定数据源创建成功。

数据源文档

表二十二 新建MySQL/SOLSever/PostgreSQL/HANA数据源配置项说明

配置项名称	说明
名称	输入数据源名称，支持中文、英文字母、数字、下划线、中划线，长度不超过32字符。
描述	输入数据源描述，长度为1~1024个字符。
主机	输入主机名，长度为1~128个字符。
端口	输入端口名，长度为1~32个字符。
数据库名称	输入数据库名称。
用户名	输入用户名，长度为1~128个字符。
密码	输入用户名密码，长度为1~128个字符。
版本	MySQL当前支持mysql5、mysql8；SOLSever支持sqlserver2016；PostgreSQL、HANA无需配置版本。
连通测试	展示源连接与集成实例，点击可测试连通性。如没有，支持单击前往创建去创建计算实例。

表二十三 新建Oracle数据源配置项说明

配置项名称	说明
名称	输入数据源名称，支持中文、英文字母、数字、下划线、中划线，长度不超过32字符。
描述	输入数据源描述，长度为1~1024个字符。
主机	输入主机名，长度为1~128个字符。
端口	输入端口名，长度为1~32个字符。
用户名	输入用户名，长度为1~128个字符。
密码	输入用户名密码，长度为1~128个字符。
版本	当前支持oracle11g。
连接类型	可选SID、Service Name。
SID/Service Name	根据所选连接类型，输入SID或Service Name，长度为1~128个字符。
连通测试	展示源连接与集成实例，点击可测试连通性。如没有，支持单击前往创建去创建计算实例。

表二十四 新建SFTP/FTP数据源配置项说明

配置项名称	说明
名称	输入数据源名称，支持中文、英文字母、数字、下划线、中划线，长度不超过32字符。
描述	输入数据源描述，长度为1~1024个字符。
主机	输入主机名，长度为1~128个字符。
端口	输入端口名，长度为1~32个字符。
用户名	输入用户名，长度为1~128个字符。
密码	输入用户名密码，长度为1~128个字符。
连通测试	展示源连接与集成实例，点击可测试连通性，如没有支持单击前往创建去创建计算实例。

表二十五 新建HDFS数据源配置项说明

配置项名称	说明
名称	输入数据源名称，支持中文、英文字母、数字、下划线、中划线，长度不超过32字符。
描述	输入数据源描述，长度为1~1024个字符。
defaultFS	输入defaultFS，长度为1~256个字符。
hdfs_site_path	指定HDFS的hdfs-site.xml配置文件地址。
认证方式	无认证、Kerberos认证（即将支持）
连通测试	展示源连接与集成实例，点击可测试连通性，如没有支持单击前往创建去创建计算实例。

数据源列表

创建成功的数据源以列表形式展示，单击数据源名称可进入详情页面，列表支持按照数据源类型进行筛选，同时可以通过创建时间对列表进行排序。

表二十六 数据源列表说明

列表项名称	说明
名称	数据源名称。
数据源类型	MYSQL/Oracle/SQLServer/PostgreSQL/HANA/SFTP/FTP/HDFS，列表支持按照数据源类型进行筛选。
创建时间	创建数据源的时间。
描述	数据源描述。
操作	在操作列可以对数据源进行不同操作。 编辑：单击编辑按钮，可对数据源信息进行重新编辑。 删除：单击删除按钮，对数据源进行删除。注意：数据源删除后不可恢复，请谨慎操作。

数据源详情

单击数据源名称，进入数据源详情，可以查看数据源详细基本信息和数据源权限管理。在此页面单击右上角创建按钮可分别跳转创建文件离线采集和库表离线采集页面，创建对应任务。

详情

通过tab切换选择查看数据源详情，详情可查看数据源相关描述和数据源基本信息，基本信息包括数据源类型、主机和端口。 同时，详情页面右上角支持对数据源的编辑和删除。

• 编辑：单击编辑按钮，重新编辑数据源信息，完成后单击确定按钮。
• 删除：单击删除按钮，可删除数据源。注意：数据源删除后不可恢复，请您谨慎操作。

权限管理

通过tab切换选择查看数据源权限管理，支持按照主体名称进行搜索。列表可查看主体名称和主体权限，选择具体主体可对主体进行授权或者取消授权。