元数据
DataBuilder元数据,支持用户组织和管理AI和数据资产。元数据支持三层结构:数据目录-模式-数据表/数据卷/算子/模型,数据目录是第一层,数据目录之下可以创建数据模式,数据模式中可以包含数据表、数据卷、算子和模型等。本文将介绍如何使用元数据进行数据管理。
前提条件
- 已配置好 DataBuilder 元存储。
- 已创建 DataBuilder 工作空间。
使用数据目录
数据目录为元数据第一层,支持在数据目录中创建数据模式。
创建数据目录
- 登录 DataBuilder 控制台,在选中的工作空间操作列单击 打开 按钮,进入空间内。
- 侧边导航选择元数据,进入元数据后单击添加按钮新建数据目录。
- 填写新建数据目录配置项,填写完成后单击确定,数据目录创建完成。
- 创建完成的数据目录在数据目录树展示,单击数据目录名称可在右侧查看数据目录详细信息。
表一 新建数据目录配置项说明
配置项名称 | 说明 |
---|---|
数据目录名称 | 填写数据目录名称,在同一个元存储中不可重复。必填项,支持输入大小写字母、数字、下划线,1-64字符。注意:在创建数据目录时若提示“存在同名数据目录“时,数据目录无法创建成功。 |
描述 | 输入描述。支持输入大小写字母、数字、下划线等各种特殊字符,0-150字符。 |
查看数据目录
- 数据目录详情
在数据目录树单击数据目录名称可在右侧查看数据目录详细信息,详情处可以对描述进行修改。基本信息包括存储路径、创建时间和创建人等。
每个工作空间预置一个system 数据目录,提供高质量数据和AI资产,支持用户使用。
表二 数据目录详情说明
基本信息名称 | 说明 |
---|---|
数据目录名称 | 数据目录的名称,用来识别数据目录的唯一性。 |
存储路径 | BOS存储路径。 |
创建时间 | 创建数据目录的时间。 |
创建人 | 创建数据目录的用户的用户名。 |
修改时间 | 最后一次修改数据目录时间。 |
最近修改人 | 最后一次修改数据目录的用户。 |
数据表个数 | 数据表的数量。 |
数据卷个数 | 数据卷的数量。 |
算子个数 | 算子的数量。 |
- 工作空间
通过切换tab页选择工作空间,可在此页面制定哪些空间可以访问目录,同事在操作列可对已经分配的工作空间进行取消,支持通过名称进行搜索空间。
- 权限管理
通过切换tab页选择权限管理,可在权限管理页面查看当前目录的用户。通过单击授权或撤销可对用户进行授权和取消权限操作,支持通过主体名称进行搜索。
修改数据目录名称
数据目录的名称支持修改,在目录详情界面右上角更多按钮展开后单击重命名数据目录按钮,输入新的数据目录名称后确定即可。
注意:
- 新修改的数据目录名称同样不可重复。
- system数据目录为系统内置,不支持修改名称。
删除数据目录
数据目录支持删除,但是数据目录只有在没有数据表或数据卷的情况可以删除。
在数据目录详情界面右上角更多按钮展开后单击 删除数据目录 按钮,系统会弹出提示框,确认无误后单击确定,数据目录删除成功。
注意:
- 删除后的数据目录无法恢复,请您谨慎操作。
- system数据目录为系统内置,不支持删除。
数据模式
数据模式为元数据中第二层,支持在目录中创建数据模式,在数据模式中创建数据表和数据卷。
创建数据模式
- 登录 DataBuilder 控制台,在选中的工作空间操作列单击打开按钮,进入空间内。
- 侧边导航选择元数据,进入元数据后在目录树上单击要创建数据模式的目录名称,在详情页面右上方单击创建数据模式按钮。
- 在创建数据模式弹窗填写相关配置项后单击确定按钮,数据模式创建完成。
表三 创建数据模式配置项说明
配置项名称 | 说明 |
---|---|
数据模式名称 | 输入数据模式名称,必填。支持输入大小写字母、数字、下划线,1-64字符,数据模式名称在目录中不可重复。 |
描述 | 输入数据模式描述。支持输入大小写字母、数字、下划线等各种特殊字符,0-150字符。 |
查看数据模式
- 数据模式详情
在目录树单击数据模式名称,可在右侧查看数据模式详细信息,详情处可以对描述进行修改。基本信息包括存储路径、创建时间和创建人等。
每个目录创建之后默认带有一个名称为default的数据模式,用户可以对default数据模式进行修改和删除。
表四 查看数据模式信息说明
基本信息名称 | 说明 |
---|---|
目录名称 | 目录的名称,用来识别目录的唯一性。 |
数据模式名称 | 数据模式的名称,用来识别数据模式的唯一性。 |
存储路径 | BOS存储路径。 |
创建时间 | 创建数据模式的时间。 |
创建人 | 创建数据模式的用户名。 |
修改时间 | 最新一次数据模式的修改时间。 |
最近修改人 | 最新一次数据模式的修改用户名。 |
数据表个数 | 数据表的数量。 |
数据卷个数 | 数据卷的数量。 |
算子个数 | 算子数量。 |
- 工作空间
通过切换tab页选择工作空间,可在此页面制定哪些空间可以访问目录,同事在操作列可对已经分配的工作空间进行取消,支持通过名称进行搜索空间。
- 权限管理
通过切换tab页选择权限管理,可在权限管理页面查看当前拥有数据模式权限的用户。通过单击授权或撤销可对用户进行授权和取消权限操作,支持通过主体名称进行搜索。
修改数据模式名称
数据模式的名称支持修改,在数据模式详情界面右上角更多按钮展开后单击 重命名数据模式 按钮,输入新的数据模式名称后确定即可。
注意:
- 新名称在数据目录中不可重复。
- system 数据目录中的数据模式不可修改名称。
删除数据模式
数据模式支持删除。在数据模式详情界面右上角更多按钮展开后单击删除数据模式 按钮,系统会弹出提示框,确认无误后单击确定,数据模式删除成功。
注意:
- 如果数据模式中有数据表、数据卷或算子,则数据模式不可删除。
- 删除后的数据模式无法恢复,请您谨慎操作。
数据卷
数据卷为元数据中第三层,支持在数据模式中创建数据卷。用数据卷来管理非结构化数据。
创建数据卷
- 登录 DataBuilder 控制台,在选中的工作空间操作列单击 打开 按钮,进入工作空间。
- 侧边导航选择元数据,进入元数据后在数据目录树上单击要创建数据卷的数据模式名称,在详情页面右上方单击立即创建 > 创建数据卷按钮。
- 系统跳出创建数据卷页面,在创建页面填写对应配置项,填写完成确定。
- 创建完成的数据卷在左侧数据目录树展示,单击名称可查看数据卷详情。
表五 创建数据卷配置项说明
配置项名称 | 说明 |
---|---|
数据卷名称 | 输入数据卷名称,必填。支持输入 大小写字母、数字、下划线,1-64字符。 注意:数据卷名称在数据模式中不可重复。 |
数据卷类型 | 两种类型可选,Managed 数据卷 或 External 数据卷。 Managed 数据卷 会在元存储对应的路径下统一管理;External 数据卷为挂载形式,支持用户将其他BOS路径上的数据挂载到Databuilder。 |
Bos路径 | 在选择 External 数据卷的需要填写对应的BOS存储路径。 注意:BOS路径需要和工作空间在同一个地域。 |
AccessKey | 在选择 External 数据卷的需要填写 AccessKey。 |
SecretKey | 在选择 External 数据卷的需要填写 SecretKey 。 |
描述 | 填写数据卷描述。支持输入大小写字母、数字、下划线等各种特殊字符,0-150字符。 |
上传文件到数据卷
- 在数据卷页面右上方单击上传数据到数据卷 按钮,将文件夹或多个文件拖到对应区域或者单击点击上传按钮后,上传对应文件。
- 在上传过程中,在页面右下方可查看文件上传情况和进度。
- 上传成功的文件以列表形式展示,可以对文件进行复制路径、删除或下载操作。
- 复制路径:单击按钮复制文件在 DataBuilder 的文件路径。
- 删除:单击删除按钮系统再次提示,确认无误后单击确认按钮,数据卷删除成功。注意:删除的数据卷无法恢复,请您谨慎操作。
- 下载:单击下载按钮后文件可以通过浏览器下载到本地。
注意:
- ⽬标数据⽬录下如果存在同名⽂件,将被新上传的⽂件覆盖。
- 每次上传的总文件大小不超过500MB,单个文件不超过100MB;每次最多上传100个文件。
查看数据卷
左侧数据目录树选择数据卷后,右侧展示数据卷的详细内容,可以通过单击切换查看概览或详情。
概览
在概览页面可以查看数据卷描述、数据卷的文件路径和上传文件列表。单击描述旁边修改按钮可以对数据卷的描述进行修改。
详情
详情页面可查看关于数据卷的详细信息,包括创建人、创建信息等。
权限管理
通过切换tab页选择权限管理,可在权限管理页面查看当前卷的用户。通过单击授权或撤销可对用户进行授权和取消权限操作,支持通过主体名称进行搜索。
修改数据卷名称
数据卷的名称支持修改,在数据卷详情界面右上角更多按钮展开后单击重命名数据卷按钮,输入新的数据卷名称后确定即可。注意:新名称在数据模式中不可重复。
删除数据卷
在数据卷详情界面右上角更多按钮展开后单击删除数据卷按钮,系统会弹出提示框,确认无误后单击确定,数据卷删除成功。
注意:
- 删除后的数据卷无法恢复,请您谨慎操作。
数据集
DataBuilder支持在数据目录中创建数据集。
创建数据集
在数据卷页面右上角点击创建数据集按钮,填写创建数据集配置项。
表六 创建数据集配置项
配置项名称 | 说明 |
---|---|
数据集名称 | 填写数据集名称,支持输入 大小写字母、数字、下划线,1-64字符,数据集名称在schema中不可重复。 |
数据集类型 | 选择数据集类型,Managed 数据集 / External 数据集。 |
数据类型 | 选择数据类型,数据类型:文本、图片、音频、视频。 |
存储类型 | 对象存储BOS。 |
数据集描述 | 填写数据集描述,0-150字符。 |
查看数据集
在左侧目录树选择数据集后,右侧展示数据集的详细内容,用tab页切换可查看数据集概览/详情。
数据集概览
- 通过切换tab页选择概览可查看数据集描述、版本信息。
- 单击描述旁边修改按钮可以对数据集的描述进行修改。
- 版本信息:概览页面展示数据集概览版本信息,支持对版本信息进行删除操作。
版本信息概览
- 单击数据集概览中版本信息名称,进入版本信息详情,通过tab也切换选择概览可查看版本信息概览。
- 在描述旁边单击修改按钮,可对描述进行修改。
- 文件信息:文件信息可查看版本信息的详细信息,包括文件名称、文件大小等,同时可对文件信息进行下载或删除操作。
表七 版本信息文件信息列表说明
列表项名称 | 说明 |
---|---|
文件名称 | 数据集版本文件的名称。 |
文件大小 | 文件的大小。 |
更新时间 | 版本信息最新更新时间。 |
操作 | 下载:单击下载按钮,文件可以直接通过浏览器下载到本地。 删除:单击删除按钮,删除文件信息。注意:文件信息删除后不可恢复,请谨慎操作。 |
版本信息详情
- 单击数据集概览中版本信息名称,进入版本信息详情,通过tab也切换选择详情可查看版本信息详情。详情包括数据集的版本、版本ID、数据路径、创建人、创建时间、最近修改人、修改时间、数据格式、样本数、数据集大小和属性。
- 数据集版本中上传文件:支持上传数据,单击详情右上角上传数据到数据集,将文件拖拽到页面对应区域或选择文件可进行数据上传。在上传过程中,在页面右下方可查看文件上传情况和进度。注意:每次上传的总文件大小不超过500MB,单个文件不超过100MB。
版本信息数据详情
展示当前版本文件中的详细数据内容.
数据集详情
通过切换tab页选择详情可查看数据集数据集基本信息。包括数据集名称、数据集 ID、数据集类型、所有者、创建人、创建时间、最近修改人、修改时间、存储类型和数据类型。
权限管理
通过切换tab页选择权限管理,可在权限管理页面查看当前数据集的用户。通过单击授权或撤销可对用户进行授权和取消权限操作,支持通过主体名称进行搜索。
修改数据集名称
在数据集页面右上角创建按钮旁边单击按钮,选择重命名Datase。在编辑框内修改数据集名称后单击确定,需要注意的是,数据集的名称在同个schema中不可重复,不同schema中间可以重复。
删除数据集
在数据集页面右上角创建按钮旁边单击按钮,选择删除Datase。注意:删除后数据无法恢复,请谨慎删除。
模型
创建模型
在数据卷页面右上角点击创建模型按钮,填写创建模型配置项。
表八 创建模型配置项
配置项名称 | 说明 |
---|---|
模型名称 | 填写模型名称,支持输入 大小写字母、数字、下划线,1-64字符,模型名称在schema中不可重复。 |
模型类型 | 选择模型类型,Managed 模型 / External 模型: |
存储类型 | 对象存储BOS。 |
模型描述 | 填写数据集描述,0-150字符。 |
查看模型
模型概览
- 通过切换tab页选择概览可查看模型描述、版本信息。
- 单击描述旁边修改按钮可以对模型的描述进行修改。
- 版本信息:概览页面展示模型概览版本信息,支持对版本信息进行删除操作。
模型版本概览
- 单击模型概览中版本信息名称,进入版本信息详情,通过tab也切换选择概览可查看版本信息概览。
- 在描述旁边单击修改按钮,可对描述进行修改。
- 文件信息:文件信息可查看版本信息的详细信息,包括文件名称、文件大小等,同时可对文件信息进行下载或删除操作。
表九 模型版本概览列表项说明
列表项名称 | 说明 |
---|---|
文件名称 | 数据集版本文件的名称。 |
文件大小 | 文件的大小。 |
更新时间 | 最新更新时间。 |
操作 | 下载:单击下载按钮,文件可以直接通过浏览器下载到本地。 删除:单击删除按钮,删除文件信息。注意:文件信息删除后不可恢复,请谨慎操作。 |
模型版本详情
- 单击模型概览中版本信息名称,进入版本信息详情,通过tab也切换选择详情可查看版本信息详情。详情包括数据集的版本、版本ID、数据路径、创建人、创建时间、最近修改人、修改时间、数据格式、样本数、数据集大小和属性。
- 数据集版本中上传文件:支持上传数据,单击详情右上角上传数据到模型,将文件拖拽到页面对应区域或选择文件可进行数据上传。在上传过程中,在页面右下方可查看文件上传情况和进度。注意:每次上传的总文件大小不超过500MB,单个文件不超过100MB。
模型详情
通过切换tab页选择详情可查看模型数据集基本信息。包括模型名称、模型 ID、模型类型、所有者、创建人、创建时间、最近修改人、修改时间和存储类型。
修改模型名称
在模型页面右上角创建按钮旁边单击按钮,选择重命名模型。在编辑框内修改模型名称后单击确定,需要注意的是,模型的名称在同个schema中不可重复,不同schema中间可以重复。
删除模型
在模型页面右上角创建按钮旁边单击按钮,选择删除模型。注意:删除后数据无法恢复,请谨慎删除。
算子
在元数据中可以查看内置算子和在工作流中使用内置算子。
查看内置算子
在system 数据目录中内置多个算子,单击名为system的数据目录展开可查看当前内置算子。单击具体算子名称可查看对应的算子概览和算子详情。
概览
通过tab切换可查看算子概览信息。包括描述、使用说明和版本列表。
- 描述:关于函数能力的介绍。
- 使用说明:包括函数详细介绍、使用方式说明和数据处理示例。
- 版本列表:介绍算子的版本信息,以列表形式展示。列表可查看版本的详细信息,包括版本号、ID和创建时间等,单击版本号可展开查看版本详情。
表十 版本列表项说明
列表项名称 | 说明 |
---|---|
版本号 | 对应算子的版本号。单击版本号可展开查看版本详情。 |
ID | 算子唯一ID。 |
创建时间 | 创建版本的时间点。 |
修改时间 | 更新该版本算子的时间。 |
版本描述 | 对于版本的描述信息。支持大小写字母、数字、下划线等各种特殊字符,0-150字符。默认查看少量字符,展开后显示全部描述。 |
表十一 版本详情说明
详情项名称 | 说明 |
---|---|
版本号 | 对应算子的版本号。 |
版本ID | 版本的唯一ID。 |
版本描述 | 当前算子版本的描述。展开可查看全部字符。 |
创建时间 | 当前版本创建时间。 |
创建人 | 创建算子的用户。 |
修改时间 | 更新该版本算子的时间。 |
最近修改人 | 修改算子的用户。 |
代码语言 | python。 |
算子代码路径 | 算子代码路径。 |
算子类型 | 类型包含extract、transform、filter、dedup、embedding、others。 |
运行环境 | 当前算子的运行环境。 |
输入参数 | 包括3个字段,key、类型和value。key默认为input,不同算子有不同的类型和value。 |
输出参数 | 包括3个字段,key、类型和value。key默认为output,不同算子有不同的类型和value。 |
运行参数 | 包括4个字段,key、默认值、类型和required。默认值 = 5;类型:Interger;required = true。 |
支持引擎 | 支持运行该算子的引擎,包括Ray、Spark。 |
资源配置 | 支持运行该算子的资源,包括GPU、CPU。 |
表十二 算子说明
算子名称 | 说明 |
---|---|
databuilder_location_loader | 加载数据源路径的数据,目前支持BOS和数据卷方式。BOS路径格式为:bos://bucket_name/path/to/data;数据卷路径格式为:/数据卷s/test/default/data_vol/。 |
exporter | 将数据输出到指定路径,目前支持BOS和数据卷方式。BOS路径格式为:bos://bucket_name/path/to/data;数据卷路径格式为:/数据卷s/test/default/data_vol/。 |
video_info_extractor | 提取视频信息(帧数、高度、宽度、长宽比、帧率、帧率和像素值)。 |
column_filter | 过滤指定数值列中满足条件的行,设置过滤数值列名、表达式运算符、阈值。eg:过滤帧数小于100的视频,filtercol值为num_frames、filter算子值为<、filter_value值为100。 |
video_scene_detector | 检测视频场景边界,输出边界时间列表。 |
video_scene_cutter | 根据场景时间戳分割视频。 |
aesthetic_evaluation | 对视频的美学质量进行打分,采用improved aesthetic predictor模型,其中美学质量越高分数越高。 |
optical_flow_evaluation | 对视频的运动进行打分,采用UniMatch模型,计算视频的光流分数,其中画面运动越多分数越高。 |
ocr_evaluation | 对视频中的文字进行检测,采用DBNet++模型,计算OCR分数。文字越密集的视频,分数越高。 |
pllava_caption | 采用pllava模型对视频进行caption,生成文字描述视频的内容。 |
matching_score | 采用CLIP计算文本和视频之间的匹配分数。 |
video_scanner | 给定一个bos视频路径,可以生成这个路径下所有的视频信息,包括文件名和bos地址。 |
详情
通过tab切换可查看算子详细信息。包括数据目录名称、数据模式名称和创建时间等。
表十三 算子详情信息说明
基本信息项名称 | 说明 |
---|---|
数据目录名称 | 当前算子的数据目录名称。 |
数据模式名称 | 当前算子的数据模式名称。 |
算子名称 | 当前算子的算子名称。 |
算子别名 | 算子其他名称。 |
使用说明 | 当前算子概览的使用说明。 |
创建时间 | 创建当前算子的时间。 |
创建人 | 创建算子的用户。 |
修改时间 | 所有版本的最后修改时间。 |
最近修改人 | 最后修改版本的用户。 |
最新版本 ID | 算子最新版本的ID名。 |
最新版本号 | 算子最新版本号名。 |
分析与AI搜索实例数据目录
分析与AI搜索实例集群创建完成之后,默认在元数据中生成一个分析与AI搜索实例的数据目录,包括数据目录-数据模式-数据表的三层结构。
查询检索数据目录和分析与AI搜索实例是一一对应的,每个分析与AI搜索实例只能对对应对查询检索数据目录进行查询。默认分析与AI搜索实例的数据目录为空,可以查看和更新分析与AI搜索实例的数据目录。
查看分析与AI搜索实例数据目录
单击数据目录名称,右侧查看分析与AI搜索实例的数据模式详情,详情可查看数据目录的描述信息等。
注意:在元数据模块,不支持修改分析与AI搜索实例的数据目录,包括重命名和删除。
表十四 分析与AI搜索实例数据目录详情列表说明
列表项 | 说明 |
---|---|
数据目录名称 | 当前数据目录的名称。 |
创建时间 | 创建当前数据目录的时间。 |
创建人 | 创建当前数据目录的用户名。 |
存储路径 | BOS存储路径。 |
数据表个数 | 当前数据目录下数据表的个数。 |
数据目录类型 | 分析与AI搜索实例-Doris 数据目录。 |
分析与AI搜索实例名称 | 当前数据目录的分析与AI搜索实例名称。 |
分析与AI搜索实例ID | 当前数据目录的分析与AI搜索实例id。 |
分析与AI搜索实例的数据模式
支持在分析与AI搜索实例的数据目录中创建数据模式。
创建分析与AI搜索实例的数据模式
在数据目录详情页面右上角单击创建数据模式按钮,填写创建数据模式配置项,填写完成后单击确定按钮。
表十五 创建数据模式配置项
配置项名称 | 说明 |
---|---|
数据模式名称 | 填写数据模式名称,支持输入大小写字母、数字、下划线,必须以字母开头,长度1- 64。注意:数据模式名称在 数据目录中不可重复。 |
描述 | 填写数据模式描述。 |
查看分析与AI搜索实例的数据模式
创建完成的数据模式在左侧数据目录树中展示,单击数据模式名称右侧展示对应数据模式的详细内容,包括描述和基本信息,支持对描述进行编辑修改。
表十六 数据模式详情说明
基本信息项 | 说明 |
---|---|
数据目录名称 | 当前数据模式数据目录的名称。 |
数据模式名称 | 当前数据模式的名称。 |
数据表个数 | 分析与AI搜索实例的数据模式中发数据表的数量。 |
重命名分析与AI搜索实例的数据模式
单击数据表页面右上角更多按钮,单击修改名称后在编辑框修改数据模式名称,修改完成确定。
需要注意的是,数据模式的名称在 数据目录中不可重复。
删除分析与AI搜索实例的数据模式
在数据模式详情页选择更多按钮,单击删除后系统会进行弹窗确认,确认无误后确定,数据模式删除完毕。
注意:数据模式下有数据表的情况,数据模式不支持删除。数据模式删除后无法恢复,请谨慎操作。
分析与AI搜索实例的数据表
支持用户查看、修改和删除分析与AI搜索实例的数据表。
查看分析与AI搜索实例数据表
在左侧数据目录树选择数据表后,右侧展示数据表的详细内容,可以通过tab页查看概览/详情。
概览
- 通过tab页选择概览,查看表的字段信息,包括表的字段名称、字段类型和字段描述。
- 支持对描述进行编辑修改,单击编辑按钮即可编辑。
- 支持通过字段名称进行查询检索列表。
详情
通过tab页选择详情,查看数据表详情。包括表名称、创建时间等。
表十七 数据表详情列表说明
列表项 | 说明 |
---|---|
数据目录名称 | 数据目录的名称,用来识别数据目录的唯一性。 |
数据模式名称 | 数据模式的名称,用来识别数据模式的唯一性。 |
数据表名称 | 分析与AI搜索实例的数据表的名称。 |
表类型 | Managed。 |
数据源格式 | Doris内表。 |
创建时间 | 创建数据表的时间。 |
重命名分析与AI搜索实例的数据表
单击数据表页面右上角更多按钮,单击修改名称后在编辑框修改表名称,修改完成确定。
需要注意的是,数据表的名称在同个分析与AI搜索实例的数据模式中不可重复,不同数据模式中可以重复。
删除分析与AI搜索实例的数据表
单击数据表页面右上角更多按钮,单击删除后系统会进行弹窗确认,确认无误后确定,数据表删除完毕。
注意:数据表删除后无法恢复,请谨慎操作。
数据源
DataBuilder提供统一的数据源管理功能,帮助用户高效、安全地连接和管理多种异构数据源,以便后续进行数据同步,实现企业多源异构数据源的数据汇聚。
创建数据源
- 在元数据页面在目录列表上方单击添加按钮,选择创建数据源。
- 选择创建数据源的类型(关系型数据库:MySQL/Oracle/SQLServer/PostgreSQL/HANA,半结构化存储:SFTP/FTP/HDFS)完成后单击下一步去建立连接。
- 根据需要填写配置项,然后确定数据源创建成功。
数据源文档
表十八 新建MySQL/SOLSever/PostgreSQL/HANA数据源配置项说明
配置项名称 | 说明 |
---|---|
名称 | 输入数据源名称,支持中文、英文字母、数字、下划线、中划线,长度不超过32字符。 |
描述 | 输入数据源描述,长度为1~1024个字符。 |
主机 | 输入主机名,长度为1~128个字符。 |
端口 | 输入端口名,长度为1~32个字符。 |
数据库名称 | 输入数据库名称。 |
用户名 | 输入用户名,长度为1~128个字符。 |
密码 | 输入用户名密码,长度为1~128个字符。 |
版本 | MySQL当前支持mysql5、mysql8;SOLSever支持sqlserver2016;PostgreSQL、HANA无需配置版本。 |
连通测试 | 展示源连接与集成实例,点击可测试连通性。如没有,支持单击前往创建去创建计算实例。 |
表十九 新建Oracle数据源配置项说明
配置项名称 | 说明 |
---|---|
名称 | 输入数据源名称,支持中文、英文字母、数字、下划线、中划线,长度不超过32字符。 |
描述 | 输入数据源描述,长度为1~1024个字符。 |
主机 | 输入主机名,长度为1~128个字符。 |
端口 | 输入端口名,长度为1~32个字符。 |
用户名 | 输入用户名,长度为1~128个字符。 |
密码 | 输入用户名密码,长度为1~128个字符。 |
版本 | 当前支持oracle11g。 |
连接类型 | 可选SID、Service Name。 |
SID/Service Name | 根据所选连接类型,输入SID或Service Name,长度为1~128个字符。 |
连通测试 | 展示源连接与集成实例,点击可测试连通性。如没有,支持单击前往创建去创建计算实例。 |
表二十 新建SFTP/FTP数据源配置项说明
配置项名称 | 说明 |
---|---|
名称 | 输入数据源名称,支持中文、英文字母、数字、下划线、中划线,长度不超过32字符。 |
描述 | 输入数据源描述,长度为1~1024个字符。 |
主机 | 输入主机名,长度为1~128个字符。 |
端口 | 输入端口名,长度为1~32个字符。 |
用户名 | 输入用户名,长度为1~128个字符。 |
密码 | 输入用户名密码,长度为1~128个字符。 |
连通测试 | 展示源连接与集成实例,点击可测试连通性,如没有支持单击前往创建去创建计算实例。 |
表二十一 新建HDFS数据源配置项说明
配置项名称 | 说明 |
---|---|
名称 | 输入数据源名称,支持中文、英文字母、数字、下划线、中划线,长度不超过32字符。 |
描述 | 输入数据源描述,长度为1~1024个字符。 |
defaultFS | 输入defaultFS,长度为1~256个字符。 |
hdfs_site_path | 指定HDFS的hdfs-site.xml配置文件地址。 |
认证方式 | 无认证、Kerberos认证(即将支持) |
连通测试 | 展示源连接与集成实例,点击可测试连通性,如没有支持单击前往创建去创建计算实例。 |
数据源列表
创建成功的数据源以列表形式展示,单击数据源名称可进入详情页面,列表支持按照数据源类型进行筛选,同时可以通过创建时间对列表进行排序。
表二十二 数据源列表说明
列表项名称 | 说明 |
---|---|
名称 | 数据源名称。 |
数据源类型 | MYSQL/Oracle/SQLServer/PostgreSQL/HANA/SFTP/FTP/HDFS,列表支持按照数据源类型进行筛选。 |
创建时间 | 创建数据源的时间。 |
描述 | 数据源描述。 |
操作 | 在操作列可以对数据源进行不同操作。 |
数据源详情
单击数据源名称,进入数据源详情,可以查看数据源详细基本信息和数据源权限管理。在此页面单击右上角创建按钮可分别跳转创建文件离线采集和库表离线采集页面,创建对应任务。
详情
通过tab切换选择查看数据源详情,详情可查看数据源相关描述和数据源基本信息,基本信息包括数据源类型、主机和端口。 同时,详情页面右上角支持对数据源的编辑和删除。
- 编辑:单击编辑按钮,重新编辑数据源信息,完成后单击确定按钮。
- 删除:单击删除按钮,可删除数据源。注意:数据源删除后不可恢复,请您谨慎操作。
权限管理
通过tab切换选择查看数据源权限管理,支持按照主体名称进行搜索。列表可查看主体名称和主体权限,选择具体主体可对主体进行授权或者取消授权。