数据卷
数据卷为元数据中的第三层对象,用于管理非结构化数据。用户可在数据模式中创建数据卷,并对卷内文件进行上传、搜索、预览、下载、移动和删除等操作。
创建数据卷
- 登录百度胜算控制台,在选中的工作空间操作列单击打开按钮,进入工作空间。
- 侧边导航选择元数据,进入元数据后在数据目录树上单击要创建数据卷的数据模式名称,在详情页面右上方单击立即创建>创建数据卷按钮。
- 系统跳出创建数据卷页面,在创建页面填写对应配置项,填写完成确定。
- 创建完成的数据卷在左侧数据目录树展示,单击名称可查看数据卷详情。
表1 创建数据卷配置项说明
| 配置项名称 | 说明 |
|---|---|
| 数据卷名称 | 输入数据卷名称,必填。支持输入 大小写字母、数字、下划线,1-64字符。 注意:数据卷名称在数据模式中不可重复。 |
| 数据卷类型 | 两种类型可选,内部数据卷 或外部数据卷。 内部数据卷 会在元存储对应的路径下统一管理;外部数据卷为挂载形式,支持用户将其他BOS路径上的数据挂载到百度胜算。 |
| Bos路径 | 在选择外部数据卷的需要填写对应的BOS存储路径。 注意:BOS路径需要和工作空间在同一个地域。 |
| AccessKey | 在选择 外部数据卷的需要填写 AccessKey。 |
| SecretKey | 在选择 外部数据卷的需要填写 SecretKey 。 |
| 描述 | 填写数据卷描述。支持输入大小写字母、数字、下划线等各种特殊字符,0-150字符。 |
查看数据卷
左侧数据目录树选择数据卷后,右侧展示数据卷的详细内容,可以通过单击切换查看概览或详情。
数据卷概览
概览页面展示数据卷描述、文件路径和文件列表。单击描述旁的编辑按钮,可修改数据卷描述。文件信息区域支持复制路径、搜索、预览、下载、批量下载、移动和批量删除操作。
搜索文件/文件夹
在数据卷详情的概览页面,文件信息区域的搜索框支持在当前路径下搜索文件或文件夹,需要具有该数据卷的读取权限。
搜索框左侧的下拉选择器支持切换搜索模式,默认为前缀搜索,切换模式后自动按新模式重新执行搜索。
表2 搜索模式说明
| 搜索模式 | 说明 |
|---|---|
| 前缀搜索 | 按文件名前缀匹配,返回当前路径下前缀匹配的文件列表,输入内容变化时实时触发搜索。 |
| 模糊搜索 | 在当前路径已加载的对象中进行包含匹配,最多支持1000个对象。 |
注意:搜索仅针对当前路径下的文件和文件夹,不递归搜索子目录。
下载文件
支持单个文件下载和批量下载。单个文件可点击文件右侧的下载按钮,批量下载操作如下:
- 勾选一个或多个文件、文件夹。
- 单击文件列表右上角批量下载按钮。
- 系统将所选内容打包为ZIP文件并通过浏览器下载。
勾选文件夹时,系统递归下载文件夹中的全部文件,并在ZIP包中保留原有目录结构。
删除文件
支持单个文件删除和批量删除。单个文件可点击文件右侧的删除按钮,批量删除操作如下:
- 勾选一个或多个文件、文件夹。
- 单击文件列表右上角批量删除按钮。
- 在确认对话框中核对待删除内容。
- 确认无误后单击删除;如需放弃操作,单击取消。
注意:删除后的文件和文件夹无法恢复,请谨慎操作。
移动文件
在数据卷详情的概览页面,单击文件列表操作列的移动按钮,填写配置项后单击确定即可。移动操作需要具有源数据卷的管理权限,仅支持单个文件移动。
表3 移动文件配置项说明
| 配置项名称 | 说明 |
|---|---|
| 名称 | 展示当前移动的文件名称,只读不可编辑。 |
| 数据卷路径 | 必填。支持输入或选择目标数据卷路径,可选择其他数据卷,实现跨数据卷移动。 |
注意:
- 目标路径下存在同名文件或文件夹时不支持移动;
- 无目标路径数据卷的写入权限时不支持移动;
- 目标路径不存在或源文件已被删除时,移动失败。
预览文件
在数据卷概览页面,单击文件列表操作列中的预览按钮,可在线查看文件内容。预览页面右上角支持复制文件路径和下载文件。
表3 文件预览方式说明
| 文件类型 | 支持格式 | 预览方式 |
|---|---|---|
| 文本类 | .aln、.bed、.bedGraph、.bedpe、.bb、.csv、.fa、.faa、.fasta、.fastq、.fna、.fq、.gff、.gff3、.gtf、.json、.log、.md、.mtx、.mzML、.mzXML、.narrowPeak、.sam、.sky、.tsv、.txt、.vcf、.xml、.yaml/.yml | 按照原文本内容展示,仅预览文件前1MB的内容。文件超过1MB时截断展示,并提示“文件过大,仅展示前1MB的内容,完整内容请下载后查看”。 |
| 树状图 | .nwk、.treefile | 解析文件内容并渲染为树图,用于查看系统发育关系。 |
| HTML报告 | .html | 在预览页面渲染并展示HTML报告内容。 |
| 图片 | .bmp、.gif、.jpeg/.jpg、.png、.svg、.tif/.tiff、.webp | 按照图片预览方式展示。 |
| 按照PDF预览方式展示。 |
对于不支持在线预览的二进制文件、压缩文件或其他格式,可下载完整文件后查看。
上传文件
- 在数据卷页面右上方单击上传数据到数据卷 按钮,将文件夹或多个文件拖到对应区域或者单击点击上传按钮后,上传对应文件。
- 在上传过程中,在页面右下方可查看文件上传情况和进度。
注意:
- ⽬标数据⽬录下如果存在同名⽂件,将被新上传的⽂件覆盖。
- 每次上传的总文件大小不超过5GB,单个文件不超过5GB;每次最多上传100个文件。
数据卷详情
详情页面可查看关于数据卷的详细信息,包括创建人、创建信息等。
权限管理
通过切换tab页选择权限管理,可在权限管理页面查看当前数据卷的用户。通过单击授权或撤销可对用户进行授权和取消权限操作,支持通过主体名称进行搜索。
数据血缘
在数据卷详情页,通过Tab切换进入数据血缘页面,可查看该表的上下游关联关系;支持按时间范围筛选,并通过关联对象名称进行快速搜索,也可按上下游、对象类型、最近活跃时间进行多维度筛选。单击右上角查看血缘图谱,可跳转至可视化血缘视图页面,查看完整的数据血缘图谱。具体详情,可参见数据血缘文档。
数据质量
在数据卷详细信息页面通过tab切换选择数据质量,查看详细信息。单击右上角查看配置规则可查看该对象的规则管理,详见规则管理。
- 卷质量通过率
当日运行成功的质量规则数中未告警的质量规则占比,同时支持查看各维度通过率。
- 异常规则数
异常规则数即当日最新告警等级为提示、严重、警告的规则数。
- 规则校验明细
记录每条规则当日最新运行状态和告警等级,按列表查看。支持通过规则名称或对象名称对列表进行筛选。
修改数据卷名称
数据卷的名称支持修改,在数据卷详情界面右上角更多按钮展开后单击重命名数据卷按钮,输入新的数据卷名称后确定即可。注意:新名称在数据模式中不可重复。
删除数据卷
在数据卷详情界面右上角更多按钮展开后单击删除数据卷按钮,系统会弹出提示框,确认无误后单击确定,数据卷删除成功。
注意:删除后的数据卷无法恢复,请您谨慎操作。
评价此篇文章
