新建数据集
更新时间:2024-06-13
您可以新建一个数据集,数据集是逻辑上相关的一组数据的集合,可以被容器引擎使用。
创建数据集会同时创建Dataset与Runtime两种资源,Dataset为数据源配置,Runtime为后端的加速引擎,两者都成功创建后数据集进入到加速状态并创建一个加速PVC可被Pod挂载使用。
前提条件
- 您已成功创建一个Kubernetes集群,详情请见创建集群。
- 您已成功安装CCE Fluid组件,否则此功能将无法使用。
- 若在Runtime配置部分选择PFS类型,请先安装“CCE CSI PFS Plugin"或“CCE ROCE CSI PFS Plugin"组件。
操作步骤
- 登录百度智能云官网,并进入管理控制台。
- 选择“产品服务 > 云原生 > 容器引擎 CCE”,单击进入容器引擎管理控制台。
- 单击左侧导航栏中的集群管理 > 集群列表。
- 在集群列表页面中,单击目标集群名称进入集群管理页面。
- 在集群管理页面单击云原生AI > 数据集。
- 在数据集管理单击新建数据集。
- 在新建数据集页面中,完成数据集基本信息及数据源配置:
- 数据集名称:自定义队名名称,长度为1-65个字符,只能包含数字、英文小写字母和“-”,且不能以“-”开头或结尾。
- 命名空间:选择集群中已有的命名空间。
-
数据源:选择数据源类型、数据源位置,同时添加相关访问配置。其中数据源类型可选择“PVC”、“BOS”或“其他”。
注意:此处默认的Runtime配置类型为RapidFS,若需要Alluxio类型Runtime,请在下方Runtime类型中选择,同时在此处指定如下信息:
- 完成调度信息配置(非必填):
- 节点亲和性:为数据集指定podAffinity。
- 容忍设置:为数据集指定podAntiAffinity。
- 完成Runtime配置。
- Runtime类型:为Runtime指定类型,目前支持“RapidFS”、“Alluxio”和”PFS“三种类型。若选择PFS类型,请先安装“CCE CSI PFS Plugin"或“CCE ROCE CSI PFS Plugin"组件。
- 实例副本数:为Runtime指定replicas。
- 存储配置:为Runtime指定tieredstore,同时可添加多层级。
- 点击“创建”按钮,完成数据集的新建。
-
若以上配置不足以满足您对资源的配置要求,您也可以选择使用YAML进行数据集创建。
注意:
若您已经在前端页面已添加了部分配置,将根据界面已选配置生成YAML,您可自定义参数并提交创建数据集。
每次打开编辑器都将重新生成参数,若需保存已编辑内容,请复制到剪切板。