组件介绍

CCE Fluid是一个开源的Kubernetes原生的分布式数据集编排和加速引擎，主要服务于云原生场景下的数据密集型应用，例如大数据应用、AI应用等。

组件功能

• 数据集抽象
• 数据预热与加速
• 数据应用协同编排
• 多命名空间支持
• 异构数据源管理

使用场景

通过在使用数据集来创建AI训练任务，以提升数据访问速度加速机器学习训练

限制说明

• 支持v1.16版本以上的Kubernetes集群。

安装组件

1. 登录百度智能云官网，并进入管理控制台。
2. 选择“产品服务 > 云原生 > 容器引擎 CCE”，单击进入容器引擎管理控制台。
3. 单击左侧导航栏中的集群管理 > 集群列表。
4. 在集群列表页面中，单击目标集群名称进入集群管理页面。
5. 在集群管理页面单击组件管理。
6. 在组件管理列表中选择Fluid组件，点击“安装”按钮完成组件的安装。

组件涉及基本概念

• Dataset：用于定义一组数据集，声明原始数据源的配置。

• Runtime：具体数据集存储引擎的实现，目前CCE支持以下两种Runtime：

  • RapidFSRuntime 百度自研存储引擎
  • AlluxioRuntime 开源存储引擎

组件使用-使用 RapidFS 加速 BOS 数据访问

1.创建BOS Bucket：需要创建一个存放原始数据的BOS Bucket并将训练数据上传到该Bucket中，建议将BOS创建在与计算节点相同地域以获得最佳访问速度。

2.创建数据集：数据源配置

配置字段	说明
数据源名称	用于标识此数据源在这个数据集中的唯一名称，必填非空
数据源挂载 UFS 路径	数据源的BOS路径，格式为/<子路径>。例如 ： 1.mybucket/subdir ：使用mybucket下subdir子路径； 2.mybucket：使用 mybucket 整个根路径
数据源挂载路径	该数据源在此数据集下的子路径，如/subpath 。选填，如留空则使用数据源名称作为子路径
访问配置：endpoint	BOS访问Endpoint，如bj.bcebos.com， 可参考 获取访问域名
访问配置：accessKeyId	用于BOS访问accessKeyId
访问配置：accessKeySecret	用于BOS访问accessKeySeret

3.创建数据集：调度配置（可选）

创建数据集还可额外配置其容忍与亲和性策略，以将数据调度到指定的计算节点，当数据集与训练任务调度在相同节点时可获得最佳访问速度。

4.创建数据集：Runtime 配置

配置字段	说明
Runtime 类型	存储引擎，目前支持自研RapidFS、开源存储引擎Alluxio和PFS
实例副本数	存储集群保存加速缓存的副本数量
存储类型	缓存介质类型，支持MEM/SSD/HDD，速度优先级依次递减
存储路径	存储引擎在节点上放置缓存的路径，选择内存缓存MEM时，可填入/dev/shm，选择 SSD/HDD时，可填入/mnt/diskx，具体路径取决于节点虚机的数据盘挂载路径用户可自行指定
存储配额	缓存的最大配额
预留空间比例	缓存驱逐的上下限比例，当使用缓存到达配额的上限比例时，存储引擎会执行数据驱逐操作，根据数据访问情况驱逐非热点数据

5.使用数据集：数据集创建成功后，可在“云原生AI> 任务管理>创建任务>数据配置”中选择数据集以在训练任务中挂载使用，数据集创建成功后也会自动在集群中创建一个同名PVC，也可在创建工作负载时直接使用该PVC挂载。

版本记录

版本号	适配集群版本	变更时间	变更内容	影响
v0.1.7	CCE v1.16+	2023.11.17	fluid组件支持kubelet多路径配置 升级gcc12 新增rfsmount性能监控相关指标 修复rfsmount高并发rename发生目录死锁的问题 修复rfsmount sed -i丢失ACL权限的问题 修复rfsmount readdir无法显示正在写的文件最新长度的问题 修复rfsmount在master 0切主期间极小概率refresh master异常、出现挂载点不可用的问题 fuse指定多个master endpoints来启动	此次升级不会对业务造成影响。