概述

在百舸异构计算平台提交分布式训练任务时，您可以通过存储挂载的方式将云存储（BOS、CFS、PFS、RapidFS）挂载到训练容器中，从而在训练过程中直接读写存储中的数据。本文介绍如何在百舸训练任务中配置并使用 BOS、CFS、PFS 和 RapidFS 存储挂载。

前提条件

• 已登录 百舸异构计算平台。
• 已创建资源池和队列。

• 已准备对应的云存储实例：

  • PFS：已创建 PFS 实例和挂载服务，并将挂载服务绑定到资源池。请参考 创建 PFS 和 创建挂载服务。
  • CFS：已创建 CFS 文件系统，并已获取 CFS 挂载地址。请参考 创建文件系统。
  • BOS：已创建 BOS 存储桶。请参考 创建存储桶。
  • RapidFS：已创建 RapidFS 实例和数据源。请参考 创建 RapidFS 实例。

使用 PFS 存储

并行文件存储 PFS 是百舸平台训练任务的 推荐存储方案，提供最高性能的文件访问能力。

确认 PFS 实例已关联资源池

1. 在控制台导航中选择 AI计算资源->全托管资源池，进入资源池列表页面。
2. 选择目标资源池名称，进入资源池详情页面。
3. 在 存储挂载 区域，确认已关联目标 PFS 实例的挂载服务。若未关联，请参考 创建挂载服务 完成绑定。

在训练任务中配置 PFS 存储挂载

1. 在控制台导航中选择 大规模训练与推理->分布式训练，进入分布式训练任务列表页面。
2. 单击 【创建任务】，进入任务创建页面。
3. 完成 基本信息、环境信息 和 资源配置 后，在 资源配置 区域查看 存储类型 配置项。
4. 单击 【添加存储挂载】，配置 PFS 存储挂载：

参数	必填	说明
存储类型	是	选择 并行文件存储PFS。
文件系统	是	从下拉框中选择已绑定到资源池的 PFS 实例。
源路径	是	填写 PFS 中已存在的目录路径，不建议以根目录 / 挂载。
挂载路径	是	填写训练容器内的挂载路径，执行命令中的数据路径需与该路径对应，推荐配置在 /mnt/pfs/ 目录下。
权限	否	默认读写，勾选 只读 后无法在挂载路径下创建或修改文件。

使用 BOS 存储

对象存储 BOS 适合海量数据的长期存储和分发，在百舸训练任务中支持通过挂载方式访问 BOS 数据。BOS 存储挂载基于 bosfs2.0 实现。

在训练任务中配置 BOS 存储挂载

1. 在控制台导航中选择 大规模训练与推理->分布式训练，进入分布式训练任务列表页面。
2. 单击 【创建任务】，进入任务创建页面。
3. 完成 基本信息 和 环境信息 后，在 资源配置 区域查看 存储类型 配置项。
4. 单击 【添加存储挂载】，在 存储类型 中选择 BOS，并按需配置 BOS 存储挂载。

参数	必填	说明
存储类型	是	选择 BOS。
BOS存储路径	是	选择需要挂载到训练任务中的 BOS 存储桶和源路径。
挂载路径	是	填写训练容器内的挂载路径，推荐配置在 /mnt/bos/ 目录下。
权限	否	默认读写，勾选 只读 后无法在挂载路径下创建或修改文件。

BOS 挂载使用限制

• 文件读取限制：新写入的文件必须在文件关闭后才会完全上传到 BOS。如果读取正在顺序写入且尚未关闭的文件，可能导致报错。（支持随机写的小文件不受限制）
• 重命名目录相关请求不保证原子性，在正在执行 mv 的目录下创建文件，可能导致文件仍保留在原始目录下。
• 多个客户端访问同一个或多个挂载点时，数据一致性需由使用侧维护，可能出现多端数据不一致情况。

更多信息请参考 bosfs2.0。

使用 CFS 存储

文件存储 CFS 提供 POSIX 兼容的文件访问接口，支持多读多写，适合需要文件共享但性能要求不如 PFS 的场景。

参数	必填	说明
存储类型	是	选择 CFS。
CFS 挂载点	是	选择已创建的 CFS 文件系统挂载点地址（CFS Server）。
源路径	是	填写 CFS 文件系统中的源目录路径。
挂载路径	是	填写训练容器内的挂载路径，推荐配置在 /mnt/cfs/ 目录下。
权限	否	默认读写，勾选 只读 后无法在挂载路径下创建或修改文件。

使用 RapidFS 存储

参数	必填	说明
存储类型	是	选择 RapidFS。
RapidFS 实例	是	选择需要挂载到训练任务中的 RapidFS 实例。
数据源	是	选择 RapidFS 实例的数据源。
挂载路径	是	填写训练容器内的挂载路径，推荐配置在 /mnt/rapidfs/ 目录下。

使用限制

• 通过 RapidFS 读写文件时，避免对单个文件进行边读边写操作，否则会对性能产生较大影响。
• 通过 RapidFS 写入的文件，只能在文件 flush 后才能被读取。
• 多个客户端写入同一个文件时，只会有一个客户端写入成功，其他客户端会写入失败。