将 Conda 和 Pip 包持久化存储至 PFS
更新时间：2026-10-10
概述
本文档介绍在百舸平台使用开发机时，如何通过挂载 PFS 或数据集实现 Conda 开发工具的持久化，支持开发环境快速复用与迁移。
在云上的 AI 开发环境中，您可能经常通过 conda install 或 pip install 安装 Python 依赖包。直接在容器内安装时，这些包会写入容器的可写层，导致以下问题：
- 镜像过大：提交镜像时包含大量临时文件和缓存；
- 环境不可复现：新开发机实例启动后需重新安装依赖；
- 资源浪费：重复下载相同包，浪费时间和网络开销。
前提条件
- 已具备使用百度百舸 AI 计算平台的权限，并可进入目标地域的 百度百舸 AI 计算平台->大规模训练与推理->开发机 和 百度百舸 AI 计算平台->大规模训练与推理->分布式训练 页面。
- 目标地域已存在可用资源队列、资源规格和可挂载的 PFS 存储。
- 若创建实例时无法选择 资源队列 或 存储挂载，请先完成资源池、资源队列和 PFS 存储准备后再继续。## PFS 目录结构规范
挂载目录建议采用统一规范命名并保持一致，可采用 /mnt/pfs/<project>/<user> 格式。
在 PFS 上安装 Conda
创建开发机
- 登录百度百舸 AI 计算平台，进入 百度百舸 AI 计算平台->大规模训练与推理->开发机。
- 单击 【创建实例】，进入创建实例页面。
- 按需配置开发机参数。
| 参数 | 必填 | 说明 |
|---|---|---|
| 资源队列 | 是 | 选择目标地域下可用于开发机的资源队列。 |
| 资源规格 | 是 | 选择满足开发环境运行需求的资源规格。 |
| 镜像地址 | 是 | 选择与后续复用场景同架构、且包含 glibc 和 /bin/bash 的镜像。 |
| 存储挂载 | 是 | 添加 PFS 挂载，并将目标路径设置为 /mnt/pfs/project1。 |
| 访问配置 | 是 | 保留 WebIDE 服务访问配置，便于后续登录开发机。 |
- 提交创建后，通过 WebIDE 登录开发机。
安装 Miniconda 到 PFS
Bash
1# 进入 PFS 挂载目录，创建 Conda 安装目录
2cd /mnt/pfs/project1
3mkdir -p user1/conda
4
5# 获取安装脚本
6wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh
7
8# 安装
9bash Miniconda3-latest-Linux-x86_64.sh -b -p /mnt/pfs/project1/user1/conda/miniconda初始化 Conda
Bash
1source /mnt/pfs/project1/user1/conda/miniconda/etc/profile.d/conda.sh验证 Conda 安装
Bash
1conda info | grep 'root prefix'
2# 期望输出：
3# root prefix : /mnt/pfs/project1/user1/conda/miniconda创建开发环境
Bash
1conda create -n py310 python=3.10 -y
2
3# 默认路径：
4# /mnt/pfs/project1/user1/conda/miniconda/envs/py310
5
6# 激活环境
7conda activate py310
8
9# 根据需求安装环境依赖
10pip install numpy -i http://mirrors.baidubce.com/pypi/simple/ --trusted-host mirrors.baidubce.com
11pip install torch -i http://mirrors.baidubce.com/pypi/simple/ --trusted-host mirrors.baidubce.com通过挂载 PFS 使用开发环境
创建开发机或训练任务时挂载同一 PFS，目标路径使用 /mnt/pfs/project1。
注意：
- 镜像选择需要与之前操作安装的开发机镜像同架构（x86_64），且必须包含
glibc以及/bin/bash。 - PFS 挂载路径需要和之前安装 Conda 时的开发机 PFS 挂载路径一致。
在开发机中使用
进入 百度百舸 AI 计算平台->大规模训练与推理->开发机，创建或打开已挂载 PFS 的开发机。创建开发机时，在 存储挂载 中选择同一 PFS，并将目标路径设置为 /mnt/pfs/project1。
通过 WebIDE 或 SSH 登录开发机，打开 Terminal 执行：
Bash
1# 初始化 Conda
2source /mnt/pfs/project1/user1/conda/miniconda/etc/profile.d/conda.sh
3
4# 激活环境
5conda activate py310
6
7# 查看之前安装的包
8pip show torch在训练任务中使用
进入 百度百舸 AI 计算平台->大规模训练与推理->分布式训练，单击 【创建任务】。创建训练任务时，选择与安装 Conda 时同架构且包含 glibc 和 /bin/bash 的镜像，并挂载同一 PFS，目标路径设置为 /mnt/pfs/project1。
在 执行命令 中填写启动命令：
Bash
1# 初始化 Conda
2source /mnt/pfs/project1/user1/conda/miniconda/etc/profile.d/conda.sh
3
4# 激活环境
5conda activate py310
6
7# 后续添加训练任务命令等
8# ...评价此篇文章