将 Conda 和 Pip 包持久化存储至 PFS
更新时间：2025-12-30
云上的AI开发环境中，您可能经常通过 conda install 或 pip install 安装 Python 依赖包。直接在容器内安装，这些包会写入容器的可写层，导致以下问题：
- 镜像过大：提交镜像时包含大量临时文件和缓存；
- 环境不可复现：新开发机实例启动后需重新安装依赖；
- 资源浪费：重复下载相同包，浪费时间和网络开销。
本文将为您介绍在百舸平台使用开发机时，如何通过挂载PFS或数据集实现 Conda 开发工具的持久化，开发环境快速复用与迁移。
PFS目录结构规范
挂载目录规范命名，保持一致，如使用/mnt/pfs/<project>/<user>
在 PFS 上安装Conda
创建开发机
- 使用预置的镜像创建开发机，如选择镜像
registry.baidubce.com/inference/aibox-pytorch:v1.0-torch2.7.1-cu12.8 - 添加存储挂载，挂载 PFS，设置目标路径为
/mnt/pfs/project1 - 通过 WebIDE 登录使用开发机
安装 Miniconda 到 PFS
Plain Text
1# 进入 pfs 挂载目录，创建 conda 安装目录
2cd /mnt/pfs/project1 & mkdir -p user1/conda
3# 获取安装脚本
4wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh
5# 安装
6bash Miniconda3-latest-Linux-x86_64.sh -b -p /mnt/pfs/project1/user1/conda/miniconda初始化 Conda
Plain Text
1source /mnt/pfs/project1/user1/conda/miniconda/etc/profile.d/conda.sh验证 Conda 安装
Plain Text
1conda info | grep 'root prefix'
2# 期望输出
3# root prefix : /mnt/pfs/project1/user1/conda/miniconda创建开发环境
Plain Text
1conda create -n py310 python=3.10 -y
2# 默认路径
3# /mnt/pfs/project1/user1/conda/miniconda/envs/py310
4# 激活环境
5conda activate py310
6
7# 根据需求安装一些需要的环境
8pip install numpy -i http://mirrors.baidubce.com/pypi/simple/ --trusted-host mirrors.baidubce.com
9pip install torch -i http://mirrors.baidubce.com/pypi/simple/ --trusted-host mirrors.baidubce.com通过挂载 PFS 使用开发环境
创建开发机或者训练任务挂载 PFS，目标路径 /mnt/pfs/project1。
注意
- 镜像选择需要与之前操作安装的开发机镜像同架构（x86_64），且必须包含
glibc以及/bin/bash - PFS 挂载路径需要和之前安装 Conda 时的开发机 PFS挂载路径一致
在开发机中使用
通过 WebIDE 或者 SSH 登录，开启 Terminal 执行
Plain Text
1# 初始化 conda
2source /mnt/pfs/project1/user1/conda/miniconda/etc/profile.d/conda.sh
3# 激活环境
4conda activate py310
5# 查看之前安装的包
6pip show torch在训练任务中使用
在 <执行命令> 处设置启动命令
Plain Text
1# 初始化 conda
2source /mnt/pfs/project1/user1/conda/miniconda/etc/profile.d/conda.sh
3# 激活环境
4conda activate py310
5# 后续添加训练任务命令等
6# ...