简介:在大模型微调场景中,显存优化方案的选择会直接影响训练稳定性、显存占用与故障排查成本。本文围绕"仅分片优化器状态与梯度"和"参数、梯度、优化器状态全部分片"两类方案展开对比,并结合实践中真实出现的进程被强制终止(内存不足)与段错误(运行时版本不兼容)两类典型故障,系统分析它们的相同点、核心差异、适用场景与选型依据,帮助读者在有限显存、训练速度与稳定性之间做出合理权衡。
在大模型微调场景中,随着模型参数量增长,单张加速卡的显存往往无法容纳”完整参数 + 梯度 + 优化器状态”的全部训练状态。分布式训练因此需要引入显存优化分片方案。实践中有一个常见现象:不少团队最初默认使用”全分片方案”(参数、梯度、优化器状态均按卡切分),看到有经验分享称”显存足够时优先选用参数不分片的方案”后,便想在微调场景里做一组控制变量实验,比较两类方案对训练稳定性与速度的影响。
这类实验非常有价值,因为分片策略的差异不仅体现在显存占用上,还会间接影响 checkpoint 保存时的内存峰值、通信开销以及故障出现的形态。本文正是在一次从”全分片”切换到”参数不分片”的实验中,遇到两类典型错误(返回码 -9 与 -11)后,引申出的方案对比与排查总结。
本文对比的是同一训练流程下两种显存优化分片策略,二者都属于”将分布式数据并行中的冗余状态在多卡间切分”的技术思路:
需要先明确的是,这两类方案并非”新旧替代”关系,而是同一技术谱系中分片粒度不同的两个层级,选择哪一类取决于显存预算、模型规模与对训练速度的要求。
在深入差异之前,先看它们的共同基础:
这是最直接的差异。方案B把参数也切分到各卡,每卡参数约为 1/N,因此在超大参数模型下优势明显;方案A每卡都保存完整参数,显存占用随模型规模线性增长,对中等规模模型更友好,但对超大模型容易在参数本身就爆显存。
方案A因每卡已有完整参数,前向反向时不需要临时聚合参数,通信次数更少,单步训练往往更快;方案B在每次前向/反向时都要按需 all-gather 参数、计算后再释放,通信量更大,速度相对慢一些。这解释了为何”显存充足时优先用方案A”的经验:在显存不是瓶颈时,用速度换显存并不划算。
这是本次实践中踩坑最深的一点。在保存 checkpoint 时,训练框架通常需要在主机内存(CPU 内存)中构造一份完整的模型权重副本,再序列化落盘。
因此,”报错稳定出现在保存 checkpoint 时刻”这一现象,本质上提示了是主机内存而非显存问题——因为显存 OOM 通常伴随更详细的显存相关堆栈,而返回码 -9 更多是进程被内核的 OOM 机制强制杀死。
两类方案在故障暴露上也有区别,可从下面两类典型错误的对比来理解。
| 维度 | 返回码 -9(进程被强制终止) | 返回码 -11(段错误 SIGSEGV) |
|---|---|---|
| 触发信号 | 内核 OOM Killer 强制终止进程 | 程序访问无权访问的内存地址 |
| 根因 | 内存不足(多为 CPU 主机内存,也可能含显存) | 深度学习框架运行时与硬件支持的计算运行时版本不兼容 |
| 典型时机 | 保存 checkpoint 时构造完整权重副本,内存瞬时飙升 | 训练脚本启动或首个计算算子执行时 |
| 报错信息 | 信息极少,直接返回 -9,无详细堆栈 | 段错误,往往缺乏可读的 Python 堆栈 |
| 与分片方案的关系 | 与方案A在保存时刻的高内存峰值高度相关 | 与分片方案无关,属于环境/依赖问题 |
| 解决方向 | 提升单卡内存配额或改用分片更充分的方式保存 | 对齐框架运行时版本与硬件支持的最高版本 |
关于 -9 的处理思路:由于显存 OOM 一般有明确堆栈,而本次直接返回 -9 且稳定出现在保存 checkpoint 时,可判定为主机内存不足。实践中的验证也印证了这一判断——将每卡申请的内存从较低配额(如 64GB 级别)提升到更高配额(如 128GB 级别)后,-9 问题消失。这说明根因是主机内存,而非显存。
关于 -11 的处理思路:拉取最新框架代码并重建环境后遇到段错误,定位发现是自动安装的框架运行时版本过高,超过了硬件所能支持的最高计算运行时版本,导致二者不兼容。解决方向是将框架使用的加速计算运行时对齐到硬件支持的最高版本区间,避免”运行时版本 > 硬件支持版本”的组合。
选型不宜绝对化,建议按条件判断:
一个便于对比的示意性配置(伪代码,非特定工具):
# 显存优化分片方案(通用示意)partition_strategy: "optimizer_state_and_grad" # 方案A:仅分片优化器状态与梯度# partition_strategy: "full_state" # 方案B:参数/梯度/优化器状态全分片offload_to_cpu: false # 是否将部分状态卸载到主机内存checkpoint_mode: "sharded_save" # 分片保存,降低保存时刻内存峰值
从一种方案切换到另一种,或从自建环境迁移到云上环境时,需要关注:
本文对比的两类显存优化方案,本质区别在分片粒度:方案A牺牲显存换速度、方案B牺牲速度换显存;二者数学等价、目标一致,但在显存占用、通信量、checkpoint 内存峰值上表现各异。实践中的返回码 -9 提醒我们关注主机内存在保存环节的峰值,而返回码 -11 则提醒我们先解决运行时与硬件的版本兼容。选型的正确姿势不是找”更好的一种”,而是围绕硬件边界、模型规模与速度诉求做条件化权衡,并把分片策略与保存策略都做成可配置、可验证、可回退的项。