深度学习优化器演进：经典自适应方法与重球法对比

一、对比背景：为什么优化器值得单独讨论

在大模型训练中，模型结构、数据规模与算力配置往往最先被关注，但真正决定“能否收敛、收敛多快、收敛到什么位置”的，是优化器。优化器的角色类似导航策略：损失函数告诉你当前海拔，梯度告诉你脚下哪边是下坡，而优化器决定你朝哪个方向迈步、迈多大一步、要不要保留上一步的惯性。

近期发布的新一代大模型预览版本，将“百万字超长上下文”和新的训练优化方案同时推到台前。其中被反复讨论的一个技术点，是训练过程中采用的新型优化器思路。这引出一个更普遍的问题：以自适应学习率为核心的经典优化器，与以“重球法”为代表的动量类优化器，到底有什么区别？在不同训练任务中该如何选择？

本文不针对任何具体产品做评测，而是围绕这两类通用技术方案展开系统对比。

二、对象定义：两类优化器分别在做什么

2.1 经典自适应优化器

这类方法的核心思想是：为每个参数维度单独维护学习率或梯度尺度，并根据历史梯度的一阶矩、二阶矩动态调整更新幅度。其典型特征包括：

• 使用梯度平方的指数滑动平均来缩放学习率；
• 对稀疏梯度和不同量级的参数更友好；
• 在训练初期通常收敛较快，对学习率初始值不敏感。

它解决的问题是：不同参数、不同训练阶段的梯度尺度差异极大，统一学习率容易导致部分参数更新过慢或过快。

2.2 重球法与动量类方法

1964年，苏联数学家鲍里斯·波利亚克在研究最优化理论时提出了“重球法”。其核心洞察是：标准梯度下降相当于一个没有质量的粒子在表面滑动，可以瞬间启动、瞬间停止，这不符合物理直觉。如果在粒子上加入“质量”和“惯性”，它在狭长峡谷地形中就不会来回撞击山壁。

重球法的更新逻辑可以概括为：

v_t = β * v_{t-1} + grad_t
w_t = w_{t-1} - lr * v_t

其中 β 是动量系数，v 是累积速度。与标准梯度下降相比，它多了一个“历史方向记忆”，从而抑制横向震荡、加速沿谷底方向的前进。

三、相同点分析

尽管两类方法在数学形式上差异明显，但它们的目标一致：

1. 都是为了让损失函数更快、更稳地下降；
2. 都依赖梯度信息，都是反向传播之后对参数进行更新的策略；
3. 都需要设置学习率或等效的步长控制参数；
4. 都面临局部最优、鞍点、梯度噪声等共性挑战；
5. 都可以与学习率调度、权重衰减、梯度裁剪等通用训练技巧组合使用。

换句话说，它们不是互斥的阵营，而是同一问题下的不同策略选择。

四、核心差异分析

4.1 技术架构与更新逻辑

维度	经典自适应优化器	重球法/动量类方法
核心状态	一阶矩、二阶矩估计	速度向量（动量累积）
学习率处理	逐参数自适应缩放	通常全局统一，配合调度
更新方向	由缩放后的梯度决定	由累积速度决定
物理类比	带阻尼的自适应步长	有质量的球在坡面滚动

自适应优化器的“导航仪”更像是一个会实时测量地面摩擦力和坡度的智能系统；重球法更像是一个有惯性的保龄球，一旦方向对了就会持续加速。

4.2 收敛特性与泛化表现

• 自适应优化器：在训练早期收敛快，对超参数不敏感，但在某些任务上泛化表现不如带动量的方法，尤其在训练后期可能出现过早收敛到尖锐解的情况。
• 重球法/动量类方法：在峡谷地形中压制震荡效果明显，长期训练中往往能到达更平坦的极小值区域，但对学习率和动量系数的设置更敏感。

需要强调的是，这并非绝对优劣，而是取决于任务、数据分布和训练预算。

4.3 显存与计算开销

• 自适应优化器通常需要为每个参数额外存储一阶矩和二阶矩，显存占用约为参数量的2倍以上；
• 经典重球法只需存储一个速度向量，显存开销约为参数量的1倍；
• 在大模型训练中，这一差异会直接影响单卡可承载的模型规模与并行策略。

4.4 超参数敏感性

• 自适应优化器对初始学习率相对宽容，但权重衰减、epsilon 等参数仍需调优；
• 重球法对学习率和动量系数的组合较敏感，需要配合 warmup、余弦退火等调度策略；
• 在超长上下文、百万级 token 的训练场景中，梯度噪声更大，动量类方法通常需要更细致的梯度裁剪与归一化配合。

4.5 适用场景对比

场景	更倾向的选择	原因
快速原型验证	自适应优化器	对学习率不敏感，起步快
稀疏梯度任务	自适应优化器	逐参数缩放更友好
超长上下文大模型预训练	动量类方法结合调度	惯性抑制震荡，长期收敛更稳
显存受限环境	轻量动量方法	状态存储更少
微调与小规模任务	两者均可	取决于数据量和训练轮次

五、选型建议与迁移注意事项

5.1 选型依据

• 如果团队算力有限、希望快速得到可用模型，可优先考虑自适应优化器；
• 如果训练规模大、训练周期长、对最终泛化能力要求高，可优先评估动量类方法；
• 如果显存是瓶颈，需要优先评估优化器状态占用；
• 如果任务中梯度分布极不均匀，自适应方法通常更省心。

5.2 迁移成本

从一种优化器切换到另一种，通常不需要改动模型结构，但需要关注：

1. 学习率重新搜索：不同优化器的等效学习率差异很大；
2. 调度策略适配：warmup 步数、衰减曲线需要重新验证；
3. 梯度裁剪阈值：动量累积会放大梯度幅度，裁剪策略需同步调整；
4. 训练稳定性监控：切换后需重点观察 loss 震荡、梯度范数和收敛速度；
5. 检查点兼容性：优化器状态不同，旧检查点通常无法直接续训。

5.3 使用边界

• 动量类方法在非平稳目标或极稀疏梯度场景下，优势可能不明显；
• 自适应优化器在训练后期可能因二阶矩估计偏差导致更新过小；
• 两者都不能替代合理的数据清洗、归一化和模型初始化。

六、总结

经典自适应优化器与重球法代表了两种不同的导航哲学：前者强调“逐参数自适应调整”，后者强调“用惯性穿越峡谷”。前者在起步速度、稀疏梯度和显存充足场景中更常见；后者在长期训练、震荡抑制和泛化稳定性上更有优势。

实际选型时，不应简单问“哪个更好”，而应问：我的任务梯度分布如何？训练周期多长？显存预算多少？对最终泛化要求多高？ 回答清楚这些问题，优化器的选择自然就清晰了。