大模型训练新突破：经典优化器与新型优化器对比

一、对比背景：为什么优化器成了大模型训练的焦点

某主流大模型近期发布了新一代版本的接口文档，其中最受关注的并非接口参数本身，而是技术细节中披露的一条信息：该模型在大规模预训练中没有把业内长期默认的Adam类优化器作为唯一选择，而是引入了一种基于矩阵正交化的新型动量优化器来承担主力训练任务。这一变化之所以重要，是因为优化器直接决定了训练的收敛速度、稳定性与算力成本，进而影响大模型的迭代节奏。

理解这个差异，可以用经典的“蒙眼下山”类比：把模型参数想象成站在连绵山脉中的旅人，目标是走到谷底。此时手中的工具只有两样，Loss（损失函数）告诉你当前所处的“海拔”，梯度（反向传播）告诉你脚下哪边是下坡。而优化器就是大脑中的行进策略，决定下一步往哪走、跨多大步。

一个优化器通常要解决三件事：

• 步伐大小（学习率控制）：步子太大可能直接跨过谷底冲上对面山坡，导致损失来回震荡、无法收敛；步子太小则训练极其缓慢。先进的优化器会自适应调整，平坦处走快些，陡峭且接近谷底处走慢些。
• 逃离局部最优与压制震荡：山脉中到处是半山腰的小坑（局部最优解），只凭局部坡度很容易掉进小坑里出不来，误以为已到真正的谷底。
• 梯度信息的利用效率：同样一份梯度，不同的“用法”会导致收敛速度天差地别。

理解了这一点，就能理解优化器的迭代升级为何会直接影响大模型的训练成本与发布效率。

二、对比对象定义

2.1 经典梯度类优化器

• SGD（随机梯度下降）：最朴素的方案，基础思想可追溯到1847年数学家柯西对最优化问题的研究。它每一步只沿当前梯度方向移动，相当于模拟一个“没有质量的粒子”在坡面上滑动——可以瞬间以最高速度启动，也可以瞬间刹车停下。简单可靠，但在狭长的“峡谷”地形中会来回撞击山壁，效率很低。
• 动量法（重球法）：1964年，苏联数学家波利亚克在研究最优化理论时提出一个极具物理直觉的问题：如果给这个滑动的粒子强行加上“质量”和“惯性”会怎样？这就是著名的Heavy Ball Method（重球法）。数学上可以严谨证明，给寻优过程赋予“物理质量”，能极大压制峡谷地形中的横向震荡，大幅加速收敛。动量至今仍是几乎所有现代优化器的标配组件。
• Adam类优化器：在动量的基础上引入逐元素的一阶矩与二阶矩估计，为每个参数单独估计合适的步长，实现“逐参数自适应”。过去十年间，它几乎是大模型训练的事实默认选项，工程生态最为成熟。

2.2 新型正交化动量优化器

这类优化器同样维护动量缓冲，但关键差异在于：它不再把更新拆成一堆独立的坐标分量逐个缩放，而是把每一步的更新视为一个完整的二维权重矩阵，通过牛顿-舒尔茨类的矩阵迭代对更新做“正交化”，使更新矩阵在各个方向上的奇异值趋于一致。直观理解：经典方法会让“坡度最陡的少数方向”主导整步更新，而正交化让所有方向“步调均衡地朝谷底前进”，避免个别方向把参数带偏或加剧震荡。实践中，它通常只作用于隐藏层的二维权重矩阵，词嵌入、输出层等参数仍交由Adam类处理，形成混合训练策略。

2.3 机制示意（伪代码，非任何具体框架接口）

# 1) 动量SGD
v = beta * v + grad
w = w - lr * v
# 2) Adam 类（简化）
m = b1*m + (1-b1)*grad
s = b2*s + (1-b2)*grad*grad
w = w - lr * m / (sqrt(s) + eps)
# 3) 新型正交化动量优化器（简化）
buf = beta * buf + grad
U   = 正交化迭代(buf)      # 让 buf 各方向奇异值趋于一致
w   = w - lr * scale * U

三、相同点分析

• 优化目标一致：都以最小化损失函数为目标，解决的是同一个“下山”问题。
• 信息来源一致：都只依赖损失值与梯度（反向传播），不改变梯度的计算方式，优化器决定的是“如何使用梯度”。
• 都依赖动量机制：无论是重球法还是新型优化器，动量都是压制震荡、积累方向一致性的核心手段。
• 都需要学习率调度配合：预热、衰减、与批大小的匹配等通用实践对各类优化器同样重要。
• 都可与通用技巧组合：权重衰减、梯度裁剪、混合精度训练等并不与某一类优化器绑定。

四、核心差异分析

4.1 更新的几何构造：逐元素缩放 vs 矩阵级正交化

Adam的自适应本质是对梯度二阶矩做对角近似，只在“每个坐标各自走多远”的层面调整；新型优化器则从矩阵整体的谱结构出发规划整步更新。这是二者最本质的差异，也是各自收益与局限的共同来源。

4.2 适用参数形态

正交化操作定义在二维矩阵上，对词嵌入这类查表参数、一维偏置与归一化参数并不直接适用；Adam类对所有参数形态一视同仁。因此新型优化器几乎总是以“混合策略”出现，而非整体替换。

4.3 收敛效率

公开的训练复现实践中，这类新型优化器在大规模矩阵参数预训练上普遍报告了可观的加速，即达到相近损失水平时所需步数或算力更少。但加速幅度与模型结构、参数规模、超参整定质量强相关，不能脱离上下文套用结论。

4.4 单步计算开销

正交化需要额外的矩阵迭代，带来每步的额外计算与实现复杂度。相对前向与反向传播的总开销，这部分占比通常不大，本质是“用少量额外单步计算换取更少总步数”的交换。

4.5 超参数与调参成本

Adam的经验超参在极广的模型范围内高度可复用，这是它长期作为默认选项的重要原因。新型优化器需要整定的量看似更少，但学习率的量纲定义不同（与更新矩阵的谱特性耦合），不能直接照搬Adam的配置；与学习率调度、权重衰减、批大小的相互作用，也尚未沉淀出同样广泛的公开经验。

4.6 数值稳定性与工程成熟度

Adam经过长期大规模验证，断点续训、分布式分片、低精度训练下的数值行为都有成熟处理。新型优化器实现较新，在低精度格式下正交化迭代的稳定性、检查点状态结构、多机同步等细节需要额外验证，这是其在生产环境推广的主要门槛。

4.7 生态与确定性

对多数团队而言，选择优化器不只是选算法，更是选“确定性”：框架默认支持、社区经验、问题排查资料的丰富程度，Adam优势明显；新型优化器则要求团队具备更强的调参与排查能力。

五、对比表格

对比维度	SGD	动量法（重球）	Adam类	新型正交化优化器
核心机制	沿当前梯度移动	加惯性压制震荡	逐元素自适应步长	更新矩阵正交化
自适应粒度	无	无	逐元素（对角近似）	矩阵级（谱结构）
震荡抑制	弱	强	强	强且方向更均衡
适用参数	通用	通用	通用	主要为二维矩阵参数
单步额外开销	最低	低	中	中（含正交化迭代）
调参难度	高	中	低，经验成熟	中，经验积累中
生态成熟度	高	高	最高	较新，快速演进
典型用途	传统视觉任务、基线	通用训练	预训练/微调默认	大规模预训练提效

六、典型场景选择

• 大规模预训练、算力预算紧张：可优先评估“新型优化器 + Adam”的混合方案，用矩阵参数的收敛提效抵消额外开销。
• 中小规模训练与常见微调：Adam类仍是稳妥默认，生态与经验最完整。
• 以词嵌入、稀疏特征为主的模型：逐元素自适应的Adam类与参数形态更契合，新型优化器收益有限。
• 追求简单可控的传统任务：SGD加动量仍有价值，尤其在希望减少自适应带来的泛化不确定性时。
• 团队调参经验有限、依赖托管平台：优先使用平台验证过的默认配置。例如借助百度智能云等平台的托管训练能力时，优化器组合与关键超参通常已有预置与验证，可显著降低试错成本。

七、选型建议

1. 若训练规模大、算力是主要矛盾，且团队有工程验证能力：可评估新型优化器，先在缩小规模上对比收敛行为，再决定是否放大。
2. 若以微调现有模型为主、追求交付确定性：Adam类是风险收益比更稳的选择。
3. 若模型结构特殊（大量非矩阵参数、稀疏更新）：应回到Adam类，而非强行套用矩阵级方案。
4. 不建议做“二选一”的绝对判断：在真实的大模型训练中，两者更多是组合关系而非替代关系。

八、迁移与使用注意事项

• 超参不可直接照搬：学习率量纲与更新构造方式耦合，切换优化器必须重新整定。
• 混合策略边界要清晰：哪些参数走新型优化器、哪些走Adam，需在配置中显式声明，避免遗漏导致训练异常。
• 数值稳定性验证：与混合精度、梯度裁剪的组合需先小规模验证，重点观察损失曲线、梯度范数与更新范数是否异常。
• 检查点兼容：不同优化器的状态结构与大小不同，切换前后检查点不直接兼容，需准备状态转换或重新起训预案。
• 评估口径统一：对比新旧方案时，应在相同数据、相同结构、相同总算力预算下比较，避免被单步耗时或单步损失误导。
• 灰度与回滚：生产训练任务建议保留回退到成熟方案的能力。

九、总结

从1847年柯西的朴素梯度下降，到1964年波利亚克给“滑动的粒子”加上质量与惯性，再到Adam的逐元素自适应，以及当下把更新矩阵整体正交化的新方案，优化器进化的主线始终是“如何更聪明地使用梯度”：SGD给出了方向，动量给出了惯性，Adam给出了逐参数的步长自适应，新型正交化优化器则进一步从矩阵的整体几何结构出发规划每一步。两者的差异不是简单的“新旧”或“好坏”，而是更新构造方式不同带来的收益与边界不同。对开发者而言，决策的关键变量是训练规模与算力预算、模型参数形态、团队调参与工程验证能力、以及对交付确定性的要求。多数场景下，“Adam类为主、新型优化器为辅”的混合与灰度策略，是兼顾效率与稳健的务实路径。