传统优化器与正交化优化器对比：大模型训练选型指南

一、对比背景：为什么优化器选型重新成为焦点

在大规模深度学习训练中，优化器长期扮演着“沉默的基础设施”角色。绝大多数模型训练默认采用自适应矩估计类优化器（以下称“逐元素自适应优化器”），它在过去数年里几乎是唯一的主流选择。然而，随着模型参数量从亿级跃升至千亿乃至万亿级，这类优化器的显存开销问题被急剧放大。

近期，某开源模型系列在其超大规模版本中采用了一种基于矩阵正交化的优化方法（以下称“正交化优化器”），引发了技术社区对优化器选型的重新审视。本文将以中立视角，系统对比“逐元素自适应优化器”与“正交化优化器”两类方案，帮助开发者和架构师理解它们的本质差异与适用边界。

二、对象定义：两类优化器分别在做什么

逐元素自适应优化器（以Adam为代表）

这类优化器的核心思想是：为模型中的每一个可训练参数，独立维护一阶矩估计（梯度均值）和二阶矩估计（梯度平方均值），并以此动态调整每个参数的学习率。其更新逻辑可以简化为：

# 伪代码示意
for param in model.parameters():
    m = beta1 * m + (1 - beta1) * grad
    v = beta2 * v + (1 - beta2) * grad ** 2
    param -= lr * m / (sqrt(v) + eps)

关键特征：每个参数需要额外存储两份状态变量，显存开销与参数量成线性关系。

正交化优化器（以Muon为代表）

这类优化器将权重矩阵视为一个整体，对梯度与动量融合后的矩阵进行正交化处理（通常通过牛顿-舒尔茨迭代等近似方法），再将正交化后的矩阵一次性更新到权重上。其逻辑可简化为：

# 伪代码示意
for weight_matrix in model.weight_matrices():
    momentum = mu * momentum + grad
    orthogonalized = newton_schulz(momentum)
    weight_matrix -= lr * orthogonalized

关键特征：状态变量以矩阵为单位管理，显存开销显著低于逐元素方案。

三、相同点分析

尽管两类优化器在实现路径上差异巨大，但它们共享以下目标与基础能力：

维度	共同点
核心目标	加速收敛、提升训练稳定性
基础逻辑	利用梯度历史信息平滑更新方向
适用任务	均可用于Transformer类架构的预训练与微调
超参敏感度	学习率、动量系数等仍需调优
混合精度兼容	均可与混合精度训练配合使用

四、核心差异分析

4.1 显存占用：最关键的差异

逐元素自适应优化器需要为每个参数存储一阶矩和二阶矩。以混合精度训练为例，若模型有 N 个参数，仅优化器状态就需要约 2N 个浮点数的存储空间（实际取决于精度格式）。对于千亿级参数模型，这意味着数TB级别的额外显存开销。

正交化优化器仅需存储动量矩阵，且其状态管理以矩阵为单位，不需要逐元素维护二阶矩。在同等模型规模下，优化器状态显存可降低数倍。

4.2 更新粒度与几何视角

• 逐元素方案：将权重矩阵拆解为独立元素，每个元素拥有自适应学习率。优点是精细，缺点是忽略了参数之间的结构性关联。
• 正交化方案：将权重矩阵视为高维几何空间中的整体，通过正交化约束更新方向，使各奇异值方向的更新更加均衡。优点是全局协调，缺点是对非矩阵型参数（如偏置、归一化层参数）需要额外处理策略。

4.3 收敛行为

逐元素方案在训练初期通常表现出较快的loss下降，但在大规模模型中可能因显存限制而被迫减小batch size，反而拖慢整体吞吐。正交化方案在部分实验中展现出更少的训练步数即可达到目标loss，但其收敛曲线对超参更敏感，尤其在训练初期需要更谨慎的warmup策略。

4.4 适用规模与验证充分度

逐元素方案经过多年验证，从百万级到千亿级模型均有成熟实践。正交化方案最初仅在极小规模模型上验证，近期才逐步扩展到超大规模。其在大规模分布式训练中的稳定性、与张量并行的兼容性仍在持续验证中。

4.5 迁移成本

若从逐元素方案迁移到正交化方案，需要关注：

• 优化器状态无法直接复用，需从头训练或重新warmup；
• 学习率、权重衰减等超参需要重新搜索；
• 非矩阵参数需要设计单独的更新规则；
• 分布式训练框架中优化器部分的代码需要适配。

五、对比表格总结

对比维度	逐元素自适应优化器	正交化优化器
状态存储	每个参数两份状态	每个矩阵一份动量
显存开销	高（与参数量线性相关）	低（与矩阵数量相关）
更新粒度	逐元素	矩阵级
几何视角	忽略参数间结构	保留矩阵整体结构
收敛步数	中等	潜在更少
超参敏感度	相对鲁棒	较敏感
大规模验证	充分	逐步积累中
迁移成本	低（默认方案）	中等至高
非矩阵参数	天然支持	需额外策略
分布式兼容	成熟	持续完善

六、典型场景选择

优先考虑逐元素自适应优化器的场景：

• 模型规模在百亿参数以下，显存压力可控；
• 团队对训练稳定性要求极高，偏好成熟方案；
• 需要频繁微调、增量训练，优化器状态需反复加载；
• 训练框架已深度集成该方案，迁移成本敏感。

可评估正交化优化器的场景：

• 模型规模达到千亿级以上，显存成为核心瓶颈；
• 训练任务以从头预训练为主，优化器状态复用需求低；
• 团队具备较强的训练调优能力，能承受超参搜索成本；
• 希望在不增加硬件资源的前提下扩大batch size或上下文长度。

七、选型建议

选型不应追求“哪个更好”，而应回答“在当前约束下哪个更合适”。建议按以下顺序评估：

1. 显存是否是第一瓶颈？ 若是，正交化方案值得深入评估；若否，逐元素方案仍是稳妥选择。
2. 团队是否具备调优余力？ 正交化方案对超参更敏感，需要更多实验轮次。
3. 训练框架是否支持？ 若框架尚未集成，需评估自研适配的工作量。
4. 是否有状态复用需求？ 频繁微调场景下，逐元素方案的成熟生态更具优势。

八、迁移与使用注意事项

• 数据与状态兼容：优化器状态不可跨方案复用，迁移意味着重新训练。
• 分布式策略：正交化操作在张量并行、流水线并行下的通信模式需要重新设计。
• 混合精度：正交化迭代对数值精度敏感，需验证低精度下的稳定性。
• 监控与告警：建议对梯度范数、正交化误差等指标增加监控。
• 回退预案：保留逐元素方案作为回退路径，避免训练中断风险。

九、总结

逐元素自适应优化器与正交化优化器的核心差异，本质上是“逐元素精细控制”与“矩阵级结构协调”两种哲学的分野。前者以显存换精细，后者以结构换效率。在模型规模持续膨胀的背景下，正交化方案提供了一条降低显存门槛的新思路，但其成熟度、调优成本和框架兼容性仍需理性评估。对于大多数团队而言，逐元素方案仍是默认起点；当显存成为不可逾越的瓶颈且团队具备相应调优能力时，正交化方案才值得作为重点候选。