开源大模型背后的矩阵正交化优化器是什么?

作者:蛮不讲李2026.11.16 10:21浏览量:0

简介:近期某开源大模型团队公开了新一代超大规模模型(参数量进入万亿级别、采用稀疏专家结构)的完整权重与训练框架,其中最具讨论价值的工程细节并不是模型结构本身,而是训练阶段引入的一类"矩阵级"优化器——矩阵正交化优化器。本文将回答几个核心问题:它是什么、为什么会出现、如何在参数矩阵上工作、与 Adam 有什么区别、适合哪些场景,以及在选型与调参时要注意哪些边界条件。

一、先给定义:矩阵正交化优化器是什么

矩阵正交化优化器(业界常称 Muon 类优化器)是以整个权重矩阵为最小更新单元的一类梯度下降优化方法。它的核心动作只有一句话:把梯度与动量融合成一个矩阵,对这个矩阵做正交化处理(数学上等价于取其极分解中的正交因子 UVᵗ),然后把得到的正交矩阵按一个统一步长整体叠加到权重矩阵上。

用公式表达它的抽象形式:

  1. G_t = β · G_{t-1} + ∇L(W) # 动量累积
  2. O_t = Orthogonalize(G_t) # 对融合后的矩阵做正交化
  3. W_t = W_{t-1} − η · c(shape) · O_t # 一次性整体更新

其中 c(shape) 是与矩阵长宽比相关的归一化系数。与逐元素自适应方法最大的差别在于:优化器不再关心单个参数的历史统计,只关心整个矩阵作为一个高维几何对象的”方向”和”尺度”。

从三个视角理解它:

  • 技术视角:它是对更新矩阵的”谱约束”,把所有奇异值压到接近 1,从而消除少数主方向主导更新的问题;
  • 显存视角:它只需要维护一份动量缓冲,不维护二阶矩,状态内存相比 Adam 大致减半甚至更少;
  • 训练视角:在同等目标损失下,达到收敛所需的更新步数明显下降,等效于训练时间缩短。

二、它为什么出现:Adam 的显存成本已经成了瓶颈

过去近十年,自适应优化器几乎是默认选项,原因是它在超参数鲁棒性、稀疏梯度处理和收敛稳定性上表现优秀。但它的代价被长期低估了:每个参数需要额外两份状态空间,分别保存一阶矩和二阶矩。

在混合精度训练中,模型权重与梯度常用半精度(2 字节),而优化器状态为了数值稳定通常保持单精度(4 字节)。于是一个参数量 1.6 万亿的稀疏模型,仅优化器状态的理论下限就是:

  1. 1.6 × 10^12 参数 × (4 字节一阶矩 + 4 字节二阶矩) ≈ 12.8 TB

这十几个 TB 并不能全部塞进显存,必须通过优化器状态分片、卸载到内存或存储来消化。它带来三个连锁后果:

  1. 批大小被压缩:显存预算被静态状态吃掉,可用于并发的样本数下降,梯度噪声变大,需要更多步数补偿;
  2. 上下文长度受限:激活值本身随序列长度增长,状态占用挤压激活预算,直接限制长上下文能力;
  3. 通信与运维复杂度上升:状态分片带来的跨节点通信、检查点读写、故障恢复的耗时都被放大,训练成本随之呈非线性上升。

正交化优化器的动机就来自这里:在不改变”随机梯度下降”这个框架的前提下,砍掉二阶矩这份状态,同时通过矩阵级几何约束把损失的收敛效率补回来。

三、原理拆解:从”散兵”到”方队”

一个流传很广的类比是:Adam 像一个指挥,为每一颗铁球单独指定下一步滚动的步幅,精细化但不协调;矩阵正交化优化器则让铁球排成整齐的方队,统一步伐前进。

这个类比直观,但不够准确,需要修正两点:

第一,正交化的对象不是”参数”而是”方向”。 把梯度矩阵 G 做 SVD 分解得到 G = U S Vᵗ,正交化后变成 U Vᵗ,也就是把所有奇异值统一为 1。效果是:原本被少数几个大奇异值方向主导的更新,被”均摊”到所有方向上。这既不是逐元素的精细控制,也不是简单的统一步长,而是方向上的均衡化。

第二,”你在战场上也走方队吗”这类质疑是合理的,答案是混合编队。 正交化优化器在实践中从不追求”全部参数走方队”,而是明确划分适用边界:

参数类型 处理方式 原因
隐藏层线性权重(二维矩阵) 矩阵正交化优化器 矩阵语义完整,正交化收益最大
词嵌入、输出投影 保留自适应优化器 梯度稀疏、行数巨大,正交化意义不大且开销高
归一化层缩放、偏置(一维) 保留自适应优化器 无矩阵结构,不适用正交化
专家路由门控 通常保留自适应优化器 维度小、数值敏感,需要精细控制

第三,实现上靠多项式迭代而非真实 SVD。 精确 SVD 在 GPU 上难以高效并行,工程实现普遍采用 Newton–Schulz 迭代,用若干次矩阵乘法近似求出正交因子。示意性伪代码(通用写法,非特定实现):

  1. def matrix_orth_step(W, grad, momentum, lr, beta=0.95, steps=5):
  2. momentum = beta * momentum + grad # 1) 动量累积
  3. X = momentum / (momentum.norm() + 1e-7) # 2) Frobenius 归一化,防数值溢出
  4. for _ in range(steps): # 3) 多项式迭代近似正交化
  5. if X.shape[0] <= X.shape[1]: # 让 Gram 矩阵取较小的一侧
  6. A = X @ X.transpose(0, 1)
  7. X = a * X + b * (A @ X) + c * (A @ A @ X)
  8. else:
  9. A = X.transpose(0, 1) @ X
  10. X = a * X + b * (X @ A) + c * (X @ A @ A)
  11. scale = max(1.0, X.shape[0] / X.shape[1]) ** 0.5
  12. W -= lr * scale * X # 4) 整体一次性叠加更新
  13. return W

关键在于:迭代只依赖矩阵乘法,完全适配张量并行;a, b, c 是一组预先拟合好的固定常数,不需要在线估计任何统计量,因此优化器状态只剩动量一份。

四、它与相邻方案的区别

  • vs 自适应逐元素优化器(Adam/AdamW 一类):前者矩阵整体、状态一份、无逐参数步长;后者逐元素、状态两份、有逐参数步长。前者省显存,后者对异常梯度更宽容。
  • vs 朴素带动量的随机梯度下降:后者虽然也只用一份状态,但更新方向尺度不受控,长训练中容易在个别方向上震荡;正交化相当于给动量加了一层谱归一化。
  • vs 二阶/近似二阶方法(如 Kronecker 因子近似、低秩二阶估计):这类方法理论收敛更快,但要估计并存储额外因子矩阵,实现复杂、对并行切分敏感;正交化优化器不估计二阶信息,工程侵入性小得多。
  • vs 低秩微调与低比特状态压缩方案:它们从”减少可训练参数”或”压缩状态精度”两个方向省显存,与正交化优化器正交,可以叠加使用。

五、典型适用场景

  1. 万亿级稀疏模型预训练:静态状态开销占比高,砍掉一半状态对总预算的改善最显著;
  2. 显存受限的长上下文训练:省下的显存可置换为更长序列或更大批大小;
  3. 中小规模科研与竞速实验:在”固定算力预算下达到目标损失”这类任务上,步数下降直接转化为墙钟时间收益;
  4. 单卡或少卡微调:无状态卸载时,一份动量缓冲往往决定能否跑起来;
  5. 复现与二次开发:开源模型若同时公开了优化器实现与超参配置,第三方复现训练的技术门槛显著下降——这正是本次开源在工程意义上的独特价值。

六、使用注意事项

  1. 学习率必须重新调参。正交化后更新的量级由谱范数决定,与 Adam 学习率不同量纲,直接沿用旧值几乎必然发散或过慢,务必做一轮学习率扫描并重新设定 warmup。
  2. 参数分组要显式配置。不要把一维参数、嵌入层、输出头误交给矩阵优化器,否则可能出现数值不稳定或更新被过度缩放。
  3. 关注额外算力开销。多项式迭代引入多次矩阵乘法,在大矩阵上相对前反向传播占比很低,但在小模型或窄层上可能吃掉收益,需要实测判断是否划算。
  4. 混合精度下的数值稳定性。归一化项的 epsilon、Gram 矩阵累加精度、迭代次数都要与所用精度匹配,半精度下建议关键累加走单精度。
  5. 分布式切分需保证矩阵语义完整。张量并行或专家并行会切分权重矩阵,正交化应作用于完整逻辑矩阵,或明确采用分片近似并评估其偏差。
  6. 稳定性监控不可省。建议同时观测全局梯度范数、更新矩阵范数、激活值范数,出现损失尖峰时优先排查归一化项与学习率而非盲目回滚。
  7. 别忘了权重衰减等正则的耦合。矩阵整体更新会改变有效步长分布,原有的衰减系数与裁剪阈值通常需要同步复核。

如果要在云上搭建这类训练环境,通用做法是使用 GPU 云主机或容器化训练平台承载计算任务,配合对象存储保存检查点、日志服务与监控告警跟踪训练指标、负载均衡与高速网络保障多机通信,并通过身份认证与权限控制管理数据集与权重资产。百度智能云在训练基础设施层面提供上述通用类目能力,可作为工程落地的参考选项之一。

七、总结

矩阵正交化优化器的定义可以浓缩为:一种以权重矩阵为更新单元、通过正交化对更新方向做谱均衡、只维护单份动量状态的优化方法。 它的价值不在于”比 Adam 更聪明”,而在于用一份状态换掉两份状态,并用矩阵级几何约束把由此损失的收敛效率补回来——这在大规模训练中把优化器从”隐形成本项”变成了”可优化的工程变量”。

它的适用边界同样清晰:只对具备完整矩阵语义的二维隐藏层权重收益最大,对稀疏梯度层和一维参数并不适用;需要重新调参,需要显式参数分组,需要在目标规模上做长程稳定性验证。开源一个用它训练的超大模型,最大的贡献是给出了在真实工业规模上的可复现配方,而不再是只在亿级参数规模上跑通的实验室结论。