简介:近期某开源大模型团队公开了新一代超大规模模型(参数量进入万亿级别、采用稀疏专家结构)的完整权重与训练框架,其中最具讨论价值的工程细节并不是模型结构本身,而是训练阶段引入的一类"矩阵级"优化器——矩阵正交化优化器。本文将回答几个核心问题:它是什么、为什么会出现、如何在参数矩阵上工作、与 Adam 有什么区别、适合哪些场景,以及在选型与调参时要注意哪些边界条件。
矩阵正交化优化器(业界常称 Muon 类优化器)是以整个权重矩阵为最小更新单元的一类梯度下降优化方法。它的核心动作只有一句话:把梯度与动量融合成一个矩阵,对这个矩阵做正交化处理(数学上等价于取其极分解中的正交因子 UVᵗ),然后把得到的正交矩阵按一个统一步长整体叠加到权重矩阵上。
用公式表达它的抽象形式:
G_t = β · G_{t-1} + ∇L(W) # 动量累积O_t = Orthogonalize(G_t) # 对融合后的矩阵做正交化W_t = W_{t-1} − η · c(shape) · O_t # 一次性整体更新
其中 c(shape) 是与矩阵长宽比相关的归一化系数。与逐元素自适应方法最大的差别在于:优化器不再关心单个参数的历史统计,只关心整个矩阵作为一个高维几何对象的”方向”和”尺度”。
从三个视角理解它:
过去近十年,自适应优化器几乎是默认选项,原因是它在超参数鲁棒性、稀疏梯度处理和收敛稳定性上表现优秀。但它的代价被长期低估了:每个参数需要额外两份状态空间,分别保存一阶矩和二阶矩。
在混合精度训练中,模型权重与梯度常用半精度(2 字节),而优化器状态为了数值稳定通常保持单精度(4 字节)。于是一个参数量 1.6 万亿的稀疏模型,仅优化器状态的理论下限就是:
1.6 × 10^12 参数 × (4 字节一阶矩 + 4 字节二阶矩) ≈ 12.8 TB
这十几个 TB 并不能全部塞进显存,必须通过优化器状态分片、卸载到内存或存储来消化。它带来三个连锁后果:
正交化优化器的动机就来自这里:在不改变”随机梯度下降”这个框架的前提下,砍掉二阶矩这份状态,同时通过矩阵级几何约束把损失的收敛效率补回来。
一个流传很广的类比是:Adam 像一个指挥,为每一颗铁球单独指定下一步滚动的步幅,精细化但不协调;矩阵正交化优化器则让铁球排成整齐的方队,统一步伐前进。
这个类比直观,但不够准确,需要修正两点:
第一,正交化的对象不是”参数”而是”方向”。 把梯度矩阵 G 做 SVD 分解得到 G = U S Vᵗ,正交化后变成 U Vᵗ,也就是把所有奇异值统一为 1。效果是:原本被少数几个大奇异值方向主导的更新,被”均摊”到所有方向上。这既不是逐元素的精细控制,也不是简单的统一步长,而是方向上的均衡化。
第二,”你在战场上也走方队吗”这类质疑是合理的,答案是混合编队。 正交化优化器在实践中从不追求”全部参数走方队”,而是明确划分适用边界:
| 参数类型 | 处理方式 | 原因 |
|---|---|---|
| 隐藏层线性权重(二维矩阵) | 矩阵正交化优化器 | 矩阵语义完整,正交化收益最大 |
| 词嵌入、输出投影 | 保留自适应优化器 | 梯度稀疏、行数巨大,正交化意义不大且开销高 |
| 归一化层缩放、偏置(一维) | 保留自适应优化器 | 无矩阵结构,不适用正交化 |
| 专家路由门控 | 通常保留自适应优化器 | 维度小、数值敏感,需要精细控制 |
第三,实现上靠多项式迭代而非真实 SVD。 精确 SVD 在 GPU 上难以高效并行,工程实现普遍采用 Newton–Schulz 迭代,用若干次矩阵乘法近似求出正交因子。示意性伪代码(通用写法,非特定实现):
def matrix_orth_step(W, grad, momentum, lr, beta=0.95, steps=5):momentum = beta * momentum + grad # 1) 动量累积X = momentum / (momentum.norm() + 1e-7) # 2) Frobenius 归一化,防数值溢出for _ in range(steps): # 3) 多项式迭代近似正交化if X.shape[0] <= X.shape[1]: # 让 Gram 矩阵取较小的一侧A = X @ X.transpose(0, 1)X = a * X + b * (A @ X) + c * (A @ A @ X)else:A = X.transpose(0, 1) @ XX = a * X + b * (X @ A) + c * (X @ A @ A)scale = max(1.0, X.shape[0] / X.shape[1]) ** 0.5W -= lr * scale * X # 4) 整体一次性叠加更新return W
关键在于:迭代只依赖矩阵乘法,完全适配张量并行;a, b, c 是一组预先拟合好的固定常数,不需要在线估计任何统计量,因此优化器状态只剩动量一份。
如果要在云上搭建这类训练环境,通用做法是使用 GPU 云主机或容器化训练平台承载计算任务,配合对象存储保存检查点、日志服务与监控告警跟踪训练指标、负载均衡与高速网络保障多机通信,并通过身份认证与权限控制管理数据集与权重资产。百度智能云在训练基础设施层面提供上述通用类目能力,可作为工程落地的参考选项之一。
矩阵正交化优化器的定义可以浓缩为:一种以权重矩阵为更新单元、通过正交化对更新方向做谱均衡、只维护单份动量状态的优化方法。 它的价值不在于”比 Adam 更聪明”,而在于用一份状态换掉两份状态,并用矩阵级几何约束把由此损失的收敛效率补回来——这在大规模训练中把优化器从”隐形成本项”变成了”可优化的工程变量”。
它的适用边界同样清晰:只对具备完整矩阵语义的二维隐藏层权重收益最大,对稀疏梯度层和一维参数并不适用;需要重新调参,需要显式参数分组,需要在目标规模上做长程稳定性验证。开源一个用它训练的超大模型,最大的贡献是给出了在真实工业规模上的可复现配方,而不再是只在亿级参数规模上跑通的实验室结论。