反向传播与零阶优化：预训练Transformer的路径之争

对比背景：当“处处可微”成为默认前提

在过去十余年中，深度学习模型的训练几乎完全建立在反向传播算法之上。该算法通过链式法则逐层计算损失函数对网络参数的梯度，并借助梯度下降类优化器更新权重。这一技术路径深刻影响了整个产业生态：现代神经网络架构的设计、激活函数的选择、优化器的迭代、乃至GPU等硬件架构的演进，都在某种程度上是为反向传播的高效执行而优化。

然而，反向传播并非没有代价。其最核心的隐含假设是：整个计算图必须处处可微。这意味着模型中任何包含离散运算、逻辑分支、不可微模块或外部程序的组件，都无法直接纳入标准的梯度训练回路。面对这一局限，业界一直存在对“非梯度训练范式”的探索，其中零阶优化（Zeroth-Order Optimization）是最为直接的替代思路之一：不计算梯度，而是通过采样扰动、评估目标函数变化来估计优化方向。

本文对比的两类方法分别是：

• 方案A：基于反向传播的一阶优化方法，即当前主流大模型预训练的标准范式；
• 方案B：基于“扰动评估”的零阶优化方法，其典型实现为近期的“Dust”方法，通过给激活值注入噪声并观察损失变化来近似梯度。

两者的共同目标是训练Transformer架构的大规模模型，但路径、约束、成本与适用边界存在显著差异。

对象定义：两种路径如何解决“学习”问题

反向传播：依赖精确梯度的链式法则

反向传播的核心价值在于，它能在一次前向与一次反向传播中，精确计算出损失函数对每一层参数的偏导数。这个梯度信息被优化器（如SGD、Adam及其变体）用于更新参数，从而在参数空间中确定性地移向更优区域。由于梯度是局部严格下降方向的近似，因此收敛速度通常较快，所需计算步数较少。

零阶优化：以噪声扰动换取通用性

零阶方法不计算解析梯度，而是通过在原参数或激活值附近施加微小扰动，比较扰动前后的损失值来估计“哪个方向更优”。以“Dust”为代表的近期实现，其思路更为激进：不是扰动权重，而是向每一层输出的激活值添加独立的高斯噪声，每个token被视作一个独立的“虚拟实验个体”。在一次前向传播中，模型可以并行评估数千个噪声样本，并根据损失下降情况对噪声进行加权归因，从而得到梯度估计。这种设计使训练过程完全摆脱了可微性要求，理论上可以应用于任何结构或非可微计算模块。

相同点分析：目标一致，结构兼容

两类方法在若干基础层面上存在共同点：

1. 优化目标一致：都试图最小化语言建模损失（如交叉熵），并最终提升模型在下游任务中的泛化能力。
2. 依赖数据驱动的迭代更新：两者都遵循“读取批量数据 -> 前向计算损失 -> 更新参数”的迭代过程，在宏观训练流程上结构相似。
3. 可共用于Transformer架构：零阶方法虽然不依赖梯度，但依然需要在前向传播中执行标准的Transformer计算过程，因此在模型结构层面并不排斥现有实现。
4. 都受计算资源约束：无论采用哪种方式，大规模预训练都需要海量算力支撑，性能与成本之间的权衡是两者共同面临的课题。

核心差异分析：从机制到代价的系统对比

1. 技术架构与优化信号来源

反向传播依赖完整的计算图可微性，并利用自动微分框架逐层回传误差信号。零阶方法则回避了反向链路的建设，通过构造“虚拟种群”并由损失变化来反向推断有用方向。前者是确定性的梯度计算，后者是统计性的方向估计，信号本身的信噪比差异决定了收敛效率。

2. 可微性约束与适用范围

反向传播无法处理离散采样、规则分支等不可微操作，而零阶方法天然可兼容任意模块。以此角度看，零阶方法具备更强的结构通融性，这使其在涉及离散决策、强化学习、外部工具调用等混合计算场景中潜力更大。

3. 计算成本与扩展性

反向传播的核心成本在于累积梯度所需的额外计算量，但该成本是可控的、线性的，并且得到了硬件层面的深度优化。零阶方法则需要海量扰动样本来产生足够稳定的梯度估计，导致其计算开销大幅增加。根据相关研究，现有零阶方法在训练规模仅为243M参数、20M token的情况下，其计算成本仍显著高于反向传播数个数量级，尚未体现出规模优势。

4. 收敛稳定性与训练效果

反向传播经过几十年优化，具备成熟的优化器配套、学习率调度策略以及初始化方案，训练稳定性高。零阶方法产生的梯度估计具有较大方差，需要通过更大批次、更多扰动样本来平滑，而这又进一步推高成本。在同等数据规模和步数下，现有第三方复现结果显示，零阶方法的最终loss虽可接近反向传播，但未显示出明显优势；当反向传播使用更合适的优化器或增加训练轮数时，优势会迅速拉大。

5. 硬件适配与工程成熟度

反向传播牵动了整个深度学习硬件与软件栈的设计，GPU的内存层级、并行策略、混合精度训练等都围绕梯度计算优化。零阶方法的“扰动-评估”模式则需要不同的并行策略与内存管理方案，现成工具链支持薄弱，工程改造代价较高。

对比表格：关键维度一览

对比维度	反向传播（方案A）	零阶优化/扰动评估（方案B）
核心机制	计算解析梯度，确定性参数更新	样本扰动，统计性方向估计
可微性要求	必须处处可微	无需可微限制
适用结构	标准神经网络层	可兼容离散或非可微组件
计算成本	相对可控，线性递增	极高，所需采样数庞大
收敛效率	高，收敛步数少	低，需要更多迭代稳定
硬件适配	已深度优化	尚未形成成熟生态
工程成熟度	极高，工具链完善	初步探索阶段
代表研究	现代主流预训练范式	“Dust”等初代零阶训练模型
扩展性前景	受到可微性假设约束	理论上可突破梯度限制
当前适用场景	大规模工业生产环境	小规模验证与特殊对象优化

典型场景选择：什么情况下选择哪条路？

• 大规模、高标准预训练任务（千亿token级别）：目前仍需要依赖反向传播。其高效、稳定、成本可控，且生态完整，是工业界唯一可行的现实路径。
• 涉及非可微模块的混合计算任务（如离散决策、算法调用、符号操作等）：零阶方法具有天然优势，可以绕开梯度断点，可在强化学习、神经符号融合等领域尝试探索性应用。
• 探索期的小规模实验：在参数量在百万级至亿级之间的研究型任务中，可以尝试零阶方法验证其对特定结构的适配能力，但需接受较高的算力开销。
• 未来算力极度充沛的假设场景：推理本身成本下降后，若单次前向传播足够便宜，零阶方法的大规模虚拟种群评估策略可能在效率上反超反向传播，但目前尚不具备这一条件。

选型建议：不追求替代，重在理解边界

在现阶段，不宜将零阶方法视为反向传播的替代品，而应视其为一种“补充性探索路径”。对于绝大多数生产环境，反向传播依旧是唯一稳妥且经济的选择。但在算法创新的前沿，尤其是在探索更灵活的网络结构、实现可微与不可微模块的无缝融合、以及在非梯度训练范式下追求新的能力边界时，零阶方法提供了重要思路。

选择的关键应基于以下条件：

• 若模型结构完全可微，且对收敛效率有较高要求 → 选择反向传播；
• 若结构包含不可微组件或需要与外部系统交互 → 可尝试零阶方法的定制化变体；
• 若算力预算非常充足且追求实验的探索性 → 可设计对照实验，评估零阶方法在更大参数规模下的具体表现。

迁移与使用注意事项

从反向传播切换为零阶方法，并非简单地替换训练循环，而需关注以下风险与代价：

1. 数据效率降低：零阶方法需要成倍增加数据与采样批次来获得稳定信号，整体数据利用效率偏低。
2. 超参数与代码栈重写：采样分布、扰动规模、加权规则等均为新增超参数，无法沿用原有优化器配置；现有训练框架对零阶方法支持有限，需要大量自定义开发。
3. 验证与复现成本：由于梯度信号是统计性质的，实验波动更大，复现结果需要更严格的随机种子管理与多次重复实验。
4. 推理与训练资源重新评估：训练阶段硬件配置是否需要大规模支持多路并行扰动采样，需提前进行容量规划。
5. 稳定性风险：收敛路径不确定性高，容易出现损失震荡或拐点不可预测，对自动化调参体系提出了更高要求。

总结：路径之争的终点仍是“计算效率”的较量

反向传播与零阶优化方法的对比，本质上是“精确计算”与“广泛适用”之间的权衡。反向传播通过依赖可微性，换来了令人赞叹的收敛效率与工程成熟度；零阶方法则以放弃梯度计算为代价，换来了对模型结构的高度容忍，但当前其高昂的采样开销使其尚不具备规模竞争力。

从长远看，随着算力成本持续下降，基于“暴力采样”的策略或许会迎来新的机会窗口，这一点也在当前的研究中得到了理论层面的支持。但在可见的未来，反向传播依然是大模型预训练不可动摇的基石。理解两者的边界与条件，将帮助技术团队在正确的时间、正确的场景中，做出更理性的路线判断。