零阶优化方法：绕开反向传播的Transformer预训练技术

一、概念定义

零阶优化（Zeroth-Order Optimization）是一类不依赖梯度信息、仅通过函数值评估来搜索最优解的优化方法。在深度学习语境下，它特指不使用反向传播（Backpropagation）计算梯度，而是通过对模型参数或中间激活施加随机扰动、观察损失函数变化来估计优化方向的技术路线。近期，一种基于零阶优化的预训练方法被提出并在Transformer架构上进行了实验验证，其核心思路是在每层激活输出上添加独立高斯噪声，利用一次前向传播并行评估大量”虚拟实验个体”的表现，从而估计出等效的梯度方向。

从技术视角看，零阶优化是对传统一阶梯度方法的根本性替代尝试；从应用视角看，它旨在突破反向传播对”处处可微”这一强假设的依赖，使不可微模块、离散计算乃至外部程序都有可能被纳入训练回路；从研究视角看，它为探索大规模预训练的新范式提供了一条不依赖链式法则的路径。

二、背景与价值

2.1 反向传播的统治地位与局限

过去十余年，反向传播几乎是训练深度神经网络的唯一主流算法。从卷积网络到Transformer，从自然语言处理到计算机视觉，几乎所有成功的大模型训练都建立在反向传播之上。现行的优化器设计、模型架构工程、甚至GPU硬件的指令集优化，在很大程度上都是围绕高效计算和传递梯度而演化出来的。

然而，反向传播有一个根本性的前提假设：整个计算图必须处处可微。这意味着：

• 不可微的激活函数或操作（如离散采样、硬阈值判断）无法直接参与梯度训练；
• 外部程序调用（如符号推理、搜索算法）无法被嵌入端到端训练流程；
• 离散决策过程（如Token的硬选择、路由机制）通常需要松弛近似才能求导。

这些限制在模型规模尚小时可以通过各种技巧绕过，但当研究者希望将更复杂的非可微组件融入大模型时，反向传播的天花板就变得越来越明显。

2.2 零阶优化为何被重新关注

零阶优化并非新概念——在强化学习、黑盒优化和进化策略等领域早已有广泛应用。其核心吸引力在于”什么都不挑”：无论模型内部结构如何、是否可微，只要能前向传播并得到损失值，就能进行优化。

近年来，随着算力成本的持续下降和并行计算能力的提升，零阶方法在深度学习中的可行性被重新审视。研究者开始探索：如果计算资源足够充裕，能否用”暴力评估”替代”精确求导”，在Transformer这样的大规模架构上实现有竞争力的预训练效果？

三、核心组成与关键机制

零阶优化方法用于Transformer预训练时，其核心组成可拆解为以下几个关键模块：

3.1 激活值噪声注入

与传统零阶方法直接扰动权重不同，该方法选择在每一层的激活输出上独立地添加高斯噪声。具体而言：

• 对每个Token位置的每个通道，独立采样一个高斯随机变量；
• 噪声直接加在激活值上，而非模型权重上；
• 这意味着同一批次中的不同Token经历了不同的”虚拟实验条件”。

这种设计的优势在于：权重保持不变，避免了对参数空间的直接高维扰动，同时激活空间的维度通常远低于参数空间，降低了噪声估计的方差。

3.2 虚拟种群（Virtual Population）机制

一次前向传播中，由于每个Token都被施加了独立噪声，整个批次就等价于一个包含数千个”虚拟实验个体”的种群。每个个体对应一种噪声配置下的前向结果，而它们共享同一组权重。

这种机制的关键价值在于评估效率：传统零阶方法需要对每个扰动方向单独做一次前向传播，而虚拟种群机制通过一次传播就能并行获取大量评估样本，极大提升了样本利用效率。

3.3 噪声加权与梯度估计

核心更新规则可以概括为：

# 伪代码：零阶梯度估计示意
for each layer:
    for each token in batch:
        noise = sample_gaussian(mean=0, std=sigma)  # 独立采样
        perturbed_activation = activation + noise
        forward_pass(perturbed_activation)          # 前向传播
        loss_i = compute_loss(perturbed_activation) # 记录损失
    # 加权平均：损失下降的噪声方向获得正权重
    gradient_estimate = weighted_average(noise_i * (baseline - loss_i))
    update_weights_using(gradient_estimate)

哪些噪声配置导致了损失降低，就给予更高的权重；导致损失升高的则被抑制。最终通过加权平均得到一个近似的梯度方向，用于更新模型参数。

四、工作原理详解

4.1 从”试错”到”统计估计”

零阶优化的哲学可以用一个直觉来理解：假设你在漆黑的房间里找最低点，反向传播相当于你手里有一个精确的指南针告诉你哪个方向往下；而零阶方法相当于你随机往各个方向迈一步，感受一下是高了还是低了，然后把”往下的步子”汇总起来，得出一个大致方向。

单次随机扰动的估计噪声很大，但当虚拟种群规模足够大时（即一次前向中评估的个体数足够多），根据大数定律，噪声的统计期望会收敛到真实梯度方向。这就是该方法声称”在大规模种群时能很好近似反向传播”的理论基础。

4.2 与进化策略的关系

从更广义的视角看，这种方法属于进化策略（Evolution Strategies）家族的一个变体。经典进化策略通过对参数加噪声、评估适应度、然后加权更新来优化；而本方法将噪声施加在激活值而非参数上，并利用Transformer的序列结构天然实现大规模并行评估。

五、典型适用场景

零阶优化在Transformer预训练中的应用，目前主要处于研究探索阶段，但其潜在适用场景包括：

• 含不可微组件的混合架构：当模型中嵌入了离散决策模块、符号推理组件或外部API调用时，零阶方法可以绕过梯度阻断问题；
• 黑盒模型调优：在无法获取内部梯度信息的场景下（如使用第三方封装的子模型），零阶方法提供了一种仅依赖输入输出的优化手段；
• 分布式训练中的通信压缩：零阶方法不需要反向传播中的梯度同步，理论上可降低通信开销（尽管目前计算开销远大于通信节省）；
• 科学探索与新型架构验证：对于尚不清楚如何设计梯度流的新型网络结构，零阶方法提供了一种”先能训练、再逐步改进”的基线方案。

六、与相关概念的区别

维度	反向传播（一阶）	零阶优化	强化学习中的策略梯度
信息来源	精确梯度（链式法则）	函数值比较	奖励信号的期望梯度
可微性要求	必须处处可微	无要求	策略需可微或用REINFORCE
样本效率	高（每步利用梯度）	低（需大量评估）	中等
并行评估能力	有限	强（虚拟种群）	弱
计算成本	较低	较高	中等

需要特别指出的是，零阶优化与强化学习中的REINFORCE算法有相似之处——都不依赖精确梯度，而是通过采样估计方向。但零阶方法在这里被用于监督式预训练任务，而非序贯决策问题。

七、使用注意事项与当前局限

7.1 计算成本是核心瓶颈

该方法目前最大的挑战在于计算效率。由于需要通过大量随机评估来估计梯度，其每次参数更新所需的计算量远高于反向传播。研究者自身也坦承，当前方法的成本比反向传播高出数个数量级，要真正具备”替代”资格，需要在算法效率上实现质的飞跃。

7.2 实验规模与工业差距

现有实验最大仅覆盖约2.43亿参数、2000万Token的训练预算，与工业界动辄千亿Token、千亿参数的预训练规模相比仍有巨大差距。在这种规模差距下，方法的可扩展性尚未得到充分验证。

7.3 第三方复现的冷静观察

独立研究团队的复现实验表明：在论文设定的单轮比较框架下，零阶方法的结果基本可以复现，但其与反向传播的差距并不像论文所强调的那样显著。一旦为反向传播配置更合适的优化器，或允许其在相同数据上进行多轮训练，反向传播便展现出明显优势，且计算成本远低于零阶方法。

这一观察提示我们：零阶方法的当前价值更多在于”证明可行性”——即证明零阶方法可以用于Transformer预训练，而非在当下直接替代反向传播。

7.4 选型建议

对于当前阶段的工程实践：

• 不建议在生产级大模型预训练中直接采用零阶方法替代反向传播；
• 可关注其在含不可微模块的特殊架构中的探索性应用；
• 关注后续在算法效率、噪声方差缩减、自适应采样等方面的研究进展。

八、总结

零阶优化方法在Transformer预训练中的应用，本质上是一种绕开反向传播、通过激活值随机扰动与大规模并行评估来近似梯度的技术范式。它的核心价值在于打破”处处可微”的限制，为含非可微组件的复杂模型提供了一条训练通路。然而，受限于高昂的计算成本和尚未验证的大规模扩展性，它目前仍处于学术研究的前沿探索阶段，而非工程落地的成熟方案。对于技术选型者而言，理解其原理与边界，比追逐其”替代反向传播”的叙事更为重要。未来若在计算效率上取得突破，零阶优化有望成为深度学习训练工具箱中的重要补充。