强化学习策略优化机理拆解：从组内相对优势到稳定训练

在大模型复杂推理能力的训练中，强化学习扮演着把“能生成”变成“会推理”的关键角色。围绕这一方向，业界出现了多种策略优化方法，其中一类以“组内相对优势估计”为基础、并叠加若干训练技巧的方案，常被讨论为“看起来都是已有小技巧的组合，却效果显著”。本文要解释的正是这一现象背后的技术原理：这些技巧分别解决什么问题，它们在同一训练链路中如何协作，以及为什么组合之后会产生超出单项叠加的稳定性收益。

一、原理概述：它到底在优化什么

这类方法的核心目标，是在给定问题分布上，提升当前策略模型生成高质量推理轨迹的概率。形式化地说，训练系统接收一批问题（prompt），由当前策略模型对每个问题采样一组候选答案，再依据可验证规则或奖励模型为每个答案打分，随后把分数转换为优势信号，用于更新模型参数。

它的输入是问题集合与当前策略；输出是更新后的策略参数。中间的处理链路包括：组采样、奖励计算、优势归一化、策略更新、约束与过滤。理解这条链路，就能理解为什么“小技巧”的组合会有效——每个技巧都作用在链路的特定环节，弥补了基线方法在该环节的缺陷。

二、背景问题：基线方法为何在长思维链上失效

直接套用基线策略优化方法处理长思维链推理任务，通常会遇到三类瓶颈。

第一是熵崩塌。策略模型在早期被少量高奖励样本主导，输出分布迅速收窄，采样多样性下降。一旦分布过于集中，模型就难以探索新的推理路径，后续训练近乎停滞。

第二是奖励噪声。基于规则的可验证奖励通常只有对错两档，组内样本若全部正确或全部错误，奖励方差为零，优势信号退化为无信息量，梯度方向被噪声主导。

第三是训练不稳定。长序列的逐 token 概率比在更新中容易越界，裁剪机制若设置不当，会放大异常样本的影响，导致参数更新剧烈波动。

这三类问题不是孤立出现的：熵崩塌会加剧奖励噪声的负面影响，奖励噪声又会通过不稳定的更新进一步压缩分布。因此，单点修补往往不够，需要在链路多个环节同时设计。

三、核心概念：组内相对优势

理解该方法的前提是掌握“组内相对优势”。传统做法依赖独立的价值网络估计每个动作的基线，成本高且难以适配语言模型微调。组内相对优势换了一种思路：

1. 对同一问题采样 G 个候选答案，构成一个组；
2. 为每个答案赋予奖励值；
3. 用该答案奖励与组内奖励均值、标准差的比较结果，作为它的优势。

直观地说，一个答案是否“好”，不取决于绝对分数，而取决于它相对同组其他答案的表现。奖励高于组内平均则优势为正，低于平均则为负。这种做法的价值在于：它把基线估计从“额外模型”变成了“组内统计”，既降低了系统复杂度，又天然适配语言模型逐 token 更新的场景。

其优化目标可抽象为：对组内每个答案的每个 token，计算新旧策略的概率比，乘以该 token 所属答案的优势，再做裁剪，并减去一项约束当前策略偏离参考策略过远的惩罚项。优势信号在整个答案的 token 上共享，这正是“答案级奖励、token 级更新”的典型结构。

四、系统组成：训练链路的四个关键模块

从系统视角看，这条训练链路可拆为四个模块。

采样模块负责按当前策略对每个问题生成一组候选，控制组大小与采样温度，直接影响组内奖励分布的形状。

奖励模块负责把答案映射为标量。规则型可验证奖励精度高但粒度粗，奖励模型粒度细但可能引入偏差，二者常混合使用。

优势计算模块负责组内归一化，把原始奖励转换为可比的优势信号，并处理方差为零等退化情况。

更新与约束模块负责计算概率比、执行裁剪、施加参考策略约束，并决定哪些样本参与更新。

四个模块串联工作，任一环节的设计缺陷都会向后传播。所谓“技巧组合”，本质是对这四个模块分别施加针对性的控制策略。

五、工作流程：一次迭代的完整状态变化

一次训练迭代可按以下步骤展开。

第一步，取一批问题，对每个问题用当前策略采样 G 个答案，记录每个 token 的旧策略概率。此时系统状态是“一批待评估的轨迹”。

第二步，对每个答案计算奖励。若采用规则奖励，则执行答案比对；若采用混合奖励，则叠加模型打分。状态变为“带分数的轨迹组”。

第三步，对每组做归一化，得到每个答案的优势。若组内奖励全相同，则触发退化处理，例如丢弃该组或降低其权重。状态变为“带优势的轨迹组”。

第四步，计算新旧策略的概率比，逐 token 乘以优势并裁剪，同时计算参考策略约束项，汇总为损失。

第五步，反向传播更新参数。状态变为“新策略”，进入下一轮采样。

这一流程的关键在于：优势在答案级计算、在 token 级使用；裁剪在 token 级执行、在答案级累积。两个粒度的衔接点，正是许多稳定性技巧的着力处。

六、关键机制：每个技巧解决什么问题

动态采样过滤。 组内奖励全对或全错时，优势无信息量。过滤这类组，等于把算力集中在“有区分度”的样本上，直接缓解奖励噪声。其代价是可能丢弃部分极端难或极端易的问题，需要配合难度分布监控。

裁剪范围的非对称设置。 概率比过低和过高代表的方向不同：过低意味着新策略显著降低了某 token 的概率，过高意味着显著提升。对二者采用不同的裁剪边界，可以抑制对低概率 token 的过度惩罚，减少分布过早收窄，从而延缓熵崩塌。

token 级与答案级的损失归约。 若对长答案逐 token 求平均后再组内平均，长答案的权重会被稀释。改为先按答案内 token 归约、再按组归约，或对长答案做长度归一化，可让优势信号更均衡地传递，避免短答案主导更新。

参考策略约束。 约束项限制新策略偏离参考策略的程度，防止模型在追逐高奖励时丢失原有语言能力。约束系数过大则学习缓慢，过小则漂移失控，需按训练阶段调整。

熵监控与正则。 对输出分布熵做持续监控，在熵值低于阈值时引入轻量正则或调整采样温度，是防止多样性枯竭的常用手段。

这些机制各自只解决一个环节的问题，但它们在链路上前后衔接：过滤净化了优势信号，非对称裁剪保护了分布多样性，归约方式保证了信号均衡，约束项守住了能力边界。组合之后，训练才进入可持续的循环。

七、示例说明：一段示意性伪代码

for batch in problems:
    groups = [sample(policy, q, G) for q in batch]
    rewards = [reward_fn(ans) for g in groups for ans in g]
    for g in groups:
        if std(g.rewards) == 0: continue   # 动态过滤
        adv = (g.rewards - mean(g.rewards)) / (std(g.rewards) + eps)
        for ans, a in zip(g.answers, adv):
            ratio = exp(logp_new(ans) - logp_old(ans))
            surr = min(ratio * a, clip(ratio, 1-e_low, 1+e_high) * a)
            loss += -reduce_by_answer(surr) + beta * kl(policy, ref)
    update(policy, loss)

这段伪代码体现了三个要点：过滤发生在优势计算前，裁剪发生在 token 级，归约发生在答案级。

八、技术优势与限制

优势方面，组内相对优势省去了独立价值网络，降低了显存与调参成本；多环节技巧组合让训练在长序列任务上更稳定，样本效率更高。限制方面，组采样使单问题算力开销随组大小线性增长；规则奖励只适用于可验证领域，开放域任务仍需奖励模型；过滤机制可能引入难度分布偏置；裁剪与约束的超参对任务敏感，迁移时需重新校准。

九、常见误区

其一，把这类方法理解为“技巧堆砌”。实际上各技巧作用于链路不同环节，缺少任一环都可能导致循环断裂。其二，认为组越大越好。组增大改善统计稳定性，但收益递减且算力上升。其三，忽视奖励设计。优势归一化只能放大区分度，无法创造区分度，奖励本身无信息时任何技巧都无效。其四，把约束项当作可有可无。它是防止能力漂移的最后一道闸门。

十、总结

回到最初的问题：为什么看似已有小技巧的组合会如此有效？原因在于，这类方法并非简单叠加，而是围绕“组采样—奖励—优势—更新”这条链路，对每个薄弱环节分别施加控制，使噪声、多样性与稳定性三类问题在同一循环内被同时约束。理解这一点，比记住技巧清单更重要：真正可迁移的是链路视角与环节对应的设计思路，而非某个具体超参。