简介：在强化学习微调中，模型单次正确率提升并不等于推理能力增强。本文对比“尖峰奖励优化”与“平坦极小值优化”两类目标在策略多样性、泛化能力与稳定性上的差异，分析GRPO类算法为何容易导致策略分布坍缩，并说明基于平坦区域的优化思路如何缓解这一隐患，帮助开发者在模型训练中做出更合理的选择。
在基于强化学习的数学推理微调任务中，开发者常常会观察到一个令人困惑的现象：模型的单题正确率持续上升，榜单分数稳步提高，但模型的真实推理能力却似乎在下降。训练初期，面对复杂数学题，模型偶尔能够尝试构造辅助函数、做几何变换，展示出一定的策略多样性。尽管这些尝试的稳定性不高，但至少说明模型具备在多种解题路径之间切换的能力。
然而，随着训练推进到中后期，情况发生了变化。Pass@1指标持续向好，模型输出的答案越来越“标准”，但它也开始变得僵硬。只要题目稍作变形、提问角度稍作调整，或者要求换一种推导方式，模型便陷入困境——它只会沿着一条高度固化的标准路径求解，其他备选思路几乎全部消失。
这个现象并非简单的过拟合。它的根源在于主流强化学习优化算法自身的机制缺陷：在追求奖励最大化的过程中，优化过程天然倾向于消灭策略多样性，最终导致策略分布坍缩到单一模式。
要理解这个问题，需要先明确本文对比的两个核心对象：
这是当前大多数强化学习微调方法默认采用的优化目标。其核心逻辑是：通过策略梯度或类似机制，引导模型参数向“奖励期望最高”的方向移动。在数学推理场景中，奖励通常表现为答案是否正确、格式是否合规等硬性信号。优化器不断强化那些能够稳定获得高奖励的采样路径，同时抑制奖励较低的路径。
这种目标的典型代表是GRPO（组相对策略优化）类算法。其工作方式是：对同一道题采样多条响应，在组内按照奖励高低计算相对优势，然后利用优势信号更新策略。组内比较机制天然倾向于奖励优势明显的路径，形成强烈的正向反馈循环。
平坦极小值优化借鉴了SAM（Sharpness-Aware Minimization）的思想，核心目标从“找到奖励最高的点”转变为“找到一片奖励高且对扰动不敏感的平坦区域”。在Flat-RLVR类方法中，优化目标不再仅关注当前参数点上的奖励值，还关注参数附近邻域内的奖励稳定性。
具体而言，平坦优化追求的是：当模型参数发生小幅扰动时，奖励不会急剧下降。这意味着优化器不再死盯着某一个峰值，而是倾向于收敛到更宽、更平缓的奖励区域。这类区域虽然在单点奖励上可能略低于最高峰值，但在面对输入分布变化、数据扰动或评估方式调整时，表现更加稳健。
可以用地形来类比这两类目标。尖峰奖励优化相当于在参数空间中寻找“最高的山峰”——山顶可能很高，但四周陡峭，一步踏空就跌落谷底。平坦极小值优化则是在寻找“宽阔的高原”——海拔可能略低于最高峰，但站上去之后，无论往哪个方向走几步都不会摔得太惨。
尽管两类优化目标存在本质差异，但它们共享一些基础前提和共同诉求：
两类方法都建立在策略优化基础之上，使用奖励信号驱动模型行为变化，都采用采样、评估、更新参数的循环流程。无论是尖峰优化还是平坦优化，核心都是为了找到一个策略，使模型在目标任务上获得更高的期望奖励。
在数学推理或其他确定性任务中，两者都会关注模型单次作答的正确率。单次正确率是最直观的效果指标，也是训练过程中的基础监控维度。平坦优化并不否定Pass@1的价值，而是在其基础上增加额外的约束条件。
值得注意的是，即使是平坦极小值优化，也无法完全消除策略多样性下降的趋势。强化学习本质上是朝着某个目标方向收敛的过程，多样性损失是不可避免的。区别在于，尖峰优化加速了这一过程，而平坦优化试图延缓并减轻多样性损失带来的泛化代价。
无论采用哪类优化策略，最终目的都是让模型在面对未见过的新问题时，能够给出合理且正确的推理过程。两者的分歧不在于“要不要提升推理能力”，而在于“如何判断推理能力是否真正被提升”。
以下从多个维度对比两类优化目标的关键差异。
尖峰奖励优化的目标函数可以简化为：
θ* = argmax R(θ)
其中R(θ)表示当前参数θ下的期望奖励。优化过程只关心单点奖励值，不考虑参数周围的局部地形。
平坦极小值优化的目标函数则可以简化为：
θ* = argmax min_{||δ||≤ρ} R(θ+δ)
其中δ表示参数空间中的小幅扰动，ρ为扰动半径。这个目标要求优化器找到的参数点，在其周围一个球形邻域内，奖励的最小值也尽可能高。
在尖峰优化下，策略分布演化呈现明显的“富者越富”效应。以一个具体的数学推理场景为例：假设一道难题存在三条可行路径：
| 路径 | 初始采样概率 | 平均奖励 | 奖励方差 | 尖峰优化后的采样概率 | 平坦优化后的采样概率 |
|---|---|---|---|---|---|
| 标准代数推导 | 45% | 高 | 低 | 92% | 68% |
| 构造辅助函数 | 30% | 中 | 高 | 5% | 18% |
| 几何转化 | 25% | 中 | 高 | 3% | 14% |
从表中可以看到，尖峰优化几乎将全部采样概率集中到了标准代数推导路径上，而平坦优化虽然也提升了主要路径的概率，但保留了相当的探索余量。
泛化能力的差异在“题型变换”场景中最为明显。当训练数据中的题目以某种固定形式出现时，标准路径表现优异；一旦题型发生迁移（例如从代数表达改为几何构造），标准路径可能完全失效。
尖峰优化下的模型此时面临“无路可退”的困境：它唯一掌握的路径已经失效，而曾经在训练早期出现过的备选路径早已被梯度信号冲刷殆尽。模型的表现会从高位骤降，甚至开始输出缺乏逻辑的胡言乱语。
平坦优化下的模型在这类场景中具有明显优势。因为它在训练过程中保持了一定程度的路径多样性，即使主路径失效，仍然保留着切换到备选路径的能力。虽然在常规题型上的Pass@1可能略低，但在分布外样本上的表现更加稳健。
尖峰优化在训练过程中的奖励曲线通常呈现快速上升然后平台化的特征。早期迭代中，优化器快速锁定高奖励路径并加速收敛，Pass@1指标迅速拉升。但在接近收敛时，策略熵持续下降，更新信号的多样性枯竭，模型进入“僵化”状态。
平坦优化则表现出更平滑的收敛特性。由于优化目标中引入了局部邻域的约束，更新方向需要同时考虑当前点和邻近点，梯度信号的变化更加平缓。这导致前期的Pass@1增长速度可能略慢于尖峰优化，但训练曲线的稳定性更好，后期不容易出现策略熵骤降。
在实际训练中，奖励信号往往不是完全干净的。数学推理中的最终答案对错是清晰的，但中间过程的质量、思路的合理性等因素无法被简单地二值化。标注噪声、奖励模型的不准确、任务的固有随机性等都可能引入奖励噪声。
尖峰优化对奖励噪声敏感。如果某个采样点因为噪声而获得了异常高的奖励，优化器会迅速向该点靠拢，可能导致策略被误导到错误方向。平坦优化通过邻域约束天然地滤除了一部分噪声影响：如果一个高奖励点是孤立的尖峰，其邻域内的奖励均值不会很高，因此平坦优化不会过分热衷于追求这类点。
为了缓解策略坍缩，开发者常见的做法是提高采样温度或增加熵正则项。但这些方法是“外力干预”，只能减弱坍缩的程度，不能改变坍缩的方向。尖峰优化在提高温度后，采样多样性暂时恢复，但几轮迭代后，优化器再次将概率集中到高奖励路径，多样性再度消失。
平坦优化则从优化目标层面改变了对多样性的态度。平坦区域本身要求一定的“宽度”，优化器在寻找平坦区域时，必须保留参数空间中的一定探索范围。这意味着平坦优化对采样温度的依赖程度更低，即使使用标准温度，它也会自然地保持一定的策略熵。
| 对比维度 | 尖峰奖励优化 | 平坦极小值优化 |
|---|---|---|
| 核心目标 | 最大化单点期望奖励 | 最大化邻域内的最小奖励 |
| 策略多样性 | 快速衰减，后期坍缩 | 适度衰减，保留备选路径 |
| 常规题型Pass@1 | 较高 | 略低或相当 |
| 分布外泛化能力 | 较弱，变式题目上崩盘风险高 | 较强，面对扰动更稳健 |
| 训练收敛速度 | 前期快，后期平台化 | 前期稍慢，曲线更平滑 |
| 对奖励噪声的敏感度 | 高 | 低 |
| 对采样温度的依赖 | 强，需要外部干预维持多样性 | 弱，天然保持一定探索空间 |
| 超参数敏感度 | 对学习率、KL系数等敏感 | 增加了扰动半径等参数，需要额外调优 |
| 计算开销 | 相对较低 | 需要多次前向计算估计邻域奖励，开销更高 |
| 适用场景 | 固定题型、评估方式稳定的任务 | 开放域推理、变式丰富的任务 |
| 主要风险 | 策略坍缩，泛化能力退化 | 奖励上界可能略低于理论最优 |
固定格式考试类任务：如果应用场景中的题目类型高度固定，评估方式与训练数据完全对齐（例如特定格式的标准化测试），那么策略坍缩的风险相对可控。模型只需要掌握一套标准解答流程即可获得满意表现，尖峰优化可以快速达到目标。
资源受限的环境：平坦优化需要额外的前向计算来估计参数邻域内的奖励情况，计算开销高于尖峰优化。在训练资源紧张、迭代周期要求短的情况下，尖峰优化的性价比更高。
对单点指标有硬性要求的场景：某些业务指标明确规定要求Pass@1达到某个阈值，且测试分布与训练分布一致。这种情况下，尖峰优化可以更直接地最大化该指标。
开放域推理任务：如果模型需要面对真实用户提出的各种变式问题，输入分布无法被训练集完全覆盖，那么策略多样性具有实际价值。平坦优化保留的备选路径可以在主路径失效时提供兜底能力。
长尾场景覆盖：当业务要求模型在边界案例、极端输入上同样表现稳定时，平坦优化对扰动的鲁棒性更具优势。
持续迭代的在线系统：对于需要频繁更新模型、面对持续变化的数据分布的系统，平坦优化提供的参数鲁棒性可以降低模型在新数据上的性能波动。
对安全性和稳定性要求高的领域：在涉及合规审查、安全边界的应用中，一个对输入扰动高度敏感的模型可能带来不可预料的风险。平坦极小的特性可以有效降低这类风险。
选型不应脱离具体条件。建议从以下维度进行综合评估：
首要因素：测试分布与训练分布的一致性。如果一致性很高，尖峰优化的策略坍缩风险可控；如果一致性低或不可知，平坦优化的鲁棒性优势更为重要。
次要因素：计算资源预算。平坦优化通常需要增加前向计算次数，训练成本上升。开发团队需要在效果与成本之间做出权衡。
长期维护视角。如果模型需要长期运行并持续迭代，策略多样性是一项值得投资的长期资产。短期追求单点指标的提升，可能在未来引入更高的重新训练和维护成本。
在实际工程中，两类目标并非互斥。一种可行的做法是：训练前期采用尖峰优化快速建立基础能力，中后期切换为平坦优化来巩固策略的鲁棒性。或者，在尖峰优化的目标函数中引入轻量级的平坦正则项，在不显著增加计算成本的前提下获得部分平坦性收益。
无论选择哪种优化目标，评估阶段都需要超越单一的Pass@1指标。建议补充以下维度：
如果从尖峰优化方案切换到平坦优化方案，需要注意以下事项：
超参数需要重新调优：扰动半径是平坦优化中新增的关键超参数。过小的扰动半径近似退化为尖峰优化，过大则可能导致优化目标过于保守，影响最终奖励水平。
训练时长和资源预估：平坦优化通常需要额外的邻域采样计算，训练时间可能增加。在制定项目计划时需要充分考虑这一因素。
已有模型的续训问题：如果希望在一个已经被尖峰优化训练到策略坍缩的模型上继续使用平坦优化，需要意识到，消失的策略多样性可能无法完全恢复。此时更好的做法可能是从一个更早期的检查点重新开始，或在训练初期就引入平坦约束。
评估基准的适配：如果原有评估基准完全围绕Pass@1设计，切换到平坦优化后可能出现指标看似“下降”的情况。需要同步引入分布外测试集和多样性评估指标，才能全面反映模型能力的真实变化。
强化学习微调中的策略坍缩并不是开发者操作失误导致的偶然问题，而是尖峰奖励优化目标在数学推理任务上的一种系统性倾向。GRPO类算法通过组内相对优势机制加速了“富者越富”的循环，使模型在追求更高单次正确率的过程中，逐渐丧失了面对新问题时的策略弹性。
平坦极小值优化提供了一种不同的问题定义方式：不再追问“哪个点的奖励最高”，而是追问“哪片区域的奖励较高且对扰动不敏感”。这个看似微小的目标变化，在训练动力学上引发了显著差异——策略多样性衰减放缓、泛化稳定性增强、对奖励噪声的敏感度下降。
对于开发者而言，核心问题不在于“哪种方法更好”，而在于“你的业务场景更需要哪类能力”。如果测试环境高度确定、资源有限，尖峰优化仍然是理性的选择；如果模型需要面对开放且持续变化的真实输入，平坦优化所保留的策略冗余，恰恰是决定系统下限的关键因素。
最终，单一指标永远无法完整度量模型的真实能力。Pass@1高，只能说明模型在这条测试路径上走得熟练。只有同时关注多样性、鲁棒性和分布外表现，才能判断它是否真正具备了面对未知问题的推理能力。