推理大模型后训练方案对比：评分引导自蒸馏与强化学习路线

一、对比背景：为什么需要比较这两类方案

推理大模型在数学、代码、科学问答等任务上的能力提升，高度依赖后训练阶段的优化策略。当我们已经能够用一套明确的评分标准（rubric）定义”什么是好答案”时，核心挑战在于：如何把这些分维度的评价标准，高效地转化为模型在生成每一步都能感知的训练信号？

当前业界主流的后训练方案大致分为两条路线：

• 路线A：可验证奖励的强化学习（RLVR类方案）——以标量奖励驱动策略优化；
• 路线B：在线自蒸馏（OPSD类方案）——以教师模型在每个token上的稠密指导驱动学习。

两者都在特定场景下取得了显著效果，但在”如何利用评分标准中的细粒度信息”这一关键问题上，各有结构性局限。本文将围绕这两条路线展开系统对比，并探讨”rubric引导的自蒸馏”这一融合思路如何弥补各自短板。

二、对比对象定义

2.1 路线A：可验证奖励的强化学习

这类方案的核心逻辑是：模型采样出完整推理轨迹，通过可验证手段（如单元测试、结果匹配）或基于大模型的评判（LLM-as-a-Judge）给出一个标量奖励分数，再利用强化学习算法（如策略梯度类方法）更新模型参数。

它解决的核心问题是：在缺乏参考答案的开放式场景中，仍能通过”结果对错”给模型一个优化方向。

2.2 路线B：在线自蒸馏

这类方案的核心逻辑是：学生模型从自身策略采样推理轨迹，一个”特权教师”沿着这条轨迹的每一个token位置提供监督信号（如教师在该位置的输出概率分布），实现token级的稠密蒸馏。

它解决的核心问题是：把监督信号从”只看终点”扩展到”关注过程”，缓解credit assignment瓶颈。

2.3 融合思路：Rubric引导的自蒸馏

这是一种将评分标准（rubric）中的分维度判断转化为每步训练信号的新范式——既不把信息压缩成标量奖励，也不把信号绑定在单一参考轨迹上，而是让模型在生成过程中直接感知”这一步在哪个维度上做得好或不好”。

三、相同点分析

尽管两条路线在技术实现上差异明显，它们在以下方面存在共性：

1. 目标一致：均致力于提升推理模型在复杂任务上的准确性和推理质量，而非简单的语言流畅度。
2. 在线采样：都要求学生模型在自身当前策略下采样轨迹（on-policy），以避免离线数据分布与当前模型分布之间的失配问题。
3. 依赖评分标准：无论是构造奖励函数还是指导教师行为，都需要一套明确的rubric来定义”好答案”的属性。
4. 计算开销较高：两者都涉及多次采样与评估，对算力资源有一定要求。

四、核心差异分析

4.1 监督信号的粒度与形式

维度	路线A（RLVR）	路线B（OPSD）
信号类型	标量奖励（单个数值）	token级概率分布（稠密向量）
反馈时机	整条轨迹生成完毕后	每个token生成时
信息丰富度	低——仅”对/错”或”好/差”	高——每个位置都有指导
维度感知	无——无法区分错误类型	部分——依赖教师的隐式判断

路线A的根本问题在于：一个标量分数无法告诉模型”你在第二步的公式推导错了”还是”你在第五步的结论归纳偏了”。当两条犯了不同错误的轨迹拿到相同奖励时，模型无法进行针对性修正。

路线B虽然在每个token上都有信号，但这些信号本质上来自教师模型在参考轨迹上的输出——教师”看到”的是某一条特定的正确推法，而非评分标准本身。

4.2 对”参考轨迹”的依赖程度

这是两条路线最关键的结构性差异：

• 路线A不依赖参考轨迹：它只需要知道”结果对不对”，不需要知道”正确的推理过程长什么样”。这使得它在答案形式多样、推理路径不唯一的场景下更灵活。
• 路线B强依赖参考轨迹：教师的监督信号是沿着一条固定的参考轨迹展开的。当学生的推理路径偏离参考轨迹时，教师可能给出”全局改写”的建议而非”局部修正”的指导。

实践中观察到的典型现象是：OPSD训练出的模型容易在没有新信息输入的情况下反复回退、重算中间量，导致推理链冗长且冗余。这正是因为教师信号被绑定在单一轨迹上，学生一旦偏离就”不知道该往哪走”。

4.3 评分标准（Rubric）的利用方式

维度	路线A	路线B	Rubric引导自蒸馏
Rubric的角色	构造奖励函数的依据	间接影响教师行为	直接转化为每步信号
维度信息是否保留	否——压缩为标量	部分——隐式在教师输出中	是——分维度、逐token
开放性任务适配	需借助LLM-as-a-Judge	依赖高质量参考答案	天然适配多维度评价

路线A中，即使引入rubric让LLM打分更可靠，最终进入优化器的仍然是一个数字。路线B中，rubric可能被用于筛选参考答案或指导教师，但教师信号本身并不直接反映rubric的各个维度。

Rubric引导的自蒸馏则尝试在每一步都告诉模型：”你当前这一步在’逻辑严密性’维度上得分如何，在’表达清晰度’维度上又如何”，从而实现真正的细粒度、多维度反馈。

4.4 训练稳定性与收敛特性

• 路线A：强化学习本身存在训练不稳定的固有挑战，包括奖励稀疏导致的高方差梯度、奖励黑客（reward hacking）等风险。需要精心设计奖励塑形（reward shaping）和KL散度约束等技巧。
• 路线B：蒸馏目标相对稳定，但由于参考轨迹的单一性，容易陷入”模仿一条路径”的模式坍缩，缺乏探索多样性。
• Rubric引导自蒸馏：通过多维度信号提供更丰富的梯度信息，理论上有助于缓解reward hacking和模式坍缩，但实现复杂度更高，需要设计合理的信号聚合与权重策略。

4.5 接入方式与开发改造量

维度	路线A	路线B	Rubric引导自蒸馏
需要构建的组件	奖励模型/验证器、RL训练框架	教师模型、采样管线	多维度评分模块、信号聚合层
核心改造点	奖励函数设计	教师模型部署与对齐	rubric信号的token级映射
调试难度	高——奖励设计敏感	中——参考答案质量敏感	高——信号平衡需精细调优

五、典型场景选择

5.1 更适合路线A的场景

• 答案可自动验证的任务：如代码生成（单元测试判定）、数学题（结果匹配）。此时奖励信号客观明确，不需要复杂的rubric设计。
• 推理路径高度多样化的任务：当正确答案的推导方式不唯一时，不适合绑定单一参考轨迹。
• 团队具备RL训练经验：需要有能力处理强化学习的稳定性调优。

5.2 更适合路线B的场景

• 存在高质量参考答案的任务：如标准解题过程、规范代码实现。教师有明确的”正确示范”可参考。
• 需要过程监督的场景：当最终结果相同但推理过程质量差异大时（如步骤跳跃、逻辑跳步），token级指导更有价值。
• 算力相对有限、希望降低训练方差：蒸馏目标比RL梯度更平稳。

5.3 更适合Rubric引导自蒸馏的场景

• 开放式、多维度评价的任务：如科学论述、研究问答、复杂推理链评估，需要同时关注逻辑、表达、完整性等多个维度。
• 希望摆脱对单一参考答案依赖的场景：当答案形式多样、无法穷举参考轨迹时。
• 团队希望将已有rubric体系直接转化为训练信号：减少从”评价标准”到”训练目标”的信息损耗。

六、选型建议

1. 如果你的任务答案可以自动验证，且团队有RL经验，路线A是成熟可靠的选择，尤其在代码和数学领域已有大量验证。
2. 如果你有高质量参考答案且关注推理过程质量，路线B能提供更稠密的监督，但需警惕轨迹冗长和模式单一化。
3. 如果你的评估标准本身是多维度的rubric，且不希望信息在训练中被压缩或绑定，Rubric引导的自蒸馏是值得探索的方向——它在理论上同时解决了”奖励稀疏”和”参考轨迹单一”两个问题，但工程实现复杂度更高，需要在信号设计、维度权重、稳定性调优上投入更多精力。
4. 在团队运维能力有限、希望降低训练调参成本时，可优先考虑路由程度更高、工具链更成熟的方案；而在追求极致推理质量、且有能力进行深度定制时，更细粒度的信号方案值得投入。

七、迁移与使用注意事项

如果从路线A或路线B迁移到Rubric引导的自蒸馏方案，需要重点关注以下方面：

• 数据准备：需要将已有的rubric文本转化为可在token级注入的信号格式，可能涉及对评分维度的结构化拆解和对齐。
• 信号平衡：多维度信号之间的权重如果失衡，可能导致模型过度优化某一维度而忽略其他维度，需要设计合理的归一化和动态调整策略。
• 稳定性风险：更丰富的信号并不自动等于更稳定的训练，梯度冲突和信号噪声可能引入新的不稳定因素，建议从小规模实验逐步放大。
• 兼容性：原有的采样管线、评估框架可能需要扩展以支持多维度信号的注入与记录，接口层面需要做适配改造。
• 资源评估：多维度信号的计算和存储开销通常高于单一标量奖励，需要提前评估算力和存储预算。

八、总结

推理大模型后训练的核心矛盾，在于”我们知道好答案长什么样”与”模型在训练中只收到模糊信号”之间的鸿沟。可验证奖励强化学习用一个数字概括一切，丢失了维度信息；在线自蒸馏用一条轨迹锚定一切，丢失了多样性。Rubric引导的自蒸馏试图走出第三条路——让评分标准本身成为每一步的训练信号，既保留细粒度的维度信息，又不绑定在单一推理路径上。

对于技术决策者而言，选型的关键不是”哪个方案更好”，而是”你的任务特征、团队能力和资源条件更匹配哪种信号范式”。在实际落地中，也不排除将多种方案组合使用——例如用RL提供探索方向，用蒸馏提供过程稳定，用rubric信号提供精细引导——以获得更全面的后训练效果。