推理大模型后训练策略对比：稀疏奖励、路径绑定与信号重构的博弈

引言：后训练阶段的核心问题——监督信号从哪来、怎么用？

大语言模型在预训练之后，需要经历指令微调与对齐阶段才能具备真正可用的推理能力。随着模型从“会说话”走向“会思考”，后训练的核心矛盾逐渐集中在一点：如何构造高效、可解释、可泛化的监督信号。

当前主流的后训练方案并非互斥，而是沿着两条截然不同的技术路径演进：

• 路线A：可验证奖励的强化学习。该方法将答案正确与否转化为一个标量奖励，通过在线采样与策略优化逐步逼近最优行为。
• 路线B：在线路径自蒸馏。该方法放弃结果级评分，改为使用教师模型沿学生的具体生成路径提供稠密、Token级的监督。

两条路线都曾在学术与工程实践中表现出显著效果，但它们各自存在不可忽视的瓶颈。本文将从对比视角出发，系统分析这两种方案在信号构造、更新策略、轨迹利用上的本质差异，并提出第三种思路——以评分标准（Rubric）作为训练信号的引导式自蒸馏，作为融合两者优点的折中方案。

一、对比对象定义与基础逻辑

1. 路线A：可验证奖励的强化学习

该路线以在线策略优化框架为骨架，典型流程包括：模型针对问题采样多个回答，将回答与事先定义的正确性判据比对，产生一个全局标量奖励（通过/不通过、得分值），再通过策略梯度法优化模型。

其核心假设是：“可验证的客观结果”足以指导模型学到正确的推理模式。在数学、代码执行等封闭域任务中，这一假设基本成立，因为单元测试或标准答案能够提供无偏、低成本的奖励信号。

2. 路线B：在线路径自蒸馏

该路线不依赖于结果级评分，而是利用一个“特权教师模型”监督学生的生成过程。教师看到的是学生的完整轨迹，并且被要求沿着该轨迹的每一步给出“下一步该怎么走”或“这一Token是否正确”的反馈。这一监督以Token级交叉熵形式作用于学生，以实现稠密、局部化的学习信号。

其核心假设是：“看得见每一步的对错”比“只知道最后对错”更容易优化模型。它更贴近人类学习过程中的过程性反馈。

二、相同点：目标一致，但策略分化

尽管两条路线在信号构造上差异显著，但它们共享以下基础逻辑：

• 均为在线学习：两者都要求模型在训练过程中实时采样生成新的轨迹，而非使用静态离线数据集，从而避免分布偏移问题。
• 均围绕策略优化：本质上都在调整模型的生成概率分布，使其更倾向于产生符合期望的高质量回答。
• 均依赖“比较”机制：强化学习隐含比较“当前行为”与“期望行为”的差距；自蒸馏则显式比较学生输出与教师期望之间的交叉熵差异。
• 面临共同的探索难题：无论信号是标量还是Token级，模型都需要探索新的轨迹空间，才能获得更多样化的训练样本。

三、核心差异分析：信号的粒度、绑定对象与更新方向

1. 信号粒度：结果级 vs. 路径级

维度	路线A（强化学习）	路线B（在线自蒸馏）
反馈粒度	整条回答结束后给出一个标量	每个Token生成后立即给出指导
信息维度	多维度信息被压缩为一个分数	可保留局部步骤的正确性判断
难以定位错误	模型无法判断扣分来自哪一步	可在局部错误点上定向修正

关键问题在于：路线A的标量奖励会丢失大量语义信息。例如两个回答，一个错在中间计算，一个错在最终概念理解，但它们的奖励可能完全相同。模型在策略更新时，无法分析“为什么错”，只能盲目调整整个分布。路线B虽然能够提供局部信号，但由于教师被参考答案直接条件化，它会倾向于将学生的轨迹“拉回”参考路径，而非真正评估该轨迹本身是否合理。

2. 监督绑定对象：正确答案 vs. 参考答案

这一差异是两者最深刻的区别。

• 路线A：监督信号绑定在“结果属性”上，即答案是否正确、是否通过验证器。它不关心模型如何得到这个结果，因此对轨迹自由度容忍更高。
• 路线B：监督信号绑定在“某一条特定路径”上，教师是参考轨迹条件化的。学生的任何偏离——即使该偏离最终也能通向正确答案——都会被视为“错误”信号而触发全局改写。

这一绑定策略直接导致路线B的“过度修正”问题：学生轨迹一旦偏离参考轨迹，教师会引导其进行回溯、重算或逐步退回到近似参考路径，从而产生长而冗余的推理链。模型并未学到“如何优化自己的推理策略”，而是学到“如何复现教师的某一种特定路径”。

3. 更新方向：策略梯度 vs. 局部MLE

• 强化学习路线通过对奖励的期望梯度更新，存在高方差问题，且稀疏奖励下样本效率低。
• 蒸馏路线本质上走的是极大似然估计，梯度方差低，训练稳定，但其收敛点高度依赖于教师的路径分布，容易牺牲生成的自发性与多样性。

四、第三种方案：Rubric引导的自蒸馏——信号重构的关键突破口

如果我们将前两种路线视为光谱的两极：一边是“得分太少”，一边是“路径太死”。那么是否存在一种中间方案——既保留稠密、过程性的信号，又不过度绑定单一参考轨迹？

这正是以评分标准（Rubric）引导的自蒸馏所探索的方向。

1. 核心设计思路

将“评分标准”本身转化为训练信号，而非将其压缩为标量或绑定到路径。其流程可以抽象为：

1. 定义一组Rubric维度，例如：逻辑一致性、步骤冗余度、中间计算正确性、最终答案覆盖度等；
2. 针对一条学生生成的轨迹，使用一个评估模型按Rubric分维度打分，输出结构化的文本判断（而非单一分数）；
3. 将结构化的反馈作为蒸馏信号，指导学生模型在对应错误的维度上局部修正。

关键区别在于：反馈不再是一个数字，而是一段描述——“第三步的整合逻辑存在跳跃”，或“第二步的中间量与其余步骤无关”。模型可以基于文本反馈自行判断如何调整，而不必强行对齐某条参考轨迹。

2. 与路线A、B的对比优势

• 相较于路线A：信号具有维度级语义，能够区分“计算错误”与“结构混乱”，解决credit assignment问题。
• 相较于路线B：不依赖于参考路径，允许学生保持自己的推理习惯，只要其在各Rubric维度上满足要求即可。

这意味着模型在学习过程中既能获得多维度过程反馈，又能保持生成轨道的多样性，避免过度拟合单一答案形态。

五、对比表格：三方案技术特性总结

维度	可验证奖励强化学习	在线路径自蒸馏	Rubric引导自蒸馏
信号类型	标量结果奖励	Token级路径蒸馏	分维度文本反馈
是否绑定参考路径	否	是	否
错误定位能力	弱，仅结果级	强，但在参考路径内	强，且沿Rubric维度独立定位
更新方差	高	低	中
轨迹多样性	较高	低（易坍缩至参考轨迹）	高
对接开放式任务	难，需人工验证或Judge	中等，依赖教师质量	较好，可自定义评分标准
实现复杂度	简单	中等	中等偏高

六、典型应用场景：哪条路线更适合你？

场景一：封闭域、强规则任务（数学、编程）

• 首选路线A：因为单元测试可自动判定结果，奖励信号几乎免费且足够可靠。若任务允许自动验证，强化学习的样本效率与性能上限最直接。
• 次选Rubric自蒸馏：当题目逻辑复杂、多步推理流程长且参考答案无法覆盖所有正确解法时，可采用Rubric约束局部质量，代替全局路径对齐。

场景二：开放域、长链条推理（科学问答、逻辑分析）

• 优先避免路线B的Reference绑定性：开放式任务本身不存在唯一正确路径，强行绑定参考轨迹将导致推理宽敞度被压缩，并出现冗余修正。
• 推荐Rubric引导自蒸馏：通过批判性维度（比如证据充分性、推理连贯性、结论有效性）提供多角度过程指导，模型在保留自身探索的同时，能稳定地修正问题点。

场景三：训练稳定性要求高、缺乏监督资源

• 路线B适合起步：若无法设计有效奖励模型，又暂无评分标准，教师路径蒸馏可以提供一个稳妥的基础对齐。
• 参考建议：不建议在开放式任务中长期使用路线B，而应逐步过渡至Rubric方案，以阶段化甩开参考路径约束。

七、选型建议与使用注意事项

在实际工程选型时，不应基于“哪种方案更先进”去判断，而应基于信号可用性、推理形态弹性、评估代价以及迭代频率四个因素综合分析。

使用注意事项一：不要试图在标量奖励中埋入太多期望

如果一个标量奖励同时关联“正确性”“简洁性”“格式合规性”，那么模型几乎不可能同时优化多个不相关维度。建议在无法分别建模时，转而采用分布式的维度反馈（即Rubric化）。

使用注意事项二：保证评估模型的评语质量

Rubric引导方案依赖评估模型产生文本反馈。若评估模型自身拥有偏见或乱打标签，则性能下滑将比单一标量体系更严重，因为错误被放大到引导步骤。

使用注意事项三：监控训练轨迹长度

如果使用蒸馏类方案，应定期检查轨迹长度分布。若发现轨迹长度持续上升且伴随大量回溯修正，需要立即检查是否出现“参考路径过度对齐”问题。

使用注意事项四：渐进式过渡

从路线A或路线B迁移至Rubric引导方案时，建议分阶段混合。例如初始阶段保留部分标量奖励，同时新增维度打分，逐步稀释稀疏奖励获取语义信号。

八、总结：从“压成数字”与“绑死路径”中解放出来

后训练优化并没有银弹。但从对比分析中可以提炼出一条清晰的方法论：强化学习追求结果最优，但受限于稀疏奖励的信用分配；蒸馏追求过程可学，但受限于路径绑定引发的冗余修正。Rubric引导的自蒸馏则站在两者的交叉点——以多维度结构化反馈替代简单标量，以能力标准替代路径拷贝，从而实现更接近真实推理本质的监督。

在具体工程落地时，建议从任务特征出发，不排斥任何一种工具。对于可自动验证的封闭任务，强化学习仍然是最直接有效的选择；对于开放、复杂、缺少标准答案的推理任务，评分标准引导的自蒸馏是值得投入的演进方向。技术选择从来不是“最优”之争，而是“适配”与“成本”之平衡。