简介：本文围绕大模型后训练中的两类核心方法展开对比：On-Policy蒸馏与Off-Policy监督微调。读者将理解二者在奖励密度、分布偏移、训练效率与适用场景上的关键差异，并掌握面向小模型专业化训练的选型依据、迁移成本与使用边界，为实际训练方案设计提供可操作的判断框架。
在大语言模型的能力构建过程中，训练通常被划分为几个前后衔接的阶段：预训练负责建立通用语言能力、广泛推理能力与世界知识；中训练注入领域知识，例如代码、医疗数据库或企业内部文档；后训练则引导出目标行为，例如指令遵循、数学推理或对话交互。当模型进入特定专业领域后，一个经过更强训练的较小模型往往能够胜过规模更大的通用模型。小模型的价值在于可本地部署以满足隐私与安全要求、更容易持续训练和更新、推理成本更低。但要兑现这些优势，后训练阶段的方法选择至关重要。
本文对比的两类对象是：On-Policy蒸馏与Off-Policy监督微调（SFT）。前者从学生模型自身采样的轨迹出发，由教师模型提供密集的过程奖励；后者依赖外部来源的目标输出，让学生模型学习模仿。二者共同服务于“将强模型能力迁移到紧凑模型”的目标，但在反馈密度、分布一致性与工程代价上存在本质差异。
以训练一个紧凑模型解决数学问题为例。若采用强化学习式的On-Policy训练，学生模型对每道题采样轨迹，再根据最终答案是否正确给予评分。这种评分可由人工完成，也可由能够可靠得出正确答案的教师模型完成。其优势在于：学生在自己产生的样本上学习，能更直接地学会规避错误路径。
但强化学习的主要缺点是反馈稀疏。无论一个训练回合消耗多少token，每个回合所传授的信息量基本固定。学生知道“21”是错误答案，于是更新参数以避免重复该轨迹，却无法得知究竟错在运算顺序还是算术本身。这种稀疏性使强化学习在许多应用中效率偏低——错误被惩罚了，但错误的结构没有被解释。
Off-Policy训练通常通过监督微调完成：在一组精选的、特定任务的标注示例上训练，示例可来自在当前任务上表现良好的教师模型。进一步地，可以采用蒸馏，训练学生匹配教师的输出分布，即在教师轨迹（包含中间思考步骤的完整token序列）上训练，使用教师每一步的完整下一token分布（logit蒸馏），或仅采样给定序列。这条路线信息密度高，但引入了分布偏移风险：学生被训练去模仿它自己未必会产生的轨迹，推理时一旦偏离教师分布，就可能出现SFT风格的OOD冲击。
On-Policy蒸馏的提出正是为了调和这一矛盾：把教师模型当作过程奖励模型，在學生自身推演过程中提供密集奖励，同时避免纯SFT式的分布外冲击。
On-Policy蒸馏：训练数据来自学生模型自身的rollout，教师模型对学生轨迹的每一步或每个中间状态给出细粒度评价，形成密集奖励信号，学生据此更新。其技术逻辑是“在自己的分布上接受专家点评”。
Off-Policy监督微调：训练数据来自外部教师或人工标注的目标输出，学生通过最大似然或分布匹配去拟合这些输出。其技术逻辑是“在专家的分布上模仿专家行为”。
二者的相同点包括：目标一致，都是把更强模型的能力迁移到更小或更专用的模型；都依赖教师信号，只是信号形式不同；都处于后训练阶段，需建立在中训练获得的领域知识之上；都可用于指令遵循、数学推理、领域问答等任务；都需要关注数据质量、训练稳定性与过拟合风险。
反馈密度与信息效率。Off-Policy SFT的每个token都有明确目标，监督信号密集；On-Policy强化学习只有回合级奖励，信号稀疏。On-Policy蒸馏介于两者之间：它保留On-Policy的采样分布，但把教师评价下沉到过程级，使每个回合携带的比特数显著提升。这意味着在相同token预算下，On-Policy蒸馏可能获得更高的训练效率，但前提是教师能给出可靠的过程评价。
分布一致性与OOD风险。Off-Policy训练的数据分布由教师决定，学生推理时自回归产生的分布若与教师轨迹偏离，就会出现暴露偏差，表现为SFT风格的OOD冲击。On-Policy蒸馏的训练分布由学生自己产生，教师只负责评价，因此训练与推理的分布更一致，避免“模仿未经历状态”的问题。代价是采样成本落在学生侧，且需要教师在线或准在线参与。
实现复杂度与工程依赖。SFT实现简单：准备数据、定义损失、离线训练即可，对训练框架要求低。On-Policy蒸馏需要rollout生成、教师前向评价、奖励聚合与策略更新的协同，工程链路更长，对推理吞吐和教师调用成本更敏感。若教师以API方式提供，还需考虑延迟与配额。
能力覆盖与使用边界。SFT擅长传授格式、风格、既定解题模式和可验证输出；对“为何错、错在哪”的过程性知识传递较弱。On-Policy蒸馏擅长纠正常见错误路径、提升推理鲁棒性，但依赖教师的过程评价能力；若教师只能判断最终答案，则退化为稀疏奖励。二者都不是万能的：SFT不适合需要探索新策略的任务，On-Policy蒸馏不适合教师信号不可靠或采样成本极高的场景。
成本结构。SFT的成本主要在数据构建与离线训练；On-Policy蒸馏的成本主要在在线采样与教师评价，长期看可能因样本效率更高而摊薄，但初期工程投入更大。二者都需考虑持续训练与版本更新带来的维护成本。
| 维度 | On-Policy蒸馏 | Off-Policy监督微调 |
|---|---|---|
| 数据来源 | 学生自身rollout | 教师或人工标注输出 |
| 奖励形式 | 过程级密集奖励 | token级目标分布 |
| 分布一致性 | 高，训练即推理分布 | 存在暴露偏差风险 |
| 信息效率 | 较高，依赖教师过程评价 | 高，但过程知识弱 |
| 实现复杂度 | 较高，需采样与评价闭环 | 较低，离线训练为主 |
| 主要成本 | 在线采样与教师调用 | 数据构建与离线算力 |
| 典型风险 | 教师评价不可靠、采样开销 | OOD冲击、模仿表面模式 |
| 适用任务 | 推理纠错、鲁棒性提升 | 格式对齐、风格与模式传授 |
若团队需要快速让紧凑模型掌握既定输出格式、客服话术或结构化抽取模式，且已有高质量标注或教师输出，Off-Policy SFT是接入成本更低的起点。若目标是提升数学推理、代码修复等过程的正确率，且教师能够对学生中间步骤给出可靠评价，On-Policy蒸馏更有利于纠正错误路径。若教师只能判断最终答案，可先以SFT建立基础能力，再以On-Policy蒸馏做过程级强化，形成分阶段组合。若采样预算紧张或教师调用受限，应优先评估SFT或离线蒸馏的可行性。选型不应绝对化：在高并发推理部署诉求下，小模型本身是共同前提，差异在于训练侧的资源结构。
从SFT迁移到On-Policy蒸馏，需评估：教师评价接口的稳定性与延迟；rollout采样对推理资源的占用；奖励聚合逻辑是否正确处理中间步骤；训练与推理框架是否支持在线闭环；权限与数据隔离是否满足合规要求。反向迁移则需关注教师数据授权、数据清洗与去重、以及离线数据与学生分布不匹配带来的OOD风险。无论哪种路线，都应保留验证集上的过程指标与最终指标，避免仅看训练损失。
On-Policy蒸馏与Off-Policy监督微调的核心差异在于“在谁的分布上学习、以多密的信号学习”。SFT以密集目标换取实现简单，但承担分布偏移风险；On-Policy蒸馏以在线采样换取分布一致与过程纠错能力，但工程链路更长。决策时应围绕教师信号可靠性、采样成本、任务是否依赖过程推理、团队运维能力四个条件展开，而非简单判断孰优孰劣。