监督微调与在线策略训练：同样是学答案，为什么泛化能力差这么多

在大语言模型的后训练阶段，如何让模型更聪明、更能举一反三，一直是工程团队最关心的问题之一。一个反复被观察到的现象是：同样以教师模型的答案作为学习目标，采用在线策略训练的方法，其泛化能力往往明显优于直接模仿式的监督微调。本文围绕这两种训练范式展开对比，尝试回答“差异从哪来、各自适合什么场景、如何选型”这几个关键问题。

一、对比背景：两条后训练路线的分野

在模型后训练阶段，主流做法可以归为两大类：

• 监督微调（SFT）：给定输入和标准答案，让模型去拟合这些固定的“正确轨迹”。
• 在线策略训练：模型自己生成答案，再根据结果好坏调整策略，类似做题后自纠。

过去几年，研究者和工程团队反复观察到一个现象：在线策略训练出来的模型，在面对未见过的题型或任务时，表现通常更好。业界甚至流传一句总结——“监督微调负责记忆，在线策略训练负责泛化”。但这只是观察结果，并没有解释“为什么”。

要理解这个差异，需要跳出“损失函数、负样本、KL散度”这些具体零件的层面，转而观察训练之后参数到底发生了什么变化。

二、对象定义：两种训练范式在做什么

监督微调

监督微调的核心逻辑是“模仿”。训练数据是输入与标准答案的配对，模型的目标是最小化生成结果与标准答案之间的差异。它本质上是在拟合一个固定的目标分布，学习的是“在这些样本上，正确答案长什么样”。

在线策略训练

在线策略训练的核心逻辑是“试错与纠正”。模型先自己生成答案，再根据答案的好坏获得反馈信号，进而调整生成策略。它学习的不只是“答案是什么”，而是“什么样的生成方向更容易得到好结果”。

三、相同点：目标一致，路径不同

尽管方法不同，两者在以下几个层面是共通的：

• 目标一致：都是为了让基础模型更符合任务要求，提升输出质量。
• 依赖教师信号：都需要某种形式的“好答案”或“好结果”作为学习依据。
• 影响参数：都会改变模型参数，只是改变的幅度、位置和方向不同。
• 面向后训练阶段：通常都在预训练之后进行，用于对齐任务或偏好。

真正的差异，藏在“参数更新”这件事的细节里。

四、核心差异分析

4.1 参数更新位置：精准瞄准 vs 广泛覆盖

有研究发现，在线策略训练往往只改动模型中的一小部分参数，这些参数像是被精确瞄准的靶子，大部分神经元几乎纹丝不动。而监督微调由于要拟合大量固定轨迹，参数更新往往更分散、覆盖面更广。

这带来一个直接后果：监督微调更容易把“答案本身”编码进大量参数中，形成较强的记忆；在线策略训练则倾向于调整那些真正影响生成方向的关键位置，保留更多原始能力。

4.2 参数更新方向：主成分扰动 vs 细节拟合

从频谱角度看，在线策略训练对参数矩阵的“主成分”扰动较小，更多是在细节层面做调整。这意味着模型的核心表征能力没有被大幅改写，泛化基础得以保留。监督微调则可能因为拟合固定轨迹而改变主成分方向，导致模型在新任务上“忘掉”原来的通用能力。

4.3 学习信号的性质：结果反馈 vs 轨迹模仿

监督微调学的是“这条轨迹是对的”，模型倾向于复制轨迹。在线策略训练学的是“这个结果是好是坏”，模型需要自己探索哪些生成路径能带来好结果。前者是记忆，后者是策略优化。

4.4 对未见任务的适应能力

由于在线策略训练保留更多原始参数结构，且学习的是策略而非固定轨迹，它在面对新题型、新任务时，更容易迁移已有能力。监督微调则可能因为过度拟合训练轨迹，在新场景下表现下降。

4.5 训练稳定性与成本

在线策略训练通常需要模型自己生成样本，训练流程更复杂，对反馈信号的设计要求更高，稳定性挑战也更大。监督微调流程简单、易于复现，但泛化上限受限于数据覆盖范围。

五、对比表格：关键差异一览

对比维度	监督微调	在线策略训练
学习目标	拟合标准答案轨迹	优化生成策略
参数更新位置	覆盖面广，较分散	集中，精准瞄准
参数更新方向	可能改变主成分	主成分扰动小
学习信号	轨迹模仿	结果反馈
泛化能力	受限于数据覆盖	通常更强
记忆能力	强	相对较弱
训练复杂度	较低	较高
稳定性	较稳定	挑战更大
适用阶段	快速对齐、格式规范	提升推理与迁移

六、典型场景选择

• 需要快速对齐输出格式、语气、风格：监督微调更直接，数据要求明确，落地快。
• 需要提升推理能力、跨任务迁移：在线策略训练更有优势，但需要设计好反馈机制。
• 数据量有限、标注成本高：监督微调依赖高质量配对数据，在线策略训练可借助结果反馈降低对轨迹标注的依赖。
• 对训练稳定性要求极高：监督微调流程更可控，在线策略训练需要更多工程投入。

七、选型建议

选型时可以从以下问题出发：

1. 目标是“记住”还是“学会”？
2. 是否有可靠的结果反馈信号？
3. 团队是否具备在线策略训练的工程能力？
4. 任务是否需要强泛化，还是只需在固定分布上表现良好？
5. 训练成本与迭代周期是否允许更复杂的流程？

如果任务边界清晰、输出格式要求高、数据充足，监督微调是稳妥选择。如果任务需要推理、迁移、探索性生成，且能设计有效的反馈机制，在线策略训练更值得投入。

八、迁移与使用注意事项

从监督微调迁移到在线策略训练，需要注意：

• 数据格式变化：从“输入-答案”配对，转向“输入-生成-反馈”流程。
• 反馈信号设计：结果好坏的定义直接影响训练效果，需要谨慎设计。
• 训练稳定性：在线策略训练容易出现波动，需要监控关键指标。
• 参数更新监控：关注更新位置与幅度，避免主成分被过度改写。
• 能力保留：定期评估通用能力是否退化。
• 成本评估：在线策略训练通常需要更多采样与计算资源。

九、总结

监督微调与在线策略训练的核心差异，不在于“学不学教师答案”，而在于学的是轨迹还是策略、参数更新是分散覆盖还是精准瞄准、主成分是被改写还是被保留。这些差异共同决定了：监督微调更擅长记忆与对齐，在线策略训练更擅长泛化与迁移。

理解这一点，就能在面对具体任务时做出更有依据的选择：需要快速对齐就用监督微调，需要举一反三就考虑在线策略训练，两者也可以组合使用，先对齐再优化，兼顾稳定性与泛化能力。