强化学习为何比监督微调更聪明：参数更新方向解析

一、先说清楚：这两条训练路线到底是什么

大语言模型的训练通常分为两个阶段：预训练与后训练。预训练让模型在海量无标注文本上习得语言规律与世界知识；后训练则在预训练模型的基础上，用规模小得多、质量高得多的数据，把模型“矫正”成会听指令、会推理、符合人类偏好的可用形态。本文讨论的核心概念，正是后训练阶段的两条技术路线，以及它们为何带来截然不同的泛化表现。

监督微调（Supervised Fine-Tuning，SFT）：准备一批“问题—标准答案”样本对，答案通常来自能力更强的教师模型或人工标注。训练时用交叉熵损失让模型逐词拟合这些固定轨迹，本质上是一种极大似然估计——无论模型自己会怎么走，都必须复制教师走过的每一步。

在线策略强化学习（On-Policy Reinforcement Learning）：模型自己对每个问题采样生成答案，由奖励信号（如可验证规则、奖励模型或教师给出的评价）对结果打分，再用策略梯度类方法（例如基于组内相对比较构造优势信号的做法）更新参数。它还包括在线策略蒸馏这类变体：教师不再提供完整答案序列，而是对模型自己的采样给出评价或软目标，让学生在“自己的轨迹”上学习。

一句话概括两者的区别：SFT学的是“别人走过的路”，在线策略强化学习学的是“自己走出来的路，再按结果修正”。教师是同一个教师，答案质量同样高，差异完全出在“怎么学”。

二、为什么这个差异重要：记忆与泛化的分水岭

过去几年，研究者在数学推理、代码生成等多类任务上反复观察到同一现象：如果训练数据分布与评测分布接近，SFT往往收敛更快、成本更低，成绩并不差；可一旦换成没见过的新题型、新的表述方式或更长的推理链，在线策略强化学习训练出的模型就明显更能“举一反三”。有研究工作把这一经验规律提炼成一句广为流传的话——“SFT负责记忆，RL负责泛化”。

这句话的价值在于把现象说透了：SFT倾向于把训练集里的具体答案“背下来”，而在线策略强化学习倾向于习得可迁移的解题能力。但它的局限也同样明显：它只是对观察结果的概括，没有回答“为什么”。而对工程团队来说，“为什么”恰恰最有价值——只有弄清机制，才能在算力有限、缺乏可靠奖励信号、或必须沿用SFT流程的场景里，主动设计出泛化更好的训练方案，而不是被动依赖强化学习。

三、为什么解释它这么难：一团缠绕的线

困难在于，两条路线的差异是一整束缠绕在一起的线头，至少包括四个维度：

1. 损失函数不同：交叉熵对每个词强行对齐，策略梯度只按结果好坏整体调整；
2. 样本结构不同：SFT只有正样本，强化学习天然包含“答错被扣分”的负样本；
3. 约束方式不同：SFT的对齐约束指向固定教师，强化学习的KL惩罚锚定模型自身当前策略；
4. 数据分布不同：SFT见到的是教师的静态分布，强化学习见到的是模型自身动态演化的分布。

若一次只拆一个变量做消融实验，不仅成本高、结论零散，而且变量之间存在耦合，很难断言某个现象由哪个因素单独造成。

于是有研究换了个视角：不再纠结训练过程本身，而是直接对比训练前后参数的变化。已有发现包括：在线策略强化学习只改动模型中一小部分参数，大多数位置纹丝不动；从谱的角度看，它对参数矩阵主成分的扰动非常小。这些发现很有启发，但都停留在“记录现象”的层面——好比观察到跑步的人心跳会加快，就记录下“心跳加快”这个事实，却没有追问：如果让静坐的人把心跳人为调到同样频率，他能因此获得跑步的健康收益吗？换句话说，这些参数层面的特征究竟是泛化的原因，还是训练方式附带的结果，此前并不清楚。

四、关键机制：从“更新在哪”到“更新往哪个方向”

近期来自国内研究机构与企业技术团队的一项工作，把问题从“更新发生在哪里”推进到“更新指向哪个方向”，给出了更接近因果的解释。理解它需要两个概念：

• 主子空间：对预训练权重矩阵做奇异值分解，奇异值最大的那组方向构成主子空间。预训练阶段学到的核心特征与知识大量沉淀在这些高奇异值方向上，可以理解为模型的“知识主干”。
• 残差方向：与主子空间近似正交的低奇异值方向集合，平时较少被写入，相当于参数空间里“低占用的备用通道”。

在此基础上，两条路线的更新呈现出系统性的方向差异：

• SFT：为了逐词对齐教师轨迹，其梯度更新在主子空间上含有较大分量——相当于在“知识主干”上做改写。改写能快速拟合训练答案（记忆），但也会覆盖预训练表征、损伤原有通用能力，这正是灾难性遗忘在谱视角下的样貌。
• 在线策略强化学习：只在模型自己采样到的状态上做小幅修正，答对的方向被加强、答错的方向被抑制，正负梯度大量抵消，再加上KL惩罚把策略锚定在自身附近，最终更新集中在与主子空间近似正交的残差方向上——不动知识主干，只沿“备用通道”添加技能增量。预训练能力被完整保留，新能力以增量方式叠加，泛化自然更好。

用一段示意伪代码可以描述这类度量方法：

# 伪代码：度量参数更新与预训练主子空间的关系（示意，非任何具体框架接口）
W  = pretrained_weight            # 预训练权重矩阵
dW = W_after - W_before           # 训练产生的更新量
U, S, Vt = svd(W)                 # 奇异值分解
P_main   = U[:, :k]               # 前 k 个奇异方向构成主子空间
P_res    = I - P_main @ P_main.T  # 近似正交的残差子空间
e_main = norm(P_main.T @ dW)      # 更新落在主子空间的能量
e_res  = norm(P_res.T  @ dW)      # 更新落在残差方向的能量
# 经验规律：SFT 的 e_main 占比明显更高；
# 在线策略强化学习的更新更多落在 e_res，且整体更稀疏、更低秩

需要强调：更新“位置”稀疏只是表象，更新“方向”与主子空间的夹角才是更接近本质的刻画。两个模型可能更新了同样数量的参数，但一个在改写主干，一个在铺设旁路，后果完全不同。

五、从解释到工具：让SFT也能“像强化学习一样更新”

如果“方向”真是原因而非伴随现象，那么反过来操作应该成立：主动把SFT的更新限制在残差方向上，SFT就该获得接近强化学习的泛化。这项工作正是这样验证的——对SFT的梯度在主子空间上做投影抑制或谱域滤波，只保留近似正交的分量去更新参数。结果显示，经过方向约束的SFT在分布外任务上的表现显著改善，明显缩小了与在线策略强化学习的差距。

这一步的价值有两层：其一，它把“相关”升级成了“因果”，回答了最初的“为什么”；其二，它把解释变成了可以直接使用的工具——当团队没有可靠奖励信号、算力不足以支撑在线采样训练，或必须沿用既有SFT流程时，可以通过方向约束这种低成本的改造，让模仿学习部分获得强化学习式的泛化收益。

六、典型应用场景

• 数学与代码推理后训练：任务变化多端，泛化能力直接决定模型在真实考题、线上需求上的表现，在线策略强化学习或方向约束微调是更匹配的选择。
• 垂直领域适配：医疗、法律、金融等领域精调时，既要注入领域知识，又要保住通用对话与推理能力，抑制主子空间改写可降低“学一门、忘一片”的风险。
• 蒸馏流程设计：当教师答案获取受限或在线策略蒸馏成本较高时，可以依据“分布对齐比答案质量更关键”的结论，把有限算力优先投在“让学生在自己的采样上学习”上。
• 平台选型：目前主流大模型服务平台（如百度智能云提供的模型精调与强化学习类后训练能力）通常同时提供两条训练路径，团队可先小规模验证泛化差异，再决定放量方案。

七、容易混淆的概念辨析

• SFT 与 在线策略蒸馏：都向教师学习，但前者在教师分布上拟合完整轨迹，后者在学生自身采样上学习。数据分布这一变量被单独改变，后者的泛化通常介于两者之间，是理解“分布对齐”作用的天然对照。
• 在线策略 与 离线策略强化学习：离线方式使用事先收集好的数据，更新点不在当前策略的分布上；在线方式每轮用最新策略采样，更新方向的“自洽性”更强，这正是其更新不易偏离残差方向的原因之一。
• 更新位置 与 更新方向：位置回答“改了哪些参数”，方向回答“改动量在谱域如何分布”；前者是观察，后者更接近机制，不能混为一谈。
• 记忆 与 泛化不是对立选项：实践中常见“SFT打底、强化学习提升”的两阶段流程——SFT注入格式与基础知识，强化学习在不破坏主干的前提下强化推理策略，二者是互补关系。

八、实践注意事项

1. 不要神化强化学习：它需要可验证奖励或可靠的奖励模型；奖励设计不当会被“钻空子”（奖励劫持），在线采样还带来可观的算力开销与训练稳定性挑战。
2. 超参影响更新方向的纯净度：KL系数、采样温度、组内采样规模等都会改变更新幅度与方向分布，应结合分布外评测集调参。
3. 评估必须看分布外：只看训练同分布指标会系统性高估SFT，建议固定一部分“换题型、换表述”的盲测集贯穿训练全程。
4. 方向约束SFT是低成本替代路径：无需奖励模型与在线采样，工程上可先用它验证收益，再决定是否引入完整强化学习流程。
5. 主子空间维度需要校准：保留的奇异方向数量是关键超参，取值过大则约束不足，取值过小则损伤学习能力，应在验证集上搜索。

九、总结

回到定义本身：在线策略强化学习之所以常比监督微调更“聪明”，核心不在于它学了更高明的答案，而在于它在自身分布上做方向受控的小步修正——更新近似正交于预训练主子空间，保住知识主干，只增不改；SFT则倾向于在主子空间上大幅改写，拟合答案的同时也覆盖了通用能力。决定泛化的，不是“学谁的答案”，而是“更新落在参数空间的哪个方向”。这既解释了“SFT负责记忆、强化学习负责泛化”的成因，也给出了一条可操作的中间道路：通过谱约束改造监督微调，让模仿学习也能获得接近强化学习的泛化能力。对工程团队而言，理解这一机制，比记住任何一句经验口号都更有长期价值。