大模型后训练六大流派对比与选型指南

在大模型落地过程中，预训练只是“打底”，真正决定模型能否稳定完成业务任务、能否在复杂推理场景中表现可靠的，往往是后训练阶段。原始标题中提到的“填鸭教学”到“自学成才”，本质上描述的是后训练技术从依赖标注数据、模仿学习，逐步演进到利用偏好信号、强化信号甚至模型自身生成数据进行优化的过程。

本文围绕后训练中最常见的六类技术路径展开对比，分别是：监督微调（SFT）、拒绝采样微调（RFT）、群体相对策略优化（GRPO）、近端策略优化（PPO）、直接偏好优化（DPO）以及知识蒸馏。需要说明的是，这些方法并不是互斥关系，实际工程中通常组合使用。本文的目标不是判断“谁最好”，而是帮助读者理解：它们各自解决什么问题、适合什么阶段、代价在哪里、边界在哪里。

一、为什么后训练需要分阶段、分流派

预训练模型具备广泛的语言能力和世界知识，但通常存在几个问题：指令跟随不稳定、输出风格不可控、对业务格式不敏感、复杂推理容易中断、安全边界不清晰。后训练的核心目标，就是把这些“有潜力但不可控”的基础模型，调整为“可交付、可评估、可运维”的生产模型。

不同后训练方法面对的核心矛盾不同：

• 有的方法追求稳定性，先让模型学会基本指令格式；
• 有的方法追求上限，希望激发复杂推理和长链条决策；
• 有的方法追求成本可控，希望在有限算力和标注预算下逼近高质量；
• 有的方法追求能力迁移，把大模型的能力压缩到轻量模型中。

因此，后训练通常不是单点技术选择，而是一条流水线设计问题。

二、六大流派的基本定义与定位

流派	核心思想	典型定位
SFT	用高质量标注样本做监督学习	稳定基础，教会模型“怎么答”
RFT	对模型生成结果筛选后继续微调	用自身较好输出强化正确路径
GRPO	对同一问题的多组输出做相对比较优化	低成本激发推理与偏好能力
PPO	用奖励模型和策略梯度做强化学习	高上限、高成本精细优化
DPO	直接用偏好对优化策略，绕过显式奖励模型	简化偏好对齐流程
蒸馏	用大模型输出指导小模型训练	能力压缩与轻量化部署

从流程上看，常见组合是：先用 SFT 打稳定基础，再用 GRPO 或 RFT 激发高端潜力，算力充裕且追求极致时引入 PPO 与 DPO 做偏好优化，最后用蒸馏把大模型的深度推理能力传递给轻量级模型。 这条路径反映的是“先稳、后强、再压缩”的工程逻辑。

三、相同点：它们都在解决“预训练之后怎么办”

尽管六类方法差异明显，但它们共享一些基本特征：

1. 都依赖数据或信号
   SFT 依赖标注样本，RFT 依赖筛选后的生成样本，GRPO/PPO 依赖奖励或比较信号，DPO 依赖偏好对，蒸馏依赖教师模型输出。没有高质量信号，后训练效果通常难以稳定。

2. 都服务于能力对齐
   它们都在不同程度上调整模型行为，使其更符合任务要求、人类偏好或业务规范。

3. 都需要评估闭环
   后训练不是一次训练就结束，而需要离线评估、人工抽检、在线指标监控和迭代回归。否则很容易出现“训练集变好、线上变差”的情况。

4. 都受基础模型能力约束
   后训练可以激发和引导能力，但很难凭空创造基础模型完全不具备的知识或推理模式。基础模型太弱时，后训练的上限会受限。

四、核心差异：从数据形态、优化目标到资源门槛

1. SFT：监督模仿，稳定优先

SFT 的本质是监督学习。给定输入和理想输出，让模型最大化目标序列的似然。它的优势是稳定、可控、易评估，适合教会模型指令格式、业务话术、输出结构和基本推理模板。

但 SFT 的局限也很明显：它倾向于模仿训练数据中的表达，而不是探索更优解法；对标注质量高度敏感；在复杂推理任务上，单纯 SFT 容易“会格式但不会思考”。

适用边界：冷启动、格式对齐、领域术语注入、基础指令跟随。
不适合：直接追求复杂推理上限或细粒度偏好优化。

2. RFT：拒绝采样，优中选优

RFT 通常指对同一提示生成多个候选输出，经过规则、奖励模型或人工筛选后，保留较优结果再用于微调。它介于 SFT 和强化学习之间，核心是“用模型自己的好输出训练自己”。

相比 SFT，RFT 能利用模型自身探索空间，减少对人工标注的完全依赖；相比 PPO，它实现更简单，训练更稳定。但它的问题是：筛选标准决定上限，如果筛选信号有偏，模型会放大偏差；同时生成和筛选成本不可忽略。

适用场景：已有较强基础模型，希望以较低复杂度提升推理和任务完成度。
注意事项：需要设计可靠的筛选机制，避免“自我强化错误”。

3. GRPO：群体相对比较，低成本偏好优化

GRPO 的核心是对同一问题生成一组输出，然后根据组内相对表现来更新策略，而不是依赖一个独立的奖励模型给出绝对分数。这种“相对比较”降低了对奖励模型绝对精度的要求，也在一定程度上简化了训练流程。

它的优势是资源效率相对较好、适合推理类任务、能与可验证奖励结合。例如数学、代码、结构化推理等场景，只要答案可验证，就可以构建相对稳定的比较信号。

但 GRPO 也有边界：对组大小、采样质量和奖励设计敏感；如果任务没有可靠验证方式，效果会打折扣；训练稳定性仍需要调参和监控。

适用场景：有明确验证信号的推理任务、代码生成、数学解题、结构化决策。
不适合：完全主观、难以比较、奖励信号噪声极大的任务。

4. PPO：强化学习经典路径，上限高但门槛高

PPO 是强化学习中的经典策略优化方法，在后训练中通常配合奖励模型使用。它通过策略梯度更新模型，同时用裁剪机制控制更新幅度，以提升训练稳定性。

PPO 的优势是优化空间大、能精细调节模型行为、在复杂偏好和长链条任务中有较高上限。但它的代价也很突出：需要训练或维护奖励模型，训练链路长，超参数敏感，算力消耗高，工程复杂度大。对于多数团队来说，PPO 更像“追求极致时的重武器”，而不是默认起点。

适用场景：算力充裕、团队具备强化学习工程能力、任务对偏好和推理质量要求极高。
风险：奖励黑客、训练不稳定、成本失控、复现困难。

5. DPO：直接偏好优化，简化对齐链路

DPO 的思路是绕过显式奖励模型，直接用偏好对数据优化策略。它把偏好学习转化为一个可监督的优化目标，因此实现上比 PPO 更简洁，训练也更稳定。

DPO 的优势是流程短、工程实现相对简单、对偏好数据利用直接。但它并非 PPO 的完全替代：它不显式建模奖励，也不进行在线探索；对偏好数据质量和覆盖度要求高；在需要复杂探索或在线交互的任务中，能力边界更明显。

适用场景：已有高质量偏好对，希望以较低工程复杂度做偏好对齐。
不适合：需要在线探索、奖励动态变化或复杂多轮决策的任务。

6. 蒸馏：能力迁移，轻量化部署

蒸馏是用大模型（教师）的输出指导小模型（学生）训练，使学生模型在参数量更小的情况下逼近教师模型的部分能力。它解决的不是“如何提升最大模型上限”，而是“如何把能力部署到成本可接受、延迟可接受的模型中”。

蒸馏的关键在于教师信号质量、学生容量和任务匹配度。教师很强但学生太小，能力迁移会受限；任务太复杂，蒸馏可能只学到表面风格。蒸馏通常与 SFT、RFT 等结合使用，形成“大模型生产信号、小模型学习信号”的流水线。

适用场景：边缘部署、高并发推理、成本敏感型在线服务、垂直领域轻量模型。
边界：学生模型容量决定上限；蒸馏不能保证完全复现教师推理能力。

五、对比表格：六类方法的关键差异

维度	SFT	RFT	GRPO	PPO	DPO	蒸馏
数据形态	标注输入输出	筛选后生成样本	组内多输出比较	奖励模型+在线采样	偏好对	教师输出
优化目标	似然最大化	优样本模仿	相对优势最大化	策略梯度+奖励	偏好概率优化	学生逼近教师
工程复杂度	低	中	中高	高	中	中
算力门槛	低至中	中	中高	高	中	中
稳定性	高	中高	中	中低	中高	中高
推理上限	中	中高	高	很高	中高	受学生容量限制
主要风险	标注偏差	筛选偏差	奖励设计偏差	训练不稳定/奖励黑客	偏好覆盖不足	能力损失
典型场景	指令对齐	推理增强	可验证推理	极致偏好优化	偏好对齐	轻量部署

六、典型场景下怎么选

场景一：从零构建业务助手

优先 SFT，把输出格式、术语、安全边界和基本指令跟随做稳。没有稳定基础，直接上强化学习或偏好优化，容易训练不稳、评估困难。

场景二：数学、代码、结构化推理

可在 SFT 之后引入 GRPO 或 RFT。若答案可自动验证，GRPO 的相对比较优势更容易发挥；若验证成本较高，RFT 的筛选式流程更易落地。

场景三：追求极致对话偏好

在算力充足、团队具备强化学习经验时，可考虑 PPO；若偏好数据已较充分，且希望降低工程复杂度，可优先评估 DPO。

场景四：高并发、低成本在线服务

以小模型为目标，用蒸馏将大模型能力迁移到轻量模型，再结合 SFT 或 DPO 做任务对齐。关键是接受“能力有损”，并在延迟、成本和效果间取平衡。

七、选型建议：条件化判断，而非绝对结论

• 如果团队后训练经验有限，优先 SFT + RFT/DPO，先建立稳定流水线；
• 如果任务有明确可验证奖励，GRPO 值得优先评估；
• 如果追求极致效果且资源充足，PPO 可以作为高阶选项，但需做好训练监控和成本控制；
• 如果目标是部署轻量模型，蒸馏应作为核心环节，并配合任务对齐；
• 如果偏好数据质量高但工程资源有限，DPO 通常比 PPO 更易落地。

八、迁移与使用注意事项

1. 数据兼容性：从 SFT 迁移到偏好优化时，数据格式、标注标准和评估口径需要同步调整。
2. 评估体系：离线指标、人工评估和在线 A/B 应形成闭环，避免单一指标误导。
3. 训练稳定性：强化学习类方法需要监控奖励分布、KL 散度和输出长度等通用指标。
4. 成本控制：采样、奖励模型训练和多次迭代会显著增加算力与人力成本。
5. 安全与合规：后训练可能改变模型安全边界，需要重新做红队测试和权限审计。
6. 版本管理：基础模型、数据、奖励模型和策略模型应统一版本管理，确保可复现。

总结

大模型后训练从“填鸭教学”走向“自学成才”，并不是某一种方法取代另一种，而是形成了分层协作的技术栈：SFT 打稳定基础，RFT 和 GRPO 激发推理潜力，PPO 与 DPO 做精细偏好优化，蒸馏完成能力压缩与部署。理解六类流派的关键差异，目的不是追逐最热技术，而是根据任务目标、数据条件、算力预算和团队能力，选择匹配的组合路径。选型时牢记：没有普适最优，只有条件最优。