简介:本文围绕SFT、RFT、PPO、DPO、GRPO与知识蒸馏六类大模型后训练方法展开对比,解释它们在学习机制、数据依赖、训练稳定性、算力成本和适用场景上的差异。读者可以据此理解“先打基础、再做强化、最后蒸馏”的技术链路,并为不同模型规模、业务目标与资源条件选择合适方案。
大模型预训练解决的是“广泛阅读”的问题:模型通过海量文本学习语言规律、知识关联和基本推理模式。但预训练完成后,模型未必能够稳定遵循指令,也未必能按照业务要求输出格式正确、内容可靠的答案。
因此,实际应用通常还需要进行后训练。后训练的目标并不只有一个,可能包括:
本文对比的六类方法分别是SFT、RFT、PPO、DPO、GRPO和知识蒸馏。它们并不是完全互斥的竞争关系,更像是从“模仿答案”到“依据反馈改进”,再到“把能力传给小模型”的不同技术路径。
简单概括:
SFT负责打基础,RFT负责筛选高质量行为,PPO和DPO负责对齐偏好,GRPO更强调群体比较与推理优化,蒸馏则负责能力迁移。
SFT,即监督微调,核心思路是使用大量“问题—答案”样本,让模型学习如何根据输入生成目标输出。
训练数据通常包括:
模型在训练时会尽量提高标准答案中每个词的预测概率。换句话说,它学习的是“这类问题通常应该这样回答”。
SFT的优点很明确:
但SFT也有明显边界。它依赖人工或强模型生成的参考答案。如果训练集没有覆盖某种问题,模型就很难通过SFT自动学会新的处理方式。即使数据中存在答案,模型也主要是在模仿表达形式,并不代表它真正掌握了背后的搜索、验证和反思过程。
因此,SFT更像是“课堂教学”,适合建立基础能力,却不一定足以激发复杂推理能力。
RFT通常可以理解为基于结果筛选的微调方法。它不再只依赖人工准备的一份标准答案,而是让模型针对同一个问题生成多个候选结果,再通过规则、评估器或奖励模型进行打分,最后选择表现较好的样本用于继续训练。
其基本流程可以表示为:
输入问题↓模型生成多个候选答案↓规则或评估器进行评分↓筛选高质量结果↓使用优质结果继续监督微调
与普通SFT相比,RFT的关键变化是:训练数据不再完全由人工直接提供,而是通过“生成—评价—筛选”得到。
RFT特别适合以下场景:
它的优势包括:
但RFT的效果高度依赖评价机制。若评分规则不完整,模型可能学会迎合评分标准,而不是解决真实问题。例如,某些答案形式看起来完整,但实际推理错误;某些答案为了获得更高分,可能过度冗长或利用规则漏洞。
因此,RFT不是简单的“多生成一些数据”,而是要重点设计候选采样、结果验证、错误过滤和数据去重流程。
PPO是一类典型的策略优化方法。在大模型后训练中,模型会生成答案,奖励模型或规则系统对答案进行评价,然后训练过程根据奖励高低调整模型参数,使模型未来更倾向于产生高奖励结果。
其典型链路是:
模型生成回答↓奖励模型或规则系统评分↓估计当前策略与理想策略的差异↓限制更新幅度并优化模型
PPO的核心价值在于,它不是把高分答案简单当作新的标准答案,而是直接优化模型的生成策略。因此,它能够处理“答案好不好”比“标准答案是什么”更容易定义的任务。
PPO的优点包括:
但PPO的代价也比较明显。训练过程通常涉及策略模型、参考模型、奖励模型和价值模型等多个组件,对显存、通信、采样效率和超参数较为敏感。奖励模型一旦存在偏差,模型可能会出现“奖励投机”,即专门生成看起来符合评分标准、但实际价值有限的内容。
此外,PPO的训练和排错复杂度较高。团队不仅要关注损失变化,还要观察奖励分布、策略偏移、回答长度、拒答比例和真实任务指标。
因此,PPO更适合算力充足、任务复杂、需要细致控制多个目标的场景,而不一定适合所有小规模项目。
DPO的核心思想是准备成对的偏好数据:同一个问题对应一个更优答案和一个较差答案,然后直接让模型提高优选答案的概率、降低劣选答案的相对概率。
数据形式通常类似:
问题:请解释某个技术概念优选回答:准确、完整、结构清晰劣选回答:存在事实错误或没有回答重点
与PPO相比,DPO不需要显式训练一个独立的奖励模型,也不需要完整执行传统策略强化流程,因此工程链路通常更短。
DPO的主要优势有:
不过,DPO并不意味着完全不需要奖励设计。它依赖高质量的偏好对。如果优选答案与劣选答案差异过小,训练信号就不明显;如果标注标准不稳定,模型可能学习到不一致的偏好。
DPO还更适合相对明确的偏好优化,例如语言风格、回答完整性、拒答边界和格式规范。对于需要长链路探索、逐步验证和动态奖励的问题,DPO未必能够完全替代策略优化方法。
GRPO可以理解为一种强调组内比较的优化方式。对于同一个问题,模型生成一组候选答案,然后根据这些答案之间的相对表现计算训练信号,而不是完全依赖一个单独的价值模型来判断每个状态的绝对价值。
其基本思路是:
同一个问题生成多个答案↓对答案进行评分或验证↓比较组内相对表现↓提高高质量答案的生成倾向
GRPO的特点在于“相对评价”。对于数学、代码、逻辑推理等任务,同一个问题的多个候选答案可以通过规则验证,组内差异能够提供较明确的优化方向。
它的潜在优势包括:
但GRPO并不是天然稳定。它依然依赖候选答案质量、评分规则和采样策略。如果一组答案整体较差,组内比较只能选出“相对不差”的答案;如果评价器无法识别隐蔽错误,模型也可能沿着错误方向强化。
此外,GRPO通常需要生成多个候选答案,会带来额外推理开销。因此,使用时需要在探索收益与采样成本之间取得平衡。
蒸馏与前面几类方法的目标不同。SFT、RFT、PPO、DPO和GRPO主要是在优化一个模型的行为,而蒸馏更关注如何将大模型的能力迁移给参数量更小、推理成本更低的模型。
蒸馏数据可以来自:
常见做法是让小模型学习教师模型的输出,使其在特定任务上接近教师模型的行为。对于推理任务,蒸馏内容不一定只是最终答案,也可能包含经过筛选的解题过程、关键中间结论和验证信息。
蒸馏的优势包括:
但蒸馏也存在能力损失风险。小模型的容量有限,教师模型的复杂推理过程不一定能够完整迁移。如果蒸馏数据过于单一,小模型可能只会模仿固定模板;如果教师模型本身存在错误,错误也可能被放大传播。
因此,蒸馏前通常需要进行数据筛选、质量验证和任务覆盖分析,并通过独立测试集确认小模型是否真正获得了目标能力。
| 方法 | 学习信号 | 主要依赖 | 训练复杂度 | 典型优势 | 主要风险 |
|---|---|---|---|---|---|
| SFT | 标准答案 | 高质量指令数据 | 较低 | 稳定、易实施、适合打基础 | 泛化和探索能力有限 |
| RFT | 高分候选答案 | 规则或评估器 | 中等 | 能利用模型自生成数据 | 评价器偏差、奖励投机 |
| PPO | 连续或综合奖励 | 奖励模型、价值估计 | 较高 | 多目标优化能力强 | 工程复杂、训练敏感 |
| DPO | 优选与劣选答案差异 | 偏好对数据 | 中等 | 流程简洁、易于调试 | 偏好数据质量决定上限 |
| GRPO | 组内相对奖励 | 多答案采样与验证 | 中等到较高 | 适合探索和推理任务 | 采样成本高、依赖评分可靠性 |
| 蒸馏 | 教师模型行为 | 高质量教师数据 | 中等 | 降低部署成本、迁移能力 | 能力压缩损失、错误传播 |
从学习方式看,SFT是“模仿标准答案”;RFT是“从多个答案中挑选优者”;DPO是“区分偏好与非偏好”;PPO是“根据奖励持续调整策略”;GRPO是“通过同题比较强化相对更优解”;蒸馏则是“让小模型学习大模型已经获得的能力”。
工业级后训练很少只使用一种算法,因为不同方法解决的问题不同。
一种较常见的流程是:
先让模型学会任务格式、角色边界、输出规范和基本领域知识。这个阶段的主要目标不是追求极限推理,而是让模型“知道应该如何回答”。
如果跳过这一步,后续强化阶段可能面对一个行为不稳定的模型,导致奖励信号难以解释,训练结果也更容易波动。
对于数学、代码、结构化生成等任务,可以让模型生成多个答案,再利用规则验证器筛选或比较。这个阶段更关注模型是否能够找到正确解,而不只是复述示例。
如果任务包含复杂的表达偏好、安全边界、多目标权衡,可以使用偏好数据进行DPO训练,或在算力和工程能力足够时采用PPO进行更细致的策略优化。
当大模型已经具备较强能力后,可以将高质量回答、推理过程或结构化结果整理成蒸馏数据,训练更轻量的模型用于高频调用。
需要注意的是,蒸馏并不是简单复制参数,而是重新训练一个学生模型。教师模型输出的准确性、覆盖范围和表达方式,都会影响最终迁移效果。
如果主要目标是让模型遵循企业格式、准确引用知识、完成固定流程,通常可以优先考虑SFT,再结合DPO改善回答风格和拒答边界。
这类任务未必需要复杂的策略强化,因为核心瓶颈往往是知识质量、检索结果和数据标注,而不是模型自主探索能力。
如果答案可以通过测试用例、规则或执行结果验证,RFT和GRPO通常更有发挥空间。它们能够利用同题多答案进行筛选和比较,鼓励模型探索不同解法。
但必须确保验证器足够可靠。验证器错误会直接影响训练方向。
如果同时关注准确性、礼貌性、安全性、简洁性和任务完成度,可以考虑DPO或PPO。DPO适合已有大量优选—劣选样本的情况;PPO适合奖励目标复杂、需要连续调节的场景。
如果模型能力已经基本满足要求,但推理资源和延迟成为主要问题,蒸馏通常比继续扩大训练规模更直接。此时要重点评估学生模型在核心任务上的能力保留率,而不能只看通用测试成绩。
SFT需要高质量标准答案,DPO需要清晰的偏好对,RFT和GRPO需要可靠的评分或验证机制,蒸馏需要足够丰富且覆盖目标任务的教师数据。
方法选错,往往不是算法本身无效,而是训练数据无法提供对应的学习信号。
不能只观察训练损失或奖励变化。还需要测试:
尤其要防止“训练指标变好,但真实体验变差”。
后训练可能造成模型过度偏向某类任务,导致通用能力、知识覆盖或表达多样性下降。因此应保留通用能力测试集,并对训练前后进行对照。
RFT和GRPO需要生成多个候选答案,PPO需要较复杂的训练组件,蒸馏还需要额外的数据清洗和学生模型训练。评估方案时不能只计算参数更新成本,还要考虑数据生成、验证、存储和人工复核成本。
六类后训练方法没有绝对的优先级,关键取决于模型当前的短板。
更现实的技术路线通常不是“六选一”,而是组合使用:先用SFT建立稳定基础,再用RFT、DPO、PPO或GRPO针对性提升,最后通过蒸馏将能力迁移到更轻量的模型。
从“填鸭式教学”到“筛选优解”,再到“依据反馈自我改进”,最终走向“能力压缩与迁移”,这条后训练演进路线的本质,是逐步减少对固定标准答案的依赖,同时提高模型对结果质量、任务目标和实际约束的适应能力。