大模型后训练六大流派对比:从填鸭学习到自主推理

作者:起个名字好难2026.11.16 10:49浏览量:0

简介:本文围绕SFT、RFT、PPO、DPO、GRPO与知识蒸馏六类大模型后训练方法展开对比,解释它们在学习机制、数据依赖、训练稳定性、算力成本和适用场景上的差异。读者可以据此理解“先打基础、再做强化、最后蒸馏”的技术链路,并为不同模型规模、业务目标与资源条件选择合适方案。

一、为什么要比较大模型后训练方法

大模型预训练解决的是“广泛阅读”的问题:模型通过海量文本学习语言规律、知识关联和基本推理模式。但预训练完成后,模型未必能够稳定遵循指令,也未必能按照业务要求输出格式正确、内容可靠的答案。

因此,实际应用通常还需要进行后训练。后训练的目标并不只有一个,可能包括:

  • 让模型学会理解用户指令;
  • 让输出更加符合人工偏好;
  • 让模型在数学、代码、逻辑推理等任务上表现更稳定;
  • 让模型减少无关内容、错误回答和不安全行为;
  • 在保持能力的同时,降低模型部署成本。

本文对比的六类方法分别是SFT、RFT、PPO、DPO、GRPO和知识蒸馏。它们并不是完全互斥的竞争关系,更像是从“模仿答案”到“依据反馈改进”,再到“把能力传给小模型”的不同技术路径。

简单概括:

SFT负责打基础,RFT负责筛选高质量行为,PPO和DPO负责对齐偏好,GRPO更强调群体比较与推理优化,蒸馏则负责能力迁移。


二、六种方法分别解决什么问题

1. SFT:给模型一份标准答案

SFT,即监督微调,核心思路是使用大量“问题—答案”样本,让模型学习如何根据输入生成目标输出。

训练数据通常包括:

  • 用户指令;
  • 上下文信息;
  • 标准回答;
  • 可选的角色、格式或约束要求。

模型在训练时会尽量提高标准答案中每个词的预测概率。换句话说,它学习的是“这类问题通常应该这样回答”。

SFT的优点很明确:

  1. 训练目标直接,工程实现相对成熟;
  2. 对数据质量的要求虽然高,但训练过程通常较稳定;
  3. 能快速改善模型的指令遵循、格式输出和任务适配能力;
  4. 适合构建领域模型、客服模型、代码模型和企业知识问答模型。

但SFT也有明显边界。它依赖人工或强模型生成的参考答案。如果训练集没有覆盖某种问题,模型就很难通过SFT自动学会新的处理方式。即使数据中存在答案,模型也主要是在模仿表达形式,并不代表它真正掌握了背后的搜索、验证和反思过程。

因此,SFT更像是“课堂教学”,适合建立基础能力,却不一定足以激发复杂推理能力。


2. RFT:生成多个答案,只保留更好的结果

RFT通常可以理解为基于结果筛选的微调方法。它不再只依赖人工准备的一份标准答案,而是让模型针对同一个问题生成多个候选结果,再通过规则、评估器或奖励模型进行打分,最后选择表现较好的样本用于继续训练。

其基本流程可以表示为:

  1. 输入问题
  2. ↓
  3. 模型生成多个候选答案
  4. ↓
  5. 规则或评估器进行评分
  6. ↓
  7. 筛选高质量结果
  8. ↓
  9. 使用优质结果继续监督微调

与普通SFT相比,RFT的关键变化是:训练数据不再完全由人工直接提供,而是通过“生成—评价—筛选”得到。

RFT特别适合以下场景:

  • 答案是否正确可以通过明确规则判断;
  • 数学、代码、结构化输出等任务具备可验证结果;
  • 人工编写大量高质量答案的成本较高;
  • 希望利用模型自身的探索能力发现更优解法。

它的优势包括:

  • 能从多个候选答案中挑选更可靠的路径;
  • 对可验证任务更友好;
  • 比单纯模仿固定答案更容易覆盖多样化解法;
  • 训练流程相对容易与SFT结合。

但RFT的效果高度依赖评价机制。若评分规则不完整,模型可能学会迎合评分标准,而不是解决真实问题。例如,某些答案形式看起来完整,但实际推理错误;某些答案为了获得更高分,可能过度冗长或利用规则漏洞。

因此,RFT不是简单的“多生成一些数据”,而是要重点设计候选采样、结果验证、错误过滤和数据去重流程。


3. PPO:通过奖励信号持续调整策略

PPO是一类典型的策略优化方法。在大模型后训练中,模型会生成答案,奖励模型或规则系统对答案进行评价,然后训练过程根据奖励高低调整模型参数,使模型未来更倾向于产生高奖励结果。

其典型链路是:

  1. 模型生成回答
  2. ↓
  3. 奖励模型或规则系统评分
  4. ↓
  5. 估计当前策略与理想策略的差异
  6. ↓
  7. 限制更新幅度并优化模型

PPO的核心价值在于,它不是把高分答案简单当作新的标准答案,而是直接优化模型的生成策略。因此,它能够处理“答案好不好”比“标准答案是什么”更容易定义的任务。

PPO的优点包括:

  • 能够直接利用连续奖励或综合奖励;
  • 适合处理多目标优化,例如正确性、完整性、安全性和表达质量;
  • 可以通过策略约束降低模型偏离原始能力的风险;
  • 在复杂对齐任务中具有较强表达能力。

但PPO的代价也比较明显。训练过程通常涉及策略模型、参考模型、奖励模型和价值模型等多个组件,对显存、通信、采样效率和超参数较为敏感。奖励模型一旦存在偏差,模型可能会出现“奖励投机”,即专门生成看起来符合评分标准、但实际价值有限的内容。

此外,PPO的训练和排错复杂度较高。团队不仅要关注损失变化,还要观察奖励分布、策略偏移、回答长度、拒答比例和真实任务指标。

因此,PPO更适合算力充足、任务复杂、需要细致控制多个目标的场景,而不一定适合所有小规模项目。


4. DPO:直接用偏好数据区分好答案和差答案

DPO的核心思想是准备成对的偏好数据:同一个问题对应一个更优答案和一个较差答案,然后直接让模型提高优选答案的概率、降低劣选答案的相对概率。

数据形式通常类似:

  1. 问题:请解释某个技术概念
  2. 优选回答:准确、完整、结构清晰
  3. 劣选回答:存在事实错误或没有回答重点

与PPO相比,DPO不需要显式训练一个独立的奖励模型,也不需要完整执行传统策略强化流程,因此工程链路通常更短。

DPO的主要优势有:

  1. 训练组件更少,实施成本相对较低;
  2. 直接利用人工偏好或评估结果;
  3. 对“哪个答案更好”这类比较式标注较友好;
  4. 通常比复杂策略优化更容易调试和复现。

不过,DPO并不意味着完全不需要奖励设计。它依赖高质量的偏好对。如果优选答案与劣选答案差异过小,训练信号就不明显;如果标注标准不稳定,模型可能学习到不一致的偏好。

DPO还更适合相对明确的偏好优化,例如语言风格、回答完整性、拒答边界和格式规范。对于需要长链路探索、逐步验证和动态奖励的问题,DPO未必能够完全替代策略优化方法。


5. GRPO:通过同题多答案进行相对比较

GRPO可以理解为一种强调组内比较的优化方式。对于同一个问题,模型生成一组候选答案,然后根据这些答案之间的相对表现计算训练信号,而不是完全依赖一个单独的价值模型来判断每个状态的绝对价值。

其基本思路是:

  1. 同一个问题生成多个答案
  2. ↓
  3. 对答案进行评分或验证
  4. ↓
  5. 比较组内相对表现
  6. ↓
  7. 提高高质量答案的生成倾向

GRPO的特点在于“相对评价”。对于数学、代码、逻辑推理等任务,同一个问题的多个候选答案可以通过规则验证,组内差异能够提供较明确的优化方向。

它的潜在优势包括:

  • 减少对复杂价值估计的依赖;
  • 更适合利用同题多答案的相对质量;
  • 能够鼓励模型探索不同解法;
  • 在推理任务中便于结合结果验证器。

但GRPO并不是天然稳定。它依然依赖候选答案质量、评分规则和采样策略。如果一组答案整体较差,组内比较只能选出“相对不差”的答案;如果评价器无法识别隐蔽错误,模型也可能沿着错误方向强化。

此外,GRPO通常需要生成多个候选答案,会带来额外推理开销。因此,使用时需要在探索收益与采样成本之间取得平衡。


6. 知识蒸馏:把大模型能力迁移给小模型

蒸馏与前面几类方法的目标不同。SFT、RFT、PPO、DPO和GRPO主要是在优化一个模型的行为,而蒸馏更关注如何将大模型的能力迁移给参数量更小、推理成本更低的模型。

蒸馏数据可以来自:

  • 大模型生成的答案;
  • 大模型的多步推理过程;
  • 不同候选答案的评分结果;
  • 教师模型对错误样本的纠正;
  • 特定领域任务中的结构化输出。

常见做法是让小模型学习教师模型的输出,使其在特定任务上接近教师模型的行为。对于推理任务,蒸馏内容不一定只是最终答案,也可能包含经过筛选的解题过程、关键中间结论和验证信息。

蒸馏的优势包括:

  • 降低部署所需的计算资源;
  • 减少推理延迟和运行成本;
  • 便于在边缘环境、内部系统或大规模调用场景中落地;
  • 可以针对具体任务压缩能力,而不必保留教师模型的全部通用能力。

但蒸馏也存在能力损失风险。小模型的容量有限,教师模型的复杂推理过程不一定能够完整迁移。如果蒸馏数据过于单一,小模型可能只会模仿固定模板;如果教师模型本身存在错误,错误也可能被放大传播。

因此,蒸馏前通常需要进行数据筛选、质量验证和任务覆盖分析,并通过独立测试集确认小模型是否真正获得了目标能力。


三、六类方法的核心差异

方法 学习信号 主要依赖 训练复杂度 典型优势 主要风险
SFT 标准答案 高质量指令数据 较低 稳定、易实施、适合打基础 泛化和探索能力有限
RFT 高分候选答案 规则或评估器 中等 能利用模型自生成数据 评价器偏差、奖励投机
PPO 连续或综合奖励 奖励模型、价值估计 较高 多目标优化能力强 工程复杂、训练敏感
DPO 优选与劣选答案差异 偏好对数据 中等 流程简洁、易于调试 偏好数据质量决定上限
GRPO 组内相对奖励 多答案采样与验证 中等到较高 适合探索和推理任务 采样成本高、依赖评分可靠性
蒸馏 教师模型行为 高质量教师数据 中等 降低部署成本、迁移能力 能力压缩损失、错误传播

从学习方式看,SFT是“模仿标准答案”;RFT是“从多个答案中挑选优者”;DPO是“区分偏好与非偏好”;PPO是“根据奖励持续调整策略”;GRPO是“通过同题比较强化相对更优解”;蒸馏则是“让小模型学习大模型已经获得的能力”。


四、实际训练为什么通常采用组合方案

工业级后训练很少只使用一种算法,因为不同方法解决的问题不同。

一种较常见的流程是:

第一阶段:使用SFT建立稳定基础

先让模型学会任务格式、角色边界、输出规范和基本领域知识。这个阶段的主要目标不是追求极限推理,而是让模型“知道应该如何回答”。

如果跳过这一步,后续强化阶段可能面对一个行为不稳定的模型,导致奖励信号难以解释,训练结果也更容易波动。

第二阶段:使用RFT或GRPO提升可验证任务能力

对于数学、代码、结构化生成等任务,可以让模型生成多个答案,再利用规则验证器筛选或比较。这个阶段更关注模型是否能够找到正确解,而不只是复述示例。

第三阶段:使用DPO或PPO进行偏好与行为对齐

如果任务包含复杂的表达偏好、安全边界、多目标权衡,可以使用偏好数据进行DPO训练,或在算力和工程能力足够时采用PPO进行更细致的策略优化。

第四阶段:使用蒸馏降低部署成本

当大模型已经具备较强能力后,可以将高质量回答、推理过程或结构化结果整理成蒸馏数据,训练更轻量的模型用于高频调用。

需要注意的是,蒸馏并不是简单复制参数,而是重新训练一个学生模型。教师模型输出的准确性、覆盖范围和表达方式,都会影响最终迁移效果。


五、不同场景下如何选择

场景一:企业知识问答和标准化助手

如果主要目标是让模型遵循企业格式、准确引用知识、完成固定流程,通常可以优先考虑SFT,再结合DPO改善回答风格和拒答边界。

这类任务未必需要复杂的策略强化,因为核心瓶颈往往是知识质量、检索结果和数据标注,而不是模型自主探索能力。

场景二:数学、代码和逻辑推理

如果答案可以通过测试用例、规则或执行结果验证,RFT和GRPO通常更有发挥空间。它们能够利用同题多答案进行筛选和比较,鼓励模型探索不同解法。

但必须确保验证器足够可靠。验证器错误会直接影响训练方向。

场景三:复杂对话和多目标对齐

如果同时关注准确性、礼貌性、安全性、简洁性和任务完成度,可以考虑DPO或PPO。DPO适合已有大量优选—劣选样本的情况;PPO适合奖励目标复杂、需要连续调节的场景。

场景四:高频调用和资源受限部署

如果模型能力已经基本满足要求,但推理资源和延迟成为主要问题,蒸馏通常比继续扩大训练规模更直接。此时要重点评估学生模型在核心任务上的能力保留率,而不能只看通用测试成绩。


六、迁移和落地时需要重点关注的问题

1. 数据是否真的适合当前方法

SFT需要高质量标准答案,DPO需要清晰的偏好对,RFT和GRPO需要可靠的评分或验证机制,蒸馏需要足够丰富且覆盖目标任务的教师数据。

方法选错,往往不是算法本身无效,而是训练数据无法提供对应的学习信号。

2. 评价指标是否与真实目标一致

不能只观察训练损失或奖励变化。还需要测试:

  • 任务准确率;
  • 指令遵循能力;
  • 输出格式稳定性;
  • 长文本中的事实一致性;
  • 错误率和拒答率;
  • 推理延迟与资源消耗;
  • 对未见问题的泛化能力。

尤其要防止“训练指标变好,但真实体验变差”。

3. 是否出现能力退化

后训练可能造成模型过度偏向某类任务,导致通用能力、知识覆盖或表达多样性下降。因此应保留通用能力测试集,并对训练前后进行对照。

4. 成本是否包含采样与评估成本

RFT和GRPO需要生成多个候选答案,PPO需要较复杂的训练组件,蒸馏还需要额外的数据清洗和学生模型训练。评估方案时不能只计算参数更新成本,还要考虑数据生成、验证、存储和人工复核成本。


七、总结:不要问哪种方法最好,要问当前缺什么

六类后训练方法没有绝对的优先级,关键取决于模型当前的短板。

  • 缺少指令遵循和格式能力,优先考虑SFT;
  • 需要从多个解法中选择正确结果,可以考虑RFT;
  • 需要复杂、多目标的奖励优化,PPO更具表达能力;
  • 已经拥有成对偏好数据,希望降低训练复杂度,可以选择DPO;
  • 需要强化推理探索,并且能够进行同题多答案验证,可以考虑GRPO;
  • 大模型能力较强,但部署成本过高,则适合进行知识蒸馏。

更现实的技术路线通常不是“六选一”,而是组合使用:先用SFT建立稳定基础,再用RFT、DPO、PPO或GRPO针对性提升,最后通过蒸馏将能力迁移到更轻量的模型。

从“填鸭式教学”到“筛选优解”,再到“依据反馈自我改进”,最终走向“能力压缩与迁移”,这条后训练演进路线的本质,是逐步减少对固定标准答案的依赖,同时提高模型对结果质量、任务目标和实际约束的适应能力。