大模型优化新范式：微调与DPO之外，还有哪些高阶路径？

一、对比背景：当“微调+DPO”不再满足所有优化诉求

在大型语言模型的应用落地过程中，开发者面临的核心问题从来不是“模型不够聪明”，而是“如何让模型在特定任务上更可靠、更高效、更符合业务约束”。传统上，监督式微调（SFT）是最直接的路径——通过标注数据引导模型学习特定格式或知识。随后，直接偏好优化（DPO）因其省略了独立奖励模型与强化学习阶段的复杂性，迅速成为对齐人类偏好的热门选择。

然而，随着业务场景深入，两类痛点逐渐暴露：第一，SFT和DPO本质上是“静态学习”——它们基于离线数据集进行参数更新，模型在推理时无法根据当前输入动态调整思考深度；第二，DPO依赖于成对的偏好数据，但偏好数据的质量与覆盖度直接决定对齐效果，在长链条推理、多步决策等复杂任务中，单纯的偏好排序往往不足以引导模型生成最优策略。

因此，业界开始探索“动态优化”路径——即在训练或推理阶段引入可调节的奖励信号、过滤机制或自适应思考长度控制。这正是GRPO（组相对策略优化）、GFPO（组过滤策略优化）、TTRL（测试时强化学习）、AMPO（自适应思维感知优化）等方法出现的背景。本文将以这些方法为核心对比对象，与SFT、DPO展开系统性比较。

二、对象定义：四种技术路线分别解决什么问题？

技术路线	核心目标	关键机制
SFT（监督微调）	让模型学会特定任务的输入输出映射	使用人工标注的（输入，输出）对进行监督学习
DPO（直接偏好优化）	让模型输出更符合人类偏好	利用成对的偏好数据（chosen/rejected）直接优化策略
GRPO（组相对策略优化）	在强化学习框架下提升策略稳定性	从一组采样结果中计算相对优势，替代独立Critic模型
GFPO（组过滤策略优化）	在GRPO基础上抑制冗余推理，提升简洁性	训练时对采样组进行过滤，只学习质量最高的Top-K
TTRL（测试时强化学习）	在推理阶段动态调整策略	根据测试输入实时采样并优化输出分布
AMPO（自适应思维感知优化）	让模型自适应调节思考链长度	通过奖励信号感知思维链的质量与必要性

从表中可见，SFT与DPO属于“离线优化”范畴，而GRPO、GFPO、TTRL、AMPO则逐步引入了“在线采样”“奖励反馈”“动态过滤”等机制。它们的本质差异不是“谁更好”，而是“优化的时机不同：训练前、训练中还是推理中？” 以及 “优化信号来源不同：标注数据、偏好对、奖励模型还是组内相对优势？”

三、相同点分析：它们都试图让模型“更对齐”与“更高效”

尽管技术路径各异，这几类方法在宏观目标上有显著共性：

1. 都围绕“最大化任务相关奖励”展开。无论是最小化SFT的交叉熵损失，还是DPO中偏好对的最大间隔，抑或GRPO中组内优势最大化，其内核都是让模型在给定输入下生成更符合期望的输出序列。
2. 都在处理“生成质量与生成代价的权衡”。SFT通过标注数据控制输出风格；DPO通过偏好数据抑制不理想回答；GFPO则显式地通过过滤机制控制回答长度；AMPO则动态调节思考链的深度。它们都在回答一个问题：“什么样的输出算好？”以及“为了追求这个‘好’，我们愿意付出多大的计算代价？”
3. 都在一定程度上引入参考模型或基线约束。DPO中通过KL散度将新策略限制在参考策略附近；GRPO与GFPO则通过对采样组的归一化处理避免策略漂移。这意味着它们都承认“不能为了优化而牺牲模型原有的通用能力”。
4. 都适用于指令微调阶段。这四种方法并非预训练阶段的预训练目标，而是服务于指令遵循、人类对齐、任务适配的后期优化环节。

四、核心差异分析：从五个维度拆解本质区别

1. 优化信号的来源与性质

SFT的优化信号是确定性标签——每个输入对应唯一或少数几个正确答案，模型学习的是“模仿”。DPO的优化信号是相对偏好——它不关心绝对分数，只关心chosen样本是否比rejected样本更优。这种信号更灵活，但依赖于偏好注释的一致性。

GRPO与GFPO则引入了组内相对比较——对同一个输入采样N个回答，计算每个回答相对于该组平均水平的优势值。这避免了训练一个独立的Critic网络来估计绝对价值，降低了强化学习的方差问题，但要求组内样本具有足够的多样性，否则优势值区分度不足。

TTRL的独特之处在于信号来自测试输入本身——它在推理时对候选输出实时打分，因此信号高度上下文相关，但这也意味着推理时需要额外的计算开销。

核心结论：从“标签→偏好→组内相对→测试时实时”演进，优化信号的粒度越来越细，但获取成本也越来越高。

2. 训练与推理的耦合程度

SFT与DPO属于典型的“训练-推理解耦”模式：训练完成后，推理过程完全确定，无额外采样或打分。GRPO和GFPO虽然属于训练阶段的方法，但它们在训练时依赖采样与组内过滤，这要求训练流程中具备可控的随机采样能力。

TTRL则彻底打破了边界——它把优化过程内嵌到推理阶段。这意味着同一个模型在不同输入上可能展示出完全不同的推理路径，模型不再是一个静态函数，而是一个“具备自适应能力的策略”。

AMPO介于两者之间：它通过训练阶段的奖励信号感知思维链的质量，学会“何时该多想、何时该少想”，推理时根据输入自动调节思考深度，但不实时采样。

维度	SFT	DPO	GRPO	GFPO	TTRL	AMPO
训练-推理关系	解耦	解耦	训练时采样	训练时采样+过滤	推理时优化	训练时学习调节策略

3. 对计算资源的需求模式

这一点在工程选型中往往是最关键的。SFT的计算开销集中在数据标注与单轮训练；DPO额外增加了偏好对构造成本，但训练本身的算力需求远低于传统强化学习（无需奖励模型与Critic）。

GRPO摆脱了Critic网络，但仍需维护参考策略与采样策略两套参数，且训练时需要动态采样，显存开销与计算量均高于DPO。GFPO在GRPO基础上增加了过滤步骤——这意味着采样数量必须显著增大（例如从16个采样中仅保留前4个），否则过滤后的样本量不足以支撑稳定更新。因此GFPO的训练开销更高，但换来的是推理时更简洁的回答。

TTRL则把计算压力转移到了推理端——每次推理都需要实时采样与打分，这在低延迟业务场景中几乎是不可接受的，但在离线批量处理或对准确性要求极高的场景下，其收益可能远超额外成本。

4. 对“思考长度”的处理策略

这是一个极易被忽视但直接决定用户体验与成本的维度。

SFT和DPO对思考长度没有任何显式控制——模型倾向于生成多长的回答完全由数据分布决定。DPO在某些情况下甚至可能加剧“过度生成”，因为偏好注释者往往把更长的回答视为更“认真”或“全面”，导致模型学习到“越长得高分”的隐式偏好。

GRPO通过组内相对优势初步缓解了这一问题——如果组内短回答得分高，长回答得分低，模型会自然收敛到短回答。但它不保证过滤掉“又长又无用”的答案，因为组内比较无法消除整体偏差。

GFPO是明确针对“思考长度膨胀”的解法。其核心观点在于：更长的回答与正确性并无强关联，甚至可能呈负相关。因此GFPO在训练时实施“组过滤”策略——采样一批候选推理链，根据目标指标（如正确性、覆盖率、简洁性）打分，只保留Top-K用于策略更新。这本质上是“用训练时的多思考换取推理时的少思考”——模型在训练阶段见过更高质量的短回答分布，推理时自然倾向于生成简洁且准确的答案。

AMPO则走得更进一步，它让模型学会“自适应思考”——面对简单任务时自动缩短思考链，面对复杂推理任务时自动延长思考链，这种能力是通过奖励信号对思维链长度的动态反馈锻炼出来的。

这是本文最值得关注的核心对比维度：

方法	对思考长度的控制	推理阶段的开销
SFT	无显式控制	固定
DPO	隐式控制（取决于偏好数据）	固定
GRPO	组内间接控制	固定（无额外采样）
GFPO	显式过滤，训练时长思考，推理时短思考	固定，且响应更短
TTRL	推理时动态采样，长度由采样结果决定	高，随采样数线性增长
AMPO	训练时学会自适应调节	固定，且可按需缩短

5. 数据需求与标注成本

SFT需要高质量的单轮标注数据，通常至少需要数千条任务专属样本才能产生明显效果。DPO需要的偏好对数据（chosen/rejected）标注难度更高，因为它要求标注者对两个候选回答进行相对比较，且比较标准需要统一。GRPO与GFPO则可以基于已有的奖励函数或规则指标（如答案正确性、格式匹配度）自动计算得分，无需人工偏好标注——这是它们在大规模自动优化中的重要优势。TTRL的测试时优化可能完全不需要训练标注，但需要设计有效的评价函数来指导采样筛选。

五、典型场景选择：什么时候用哪种方法？

场景一：垂直领域问答系统，有明确正确答案，数据标注相对容易

推荐路线：SFT先行，GFPO后续优化。先用SFT让模型学会领域基本格式与知识边界，再用GFPO在训练阶段引入负采样与过滤，迫使模型输出更简洁准确的答案。如果你的业务要求回答不能超过某个字数限制，GFPO的Token Efficiency策略（定义奖励与响应长度的比率进行过滤）尤其适用。

场景二：对话助手，需要考虑用户偏好与安全对齐

推荐路线：DPO为主，必要时叠加GRPO。DPO天然适合处理“哪类回复更好”的软性对齐问题，且训练稳定。若发现DPO训练后的模型在某些输入上出现明显偏好偏移，可以引入GRPO做进一步的组内校准，但要确保采样组的质量分布合理。

场景三：复杂推理任务（数学题、代码生成、逻辑判断），对正确性要求高，但对推理过程不透明

推荐路线：TTRL或AMPO。TTRL适合离线批量推理场景，可以通过多次采样投票选择最优结果；AMPO更适合生产环境，因为它在推理时不额外采样，而是靠训练阶段习得的自适应思考能力，在正确性与响应速度之间取得平衡。

场景四：高并发、低成本要求的在线服务

强烈建议GFPO。它通过训练阶段的过滤机制，大幅压缩了推理阶段生成token的冗余度。直接效果是降低每请求的延迟与Token消耗，这在成本敏感的规模化部署中往往是核心约束。

场景五：需要同时处理多种难度任务的通用助手

AMPO是更优选择。它让模型自己判断当前问题是简单还是复杂，并动态调整思考链长度。但需要警惕：若训练数据的难度分布与实际生产环境不一致，自适应策略可能会失准。

六、对比表格：全景视角下的关键差异

对比维度	SFT	DPO	GRPO	GFPO	TTRL	AMPO
训练复杂度	低	中	中高	高	低（训练简单，推理复杂）	中高
是否需要偏好标注	否（需标签）	是	否（需奖励函数）	否（需奖励函数+过滤规则）	否（需推理时评价函数）	否（需奖励信号）
是否能控制回答长度	否	弱	弱	强	中等	强（自适应）
推理额外开销	无	无	无	无	高	无（但存在策略失效风险）
对训练数据的依赖	高	中高	中	中	低	中
风险点	过拟合、格式固化	偏好数据偏差	采样多样性不足导致优势无效	过滤过度导致样本覆盖不足	推理成本失控	自适应策略在分布外输入上失效
适用阶段	初期冷启动	对齐优化	强化学阶段	需要控制Token成本的阶段	离线高准确率场景	生产环境在线推理

七、迁移与使用注意事项：从DPO迁移到GRPO/GFPO时的风险与对策

如果你已经在生产环境中使用DPO并计划切换到GRPO或GFPO，以下几点需要特别关注：

1. 训练基础设施的改造
DPO的训练过程可以视为一次常规的对比学习，训练脚本与普通SFT差别不大。但GRPO和GFPO需要在训练时动态采样，这意味着你需要具备“多重采样+组内统计”的计算能力。如果你的训练框架仅支持简单的前向-反向传播而无法便捷地实现N次采样并计算组内相对优势，迁移成本将显著上升。

2. 奖励函数的设计直接决定效果上限
GRPO和GFPO对奖励函数的敏感度远高于DPO对偏好数据的依赖。DPO中，人类注释者已经隐式地定义了“什么是好的回答”；而在GRPO中，你需要显式定义奖励函数——如果奖励函数与业务目标耦合不紧，模型可能学会“钻奖励函数的空子”。建议在迁移前先在小规模测试集上验证奖励函数与人工评价的一致性。

3. 过滤阈值的调参风险
GFPO的过滤策略（如保留Top-K）直接决定了训练样本的多样性。K值过小，模型只能看到极少数“完美”回答，策略可能过度收紧，丧失探索能力；K值过大，过滤失去意义。建议从K=50%样本数开始，观察模型生成长度的变化趋势，逐步压缩。

4. 稳定性监控与回滚机制
由于这类算法引入了随机采样与组内优化，训练损失曲线的波动会明显大于DPO。务必在训练过程中同时监控验证集上的任务指标（如正确率、BLEU、格式匹配率），而不是仅关注loss值。若发现策略崩溃（即所有采样输出退化到同一模式），应立即回退到上一版本的检查点，并增大组内样本的采样温度。

八、选型建议：不是“哪个最好”，而是“哪个更适合你的约束”

如果你面临的是“新的任务领域，不知道模型该怎么答”，请先做SFT，这是所有优化的基础底座。

如果你希望模型在“人类偏好”上对齐，而不追求极致的Token效率，DPO是性价比最高的选择——训练稳定、调参友好、工程化成熟。

如果你的核心业务指标是“答案正确率”，且你可以接受训练阶段较高的计算成本，GRPO是最值得尝试的强化学习入口，因为它不依赖于独立的奖励模型与Critic，工程上更容易落地。

如果你的服务是规模化在线的，且每次调用都要消耗真实Token成本，GFPO是最有价值的“降本增效”工具，但请额外预留过滤阈值调参的时间预算。

如果你做的是离线批量推理，且对回答错误零容忍，TTRL可以给你近乎“任意长的思考时间”换取准确性上限。

如果你的产品需要同时应对简单问答与复杂推理，请关注AMPO这类自适应思考的方法，但要时刻警惕训练数据分布与线上真实输入的偏差。

最后的核心建议：不要把上述方法视为互斥选项，它们更像是不同精度的“优化齿轮”——SFT提供基础能力，DPO修正偏好方向，GRPO/GFPO在训练中持续精调策略，TTRL则作为最后的推理期保险。成熟的团队通常以“SFT + GRPO(或GFPO)”为主干，以TTRL作为高价值请求的特殊通道，以AMPO作为面向未来的探索方向。

九、总结

大语言模型的优化早已从“一招鲜”走向“组合拳”时代。SFT保证了模型的下限，DPO改善了模型的偏好对齐，GRPO引入了更稳健的策略优化机制，GFPO则直击冗余推理的痛点，TTRL把优化延伸到了推理现场，AMPO让模型学会了自我审视思考深度。理解它们的本质差异，不是为了找到“最好”的方法，而是为了在特定的算力预算、数据条件、延迟约束和准确率要求下，组合出最适合自身业务的那条路径。