简介:本文系统梳理大语言模型后训练阶段五类主流强化学习与偏好优化算法——PPO、DPO、GRPO、DAPO、GSPO,从定义、损失函数、梯度机制到适用场景逐一剖析,帮助读者厘清各方法的核心差异、优缺点与选型依据,尤其理解为何长程任务中部分团队重新回归PPO。
在大语言模型的后训练(post-training)阶段,PPO、DPO、GRPO、DAPO、GSPO 属于同一族问题:它们都用于把”已经具备语言能力”的基座模型,进一步优化为”更符合人类偏好或更能完成目标任务”的对齐模型。
从强化学习的视角看,这五个方法要解决的核心问题都是同一个:在给定 prompt(提示)的前提下,如何调整模型参数,让模型生成 token 序列的期望回报最大化,同时又不偏离原始模型太远。 区别只在于它们对”回报如何估计、约束如何施加、梯度如何计算”采取了不同的工程取舍。
需要澄清一个常见误区:它们并非互相取代的”新旧版本”关系,而是面向不同规模、不同数据条件、不同训练稳定性的多样化技术路线。理解这一点,是选型的前提。
早期对齐的主流做法是先训练一个奖励模型(reward model),再用强化学习去最大化该奖励,典型代表就是 PPO。这条路线效果好,但存在三个痛点:
DPO、GRPO、DAPO、GSPO 正是在缓解这些痛点的过程中逐步演进的:DPO 试图去掉奖励模型,GRPO 试图去掉 critic,DAPO 修复 GRPO 的训练缺陷,GSPO 则针对超大规模混合专家(MoE)模型的训练—推理不一致问题做了修正。
PPO(Proximal Policy Optimization,近端策略优化)是最早被大规模用于 RLHF 的算法。它的建模方式是把语言生成看成一个马尔可夫决策过程:prompt 记为 x,第 t+1 步生成的 token 为 y{t+1},已生成部分为 y{≤t},则第 t 步的状态可理解为 st = (x, y{≤t}),动作就是”下一个 token”。
PPO 需要最小化的是一个总损失,通常由四项构成:
L_PPO(θ) = L_policy(θ) + c_v · L_value(θ) − c_e · L_entropy(θ) + β · L_KL(θ)
(1) 策略损失(policy loss)
目标是让模型更倾向于生成高 advantage(优势值)的 token。由于要做最大化、而优化器做最小化,故加负号:
L_policy(θ) = − E_t [ min( r_t(θ)·A_t , clip(r_t(θ), 1−ε, 1+ε)·A_t ) ]
其中重要性采样比 rt(θ) = πθ(at|s_t) / πθ_old(a_t|s_t)。clip 机制的意义在于:当新旧策略的比值偏离 [1−ε, 1+ε] 时不再给出梯度,从而把单次更新的步子”限制”在信任域内,这就是”近端(proximal)”一词的由来。
(2) 价值损失(value loss):训练 critic 网络去拟合回报,为 advantage 的估计提供基线,通常形式是最小化 (V_θ(s_t) − R_t)²。
(3) 熵奖励(entropy bonus):鼓励策略保持一定随机性,避免过早坍缩到确定性输出,前缀系数 c_e 控制其强度。
(4) KL 惩罚:约束当前策略 πθ 不要偏离参考模型 π_ref 太远,常用 β · KL(πθ ‖ π_ref),是防止”跑偏”的关键项。
这四者的配合,使 PPO 效果稳健,但也带来”必须同时维护 policy、reference、value 三个模型”的重开销。
DPO(Direct Preference Optimization)的核心洞察是:RLHF 的最优策略在数学上可以写成一个封闭形式,因此不必显式训练奖励模型、也不必跑在线强化学习,直接在一批”人类偏好对”(chosen 优于 rejected)上做监督式优化即可。
它用一个简洁的分类式损失,隐式地把”偏好”注入模型:对 chosen 与 rejected 的隐式奖励差做 sigmoid 变换。它的价值在于实现简单、训练稳定、无需采样与 reward model;代价是它依赖离线偏好数据,在线探索能力弱,且对偏好数据分布较敏感。
GRPO(Group Relative Policy Optimization)的关键改造是:彻底移除价值网络。它的做法是,对同一个 prompt 采样一组(group)输出,用这组输出各自的奖励,通过组内归一化得到每个 token 的”相对优势”,从而替代 critic 的基线估计。
这样一来:
GRPO 的 KL 惩罚通常也直接放进损失项。它非常适合”奖励可自动判定”的任务,也是当前不少开源大模型后训练的常见选择。
DAPO(Decoupled Clip and Dynamic Sampling Policy Optimization)针对 GRPO 在长训练中的实际问题做了工程性修正,核心技巧通常包括:
这些改进共同提升了长序列、复杂推理任务上的训练稳定性与收敛质量。
GSPO(Group Sequence Policy Optimization)关注的是训练与推理的不一致:在超大 MoE 模型中,token 级的重要性采样比在推理(不同并行/路由实现)与训练之间容易产生数值偏差,导致梯度噪声大、训练崩溃。GSPO 把重要性采样从”token 级”提升到”序列级”,在整条序列上定义比值并裁剪,从而显著提升大规模 MoE 训练时的稳定性。
值得注意的是,近期有团队在长程(long-horizon)任务上重新采用 PPO 而非 GRPO,原因在于长程任务中”步数与信用分配”更复杂,PPO 基于逐步 value 的优势估计能更精细地分配回报;这提醒我们:方法优劣高度依赖任务形态,没有绝对最优,只有相对适配。
PPO、DPO、GRPO、DAPO、GSPO 本质上都在回答”如何让大模型更符合人类意图与目标”。PPO 以稳健的四项损失奠定 RLHF 范式;DPO 用封闭解绕开奖励模型;GRPO 以组内相对优势去掉 critic;DAPO 与 GSPO 分别针对训练稳定性与训练—推理一致性做工程深化。理解它们”是什么、各自解决什么、代价是什么”,才能在真实项目中依据任务形态、算力预算与奖励可得性做出合理选型,而不是简单套用某一种”标准答案”。