简介:大模型强化学习算法是什么?本文系统梳理PPO、DPO、GRPO、DAPO、GSPO五大算法,逐一拆解它们要解决的问题、核心公式与关键机制,涵盖GAE优势估计、Clip裁剪、KL正则、组内相对优势、Clip-Higher与动态采样、序列级重要性比值等,并对比各自适用场景、工程实现与常见陷阱,帮助你在算法选型与训练调优中做出准确判断。
大模型强化学习算法,是指在模型完成监督微调(SFT)之后,使用强化学习范式进一步优化其输出行为的这一类方法。训练时,模型先自行生成回答(称为采样或 rollout),再根据奖励信号评估这些回答的优劣,然后调整模型参数,使高奖励回答的生成概率上升、低奖励回答的概率下降。PPO、DPO、GRPO、DAPO、GSPO 都属于这一范畴,区别在于优化目标的构造方式、奖励信号的来源,以及是否需要额外的价值网络。
PPO(Proximal Policy Optimization,近端策略优化)、GRPO(Group Relative Policy Optimization,组相对策略优化)、GSPO(Group Sequence Policy Optimization,组序列策略优化)、DAPO 的名字中都带有“PO”。原因是它们都直接优化策略(policy,即模型本身)及策略梯度目标,同属策略优化家族,区别主要在优势估计方式和稳定性机制上。DPO(Direct Preference Optimization,直接偏好优化)则不同,它不改写训练范式,而是把偏好对齐问题等价改写为类似监督学习的分类问题。因此更准确的分类是:
可以从三个视角理解这一概念:
三者的关系可以写成:SFT →(可选)偏好优化 → 强化学习 → 评测。
| 算法 | 核心思想 | 是否需要价值网络 | 典型数据形式 | 一句话定位 |
|---|---|---|---|---|
| PPO | 价值网络估计优势 + 重要性比值裁剪 | 需要 | 提示 + 标量奖励 | 经典基线,通用且稳定,但成本高 |
| DPO | 把奖励函数隐式参数化,将偏好最大化转成对分类 | 不需要 | 同一提示下的优/劣成对回答 | 流程简单,适合偏好对齐 |
| GRPO | 用同一提示下多条回答的组内均值作基线 | 不需要 | 提示 + 可批量评分的奖励 | 去掉价值网络,特别适合可验证奖励任务 |
| DAPO | 在 GRPO 上叠加裁剪解耦、动态采样、token 级损失、超长奖励塑形 | 不需要 | 同 GRPO | 面向长思维链推理的工程化补丁 |
| GSPO | 把重要性比值与裁剪提升到序列级 | 不需要 | 同 GRPO | 序列级稳定更新,对 MoE 架构更友好 |
SFT 学习的是“给定问题,模仿标准答案”。它的目标与真正关心的事情并不一致:
而且 SFT 只能模仿已有答案,无法从“自己生成的结果”中学习。强化学习的价值在于直接优化最终结果:模型自己写出答案,根据对错或人类偏好获得奖励,再把这份反馈转化为梯度。
某研究团队用 PPO 结合人类反馈完成了指令模型的训练,让“基于人类反馈的强化学习(RLHF)”成为行业事实标准。PPO 诞生于机器人控制、游戏等强化学习领域,优势在于通用、稳定,但它依赖一个与策略同量级的价值网络(critic)逐 token 估计状态价值,训练时至少需要四份模型参与:策略、价值、参考、奖励。
随着各研究团队持续公开偏好数据,“能否跳过采样、跳过价值网络,只用成对偏好数据直接训练”成为普遍关注的问题。DPO 从数学上给出肯定回答,把强化学习变成了类似监督学习的分类任务。
在“训练推理模型”的实践中,某团队提出 GRPO:对同一问题采样多条回答,用组内奖励的相对高低作为优势,彻底去掉价值网络。由于数学、代码等任务的奖励可以由规则自动判定,称为可验证奖励,GRPO 迅速成为推理模型训练的主流方案。
GRPO 在长思维链任务中暴露出若干工程问题:
总体来看,这条路线一直在回答三个问题:
市面上成熟的开源强化学习训练框架通常遵循同一套设计哲学:把“算法”拆成两个可替换的组件,所有算法共用同一条训练主循环。
围绕这两个组件,框架还提供以下通用能力:
# 示意代码:算法注册与调度(与具体框架无关)ADV_REGISTRY, POLICY_REGISTRY = {}, {}def register_adv(name): # 注册优势估计器def deco(fn):ADV_REGISTRY[name] = fnreturn fnreturn deco@register_adv("gae") # 或 "grpo"、"rloo" 等def compute_gae(rewards, values, mask, gamma=1.0, lam=0.95):return generalized_advantage_estimation(rewards, values, mask, gamma, lam)# 训练前根据配置选择算法组件,替换任何一个函数都不会影响主循环adv_fn = ADV_REGISTRY[cfg.adv_estimator]policy_fn = POLICY_REGISTRY[cfg.policy_loss]
理解这一设计非常关键:PPO、GRPO、DAPO、GSPO 之间的差异,绝大部分可以归到“优势怎么算”和“比值在什么粒度上裁剪”两个问题上。DPO 则不走这条采样循环,而是在偏好数据上做离线训练。
不管使用哪种在线算法,每一轮更新大致都包含:
此外,以下概念会反复出现,先在此统一说明:
ratio(θ) = exp(logπ_θ - logπ_old),即新旧策略对同一 token 概率之比,用于修正“用旧策略的数据更新新策略”带来的偏差。4.1.1 它要解决什么问题
朴素策略梯度直接用采样得到的回报做权重,需要大量样本且方差很大;步子一大,策略就可能崩坏。PPO 的思路是“小步快跑”:用一个裁剪后的目标函数近似“信任域内更新”,并用价值网络做基线降低方差。
4.1.2 核心目标与裁剪机制
策略部分的目标是:
ratio(θ) = exp(logπ_θ(a_t | s_t) − logπ_old(a_t | s_t))L_clip = − E[ min( ratio·A_t , clip(ratio, 1−ε, 1+ε)·A_t ) ]
裁剪的含义:
1+ε 就被截断,避免步子迈得过大。1−ε 也被截断。可以把它理解为一道“阻尼”:策略每轮最多只能把某个 token 的概率沿有利方向改变约 ε 倍,从而把单步更新限制在旧策略附近。常用取值如 ε = 0.2。
4.1.3 GAE:优势估计的引擎
价值网络输出状态价值 V(s),优势定义为“实际回报 − 预期价值”。广义优势估计(GAE)在偏差和方差之间折中:
δ_t = r_t + γ·V(s_{t+1}) − V(s_t) # 单步时序差分残差A_t = δ_t + (γλ)·δ_{t+1} + (γλ)^2·δ_{t+2} + ...
在大模型里,可以把生成过程看成一串动作:
这样一来,GAE 的递推就变成从后往前计算:A_t = δ_t + λ·A_{t+1},天然适配 token 序列。
4.1.4 奖励计算与 KL 注入
常见做法是把 KL 惩罚直接写进逐 token 奖励,而不是只挂在 loss 上:
r_t = −β · KL_t = β · ( logπ_ref(a_t | s_t) − logπ_θ(a_t | s_t) ) # 中间 tokenr_T = R(x, y) − β · KL_T # 序列最后一个 token
这样做的效果是:
KL 系数的常用范围在 0.001~0.1 之间。
4.1.5 价值损失(critic)
价值网络通过回归训练,预测“从当前状态出发的期望回报”。PPO 原始论文提出了带裁剪的价值损失,用 clip(V_θ, V_old−ε, V_old+ε) 限制价值函数每轮的变化幅度。在常见的大模型实现中,它通常简化为对 return 的均方误差:
L_value = 0.5 · mean( (V_θ(s_t) − R_t)^2 )
4.1.6 熵奖励
熵衡量输出分布的随机程度。在策略损失中加上 −c₂·H(π)(即减去熵的相反数),可以鼓励探索、防止模型过早“认死”某个答案。权重过大则输出会变得散乱,常见做法是小权重甚至关闭。
4.1.7 双裁剪
部分实现会在标准裁剪外再加一层保护:当优势为负且比值过小(例如低于某个下界)时,损失不再继续变化。这相当于给负优势方向再设一道“地板”,用于应对个别极端比值。
4.1.8 总损失结构
L_PPO = L_policy_clip + c1·L_value − c2·H(π) [+ KL 约束(可选)]
4.1.9 代价与局限
4.2.1 它要解决什么问题
标准 RLHF 流程需要奖励模型、在线采样、价值网络,调参难度和训练成本都很高。DPO 提出:既然最优策略与奖励函数之间存在解析关系,能否不显式建模奖励,直接用偏好数据优化策略?
4.2.2 推导思路(简化版)
第一步,带 KL 约束的奖励最大化问题存在闭式最优解:
max_π E_{y~π}[ r(x,y) ] − β·KL( π(·|x) || π_ref(·|x) )⇒ π_r(y|x) = (1/Z(x)) · π_ref(y|x) · exp( r(x,y) / β )
第二步,反解出奖励,用策略与参考策略的对数概率比表示:
r(x,y) = β · log( π_r(y|x) / π_ref(y|x) ) + β · log Z(x)
第三步,假设人类偏好服从 Bradley-Terry 模型,即 P(y_w ≻ y_l | x) = σ( r(x,y_w) − r(x,y_l) )。代入后,与 x 有关的 β·log Z(x) 在相减时正好抵消,于是得到 DPO 的损失:
L_DPO = − E_(x, y_w, y_l) [ log σ( β·log(π_θ(y_w|x)/π_ref(y_w|x)) − β·log(π_θ(y_l|x)/π_ref(y_l|x)) ) ]
直观理解:
4.2.3 关于“在通用框架中运行”
不少强化学习训练框架已把偏好训练作为单独模式提供。此时主循环被简化为“读数据—前向—算 DPO 损失—反向传播”,采样、奖励、价值网络全部跳过。但它与传统 RL 模式的本质区别是没有在线采样:回答完全由数据决定,无法从模型自己的最新输出中学习。
4.2.4 局限
4.3.1 它要解决什么问题
PPO 的瓶颈在于价值网络:参数与策略同量级,训练成本高;在大模型里,状态空间几乎不重复,价值估计本身也困难。GRPO 的答案是:让同一问题生成 G 条回答,用这 G 条奖励的相对高低作为基线,从根本上去掉价值网络。
4.3.2 核心公式
对问题 q,采样 G 条回答 {o_1, ..., o_G},奖励为 {r_1, ..., r_G}A_i = ( r_i − mean(r_1, ..., r_G) ) / ( std(r_1, ..., r_G) + eps )ratio_{i,t}(θ) = exp( logπ_θ(o_{i,t} | q, o_{i,<t}) − logπ_old(o_{i,t} | q, o_{i,<t}) )L_GRPO = − (1/G) · Σ_i (1/|o_i|) · Σ_t min( ratio_{i,t}·A_i , clip(ratio_{i,t}, 1−ε, 1+ε)·A_i ) + β·KL
与原版 PPO 的核心差别只有两处:
4.3.3 为什么有效
组均值天然扮演了基线:奖励高于组内平均的回答被视为“比同伴好”,梯度向它倾斜;低于平均的回答被压低。这相当于把 PPO 中的 critic 替换为一个“组内经验平均”。
4.3.4 KL 的处理方式
不同实现里 KL 的处理差别很大:
L = L_policy + β·KL,梯度中显式包含偏离惩罚;4.3.5 工程实现要点
4.3.6 局限
4.4.1 背景:GRPO 在长思维链训练中的四类问题
1−ε ~ 1+ε 的对称区间限制了低概率 token 的概率提升空间,导致熵快速下降、探索不足。4.4.2 四个补丁
ε_low=0.2, ε_high=0.28),让低概率 token 有更大的提升空间,从而维持探索与熵水平。1/|o_i| 归一,直接对 token 求和后平均,使长回答中的 token 获得与其数量相称的权重。这四项改进彼此独立,可以任意组合;实际使用时通常以 GRPO 为底座,再逐项打开。
4.5.1 它要解决什么问题
GRPO 的比值在 token 粒度上计算。对于长回答:
4.5.2 核心公式
GSPO 把比值定义在整条序列上,并对长度做归一化:
s_i(θ) = ( π_θ(o_i | q) / π_old(o_i | q) )^(1/|o_i|)L_GSPO = − (1/G) · Σ_i min( s_i(θ)·A_i , clip( s_i(θ), 1−ε, 1+ε )·A_i )
其中 π_θ(o_i | q) = Π_t π_θ(o_{i,t} | q, o_{i,<t})。几何平均意味着序列级比值近似为各 token 比值的“平均幅度”,数值更平稳。
4.5.3 与 GRPO 的本质差别
4.5.4 为什么对 MoE 更友好
| 维度 | PPO | GRPO | DAPO | GSPO |
|---|---|---|---|---|
| 基线来源 | 价值网络 + GAE | 组内均值 | 组内均值 | 组内均值 |
| 比值粒度 | token | token | token | 序列(长度归一化) |
| 裁剪方式 | 对称 | 对称 | 上下界解耦 | 序列级对称 |
| 损失聚合 | 按 token | 按回答长度平均 | 按 token | 按回答平均 |
| 典型奖励 | 奖励模型 | 可验证奖励 | 可验证奖励 | 可验证奖励 |
| 主要优势 | 通用、稳定 | 低成本、易实现 | 长思维链更稳 | 大规模 MoE 更稳 |
同一个 loss,在“如何对 token 求平均”上不同,训练效果可能显著不同。常见有三种:
实践建议:
设 logr = logπ_θ(a|s) − logπ_ref(a|s),常用三种无偏/有偏估计:
建议:训练约束用 k3;监控指标可同时记录 k1 的均值与绝对值均值,前者看“整体偏离方向”,后者看“偏离幅度”。
A_i = (G/(G−1))·(r_i − mean(r)),与组内均值归一化思想同源,差异在基线的构造细节。从 PPO 到 DPO、GRPO、DAPO、GSPO,大模型强化学习算法的主线可以概括为:在不牺牲稳定性的前提下,不断降低训练成本、降低梯度方差、适配不同模型结构与任务形态。
理解它们的定义与适用边界,比记住公式更重要:选对算法,往往比调参更关键。