大模型强化学习算法定义:从PPO到GSPO

作者:4042026.11.18 11:47浏览量:0

简介:大模型强化学习算法是什么?本文系统梳理PPO、DPO、GRPO、DAPO、GSPO五大算法,逐一拆解它们要解决的问题、核心公式与关键机制,涵盖GAE优势估计、Clip裁剪、KL正则、组内相对优势、Clip-Higher与动态采样、序列级重要性比值等,并对比各自适用场景、工程实现与常见陷阱,帮助你在算法选型与训练调优中做出准确判断。

一、概念定义:什么是大模型强化学习算法

大模型强化学习算法,是指在模型完成监督微调(SFT)之后,使用强化学习范式进一步优化其输出行为的这一类方法。训练时,模型先自行生成回答(称为采样或 rollout),再根据奖励信号评估这些回答的优劣,然后调整模型参数,使高奖励回答的生成概率上升、低奖励回答的概率下降。PPO、DPO、GRPO、DAPO、GSPO 都属于这一范畴,区别在于优化目标的构造方式、奖励信号的来源,以及是否需要额外的价值网络。

PPO(Proximal Policy Optimization,近端策略优化)、GRPO(Group Relative Policy Optimization,组相对策略优化)、GSPO(Group Sequence Policy Optimization,组序列策略优化)、DAPO 的名字中都带有“PO”。原因是它们都直接优化策略(policy,即模型本身)及策略梯度目标,同属策略优化家族,区别主要在优势估计方式和稳定性机制上。DPO(Direct Preference Optimization,直接偏好优化)则不同,它不改写训练范式,而是把偏好对齐问题等价改写为类似监督学习的分类问题。因此更准确的分类是:

  • 在线策略优化类:PPO、GRPO、DAPO、GSPO
  • 离线偏好优化类:DPO

可以从三个视角理解这一概念:

  • 数学视角:它求解的是一个带正则约束的优化问题,即最大化模型输出的期望奖励,同时约束新策略不要偏离参考策略太远。
  • 工程视角:它是一套“采样—打分—更新”的闭环流水线。分布式训练和高效推理引擎负责采样与计算,奖励模型或规则负责打分,优势估计器和策略损失函数负责把分数转化为参数更新。
  • 业务视角:SFT 让模型“学会以期望的格式作答”,强化学习则让模型“学会给出更好的答案”,例如更符合人类偏好、数学推理更准确、代码能通过测试。

三者的关系可以写成:SFT →(可选)偏好优化 → 强化学习 → 评测。

五个算法速览

算法 核心思想 是否需要价值网络 典型数据形式 一句话定位
PPO 价值网络估计优势 + 重要性比值裁剪 需要 提示 + 标量奖励 经典基线,通用且稳定,但成本高
DPO 把奖励函数隐式参数化,将偏好最大化转成对分类 不需要 同一提示下的优/劣成对回答 流程简单,适合偏好对齐
GRPO 用同一提示下多条回答的组内均值作基线 不需要 提示 + 可批量评分的奖励 去掉价值网络,特别适合可验证奖励任务
DAPO 在 GRPO 上叠加裁剪解耦、动态采样、token 级损失、超长奖励塑形 不需要 同 GRPO 面向长思维链推理的工程化补丁
GSPO 把重要性比值与裁剪提升到序列级 不需要 同 GRPO 序列级稳定更新,对 MoE 架构更友好

二、背景与价值:一条不断演进的优化路线

2.1 起点:为什么需要强化学习

SFT 学习的是“给定问题,模仿标准答案”。它的目标与真正关心的事情并不一致:

  • 数学题最终看答案是否正确;
  • 代码最终看能否通过测试;
  • 对话最终看是否被人类认可。

而且 SFT 只能模仿已有答案,无法从“自己生成的结果”中学习。强化学习的价值在于直接优化最终结果:模型自己写出答案,根据对错或人类偏好获得奖励,再把这份反馈转化为梯度。

2.2 第一阶段:PPO 确立范式

某研究团队用 PPO 结合人类反馈完成了指令模型的训练,让“基于人类反馈的强化学习(RLHF)”成为行业事实标准。PPO 诞生于机器人控制、游戏等强化学习领域,优势在于通用、稳定,但它依赖一个与策略同量级的价值网络(critic)逐 token 估计状态价值,训练时至少需要四份模型参与:策略、价值、参考、奖励。

2.3 第二阶段:DPO 绕开复杂流程

随着各研究团队持续公开偏好数据,“能否跳过采样、跳过价值网络,只用成对偏好数据直接训练”成为普遍关注的问题。DPO 从数学上给出肯定回答,把强化学习变成了类似监督学习的分类任务。

2.4 第三阶段:GRPO 去掉价值网络

在“训练推理模型”的实践中,某团队提出 GRPO:对同一问题采样多条回答,用组内奖励的相对高低作为优势,彻底去掉价值网络。由于数学、代码等任务的奖励可以由规则自动判定,称为可验证奖励,GRPO 迅速成为推理模型训练的主流方案。

2.5 第四阶段:DAPO 与 GSPO 打补丁

GRPO 在长思维链任务中暴露出若干工程问题:

  • DAPO:某团队针对 GRPO 训练长思维链推理模型的实践提出四点改进。
  • GSPO:某团队针对大规模混合专家(MoE)架构下训练不稳定、专家负载失衡的问题,提出序列级的 GSPO。

总体来看,这条路线一直在回答三个问题:

  1. 如何用更低的计算和显存成本完成训练?
  2. 如何降低梯度方差、保证训练稳定?
  3. 如何让算法适配特定的模型结构与任务形态?

三、核心组成:可插拔的算法框架

市面上成熟的开源强化学习训练框架通常遵循同一套设计哲学:把“算法”拆成两个可替换的组件,所有算法共用同一条训练主循环。

  • 优势估计器(adv_estimator):决定“每条回答比平均水平好多少”,常见取值包括 GAE、GRPO、RLOO 等。
  • 策略损失函数(policy_loss):决定“优势如何转化为 loss、如何做裁剪”,例如标准裁剪式、序列级裁剪式等。

围绕这两个组件,框架还提供以下通用能力:

  • 采样与生成:通常集成高吞吐推理引擎,支持连续批处理与前缀缓存,使批量生成快于常规的自回归解码。
  • 模型编排:在 actor、critic、参考模型、奖励模型之间统一分配显存,支持全分片数据并行、张量并行与流水并行。
  • 算法注册机制:常用装饰器把“函数”登记为“可配置的策略”,配置项 change 一下名字即可切换算法。
  1. # 示意代码:算法注册与调度(与具体框架无关)
  2. ADV_REGISTRY, POLICY_REGISTRY = {}, {}
  3. def register_adv(name): # 注册优势估计器
  4. def deco(fn):
  5. ADV_REGISTRY[name] = fn
  6. return fn
  7. return deco
  8. @register_adv("gae") # 或 "grpo"、"rloo" 等
  9. def compute_gae(rewards, values, mask, gamma=1.0, lam=0.95):
  10. return generalized_advantage_estimation(rewards, values, mask, gamma, lam)
  11. # 训练前根据配置选择算法组件,替换任何一个函数都不会影响主循环
  12. adv_fn = ADV_REGISTRY[cfg.adv_estimator]
  13. policy_fn = POLICY_REGISTRY[cfg.policy_loss]

理解这一设计非常关键:PPO、GRPO、DAPO、GSPO 之间的差异,绝大部分可以归到“优势怎么算”和“比值在什么粒度上裁剪”两个问题上。DPO 则不走这条采样循环,而是在偏好数据上做离线训练。

训练主循环的五个阶段

不管使用哪种在线算法,每一轮更新大致都包含:

  1. 采样:对一批提示各生成 G 条回答;
  2. 打分:奖励模型或规则给出标量奖励,参考模型给出 KL 约束所需的对数概率;
  3. 优势估计:由所选算法计算每条 token(或每条序列)的优势;
  4. 策略更新:用裁剪目标计算 loss,反向传播并更新 actor;PPO 还需更新 critic;
  5. 检查点:保存权重、记录指标、按需做验证集评测。

此外,以下概念会反复出现,先在此统一说明:

  • 重要性比值:ratio(θ) = exp(logπ_θ - logπ_old),即新旧策略对同一 token 概率之比,用于修正“用旧策略的数据更新新策略”带来的偏差。
  • KL 惩罚:约束当前策略与参考策略的偏离程度,防止模型为“刷奖励”而语言能力退化。
  • 参考策略:一般固定为 SFT 后模型的快照,训练中不更新。

四、工作原理:五大算法逐一拆解

4.1 PPO:经典基线,但成本高

4.1.1 它要解决什么问题

朴素策略梯度直接用采样得到的回报做权重,需要大量样本且方差很大;步子一大,策略就可能崩坏。PPO 的思路是“小步快跑”:用一个裁剪后的目标函数近似“信任域内更新”,并用价值网络做基线降低方差。

4.1.2 核心目标与裁剪机制

策略部分的目标是:

  1. ratio(θ) = exp(logπ_θ(a_t | s_t) − logπ_old(a_t | s_t))
  2. L_clip = − E[ min( ratio·A_t , clip(ratio, 1−ε, 1+ε)·A_t ) ]

裁剪的含义:

  • 优势 A_t > 0 时:希望提高该动作概率,但比值一旦超过 1+ε 就被截断,避免步子迈得过大。
  • 优势 A_t < 0 时:希望降低该动作概率,但比值一旦低于 1−ε 也被截断。

可以把它理解为一道“阻尼”:策略每轮最多只能把某个 token 的概率沿有利方向改变约 ε 倍,从而把单步更新限制在旧策略附近。常用取值如 ε = 0.2。

4.1.3 GAE:优势估计的引擎

价值网络输出状态价值 V(s),优势定义为“实际回报 − 预期价值”。广义优势估计(GAE)在偏差和方差之间折中:

  1. δ_t = r_t + γ·V(s_{t+1}) − V(s_t) # 单步时序差分残差
  2. A_t = δ_t + (γλ)·δ_{t+1} + (γλ)^2·δ_{t+2} + ...
  • λ 越接近 1,越依赖实际采样轨迹,方差大、偏差小;λ 越小,越依赖价值网络,偏差大、方差小。
  • 大模型场景中一般取 γ = 1,即不考虑未来折扣。

在大模型里,可以把生成过程看成一串动作:

  • 状态是“提示 + 已生成前缀”;
  • 动作是下一个 token;
  • 奖励通常只在序列结束时给出,因此每个 token 的奖励都等于最终得分减去 KL 惩罚。

这样一来,GAE 的递推就变成从后往前计算:A_t = δ_t + λ·A_{t+1},天然适配 token 序列。

4.1.4 奖励计算与 KL 注入

常见做法是把 KL 惩罚直接写进逐 token 奖励,而不是只挂在 loss 上:

  1. r_t = −β · KL_t = β · ( logπ_ref(a_t | s_t) − logπ_θ(a_t | s_t) ) # 中间 token
  2. r_T = R(x, y) − β · KL_T # 序列最后一个 token

这样做的效果是:

  • 优势里自动包含“偏离参考策略”的代价,模型每多偏离一点都要“付费”;
  • 如果只在 loss 层面加 KL,优势判断不到这部分惩罚,容易导致输出模式过度偏离。

KL 系数的常用范围在 0.001~0.1 之间。

4.1.5 价值损失(critic)

价值网络通过回归训练,预测“从当前状态出发的期望回报”。PPO 原始论文提出了带裁剪的价值损失,用 clip(V_θ, V_old−ε, V_old+ε) 限制价值函数每轮的变化幅度。在常见的大模型实现中,它通常简化为对 return 的均方误差:

  1. L_value = 0.5 · mean( (V_θ(s_t) − R_t)^2 )

4.1.6 熵奖励

熵衡量输出分布的随机程度。在策略损失中加上 −c₂·H(π)(即减去熵的相反数),可以鼓励探索、防止模型过早“认死”某个答案。权重过大则输出会变得散乱,常见做法是小权重甚至关闭。

4.1.7 双裁剪

部分实现会在标准裁剪外再加一层保护:当优势为负且比值过小(例如低于某个下界)时,损失不再继续变化。这相当于给负优势方向再设一道“地板”,用于应对个别极端比值。

4.1.8 总损失结构

  1. L_PPO = L_policy_clip + c1·L_value − c2·H(π) [+ KL 约束(可选)]

4.1.9 代价与局限

  • 策略、价值、参考、奖励四份模型同时在显存中,价值网络与策略同量级时成本翻倍。
  • 价值函数本身需要预热,否则早期优势噪声很大。
  • 对奖励尺度敏感,通常需要对奖励做白化或标准化。
  • 在超长序列上,逐 token 的裁剪和比值更容易累积误差。

4.2 DPO:把强化学习变成监督学习

4.2.1 它要解决什么问题

标准 RLHF 流程需要奖励模型、在线采样、价值网络,调参难度和训练成本都很高。DPO 提出:既然最优策略与奖励函数之间存在解析关系,能否不显式建模奖励,直接用偏好数据优化策略?

4.2.2 推导思路(简化版)

第一步,带 KL 约束的奖励最大化问题存在闭式最优解:

  1. max_π E_{y~π}[ r(x,y) ] − β·KL( π(·|x) || π_ref(·|x) )
  2. ⇒ π_r(y|x) = (1/Z(x)) · π_ref(y|x) · exp( r(x,y) / β )

第二步,反解出奖励,用策略与参考策略的对数概率比表示:

  1. r(x,y) = β · log( π_r(y|x) / π_ref(y|x) ) + β · log Z(x)

第三步,假设人类偏好服从 Bradley-Terry 模型,即 P(y_w ≻ y_l | x) = σ( r(x,y_w) − r(x,y_l) )。代入后,与 x 有关的 β·log Z(x) 在相减时正好抵消,于是得到 DPO 的损失:

  1. L_DPO = − E_(x, y_w, y_l) [ log σ( β·log(π_θ(y_w|x)/π_ref(y_w|x)) − β·log(π_θ(y_l|x)/π_ref(y_l|x)) ) ]

直观理解:

  • 训练目标就是提高“优选回答相对参考模型的对数概率比”,降低“劣选回答的比值”;
  • 参考模型相当于“锚”,避免策略跑偏;
  • 实现上与 SFT 类似,只是损失变成成对比较,且需要同时加载一份参考模型。

4.2.3 关于“在通用框架中运行”

不少强化学习训练框架已把偏好训练作为单独模式提供。此时主循环被简化为“读数据—前向—算 DPO 损失—反向传播”,采样、奖励、价值网络全部跳过。但它与传统 RL 模式的本质区别是没有在线采样:回答完全由数据决定,无法从模型自己的最新输出中学习。

4.2.4 局限

  • 依赖离线偏好数据,存在分布偏移,数据质量与覆盖度直接决定效果。
  • 训练目标是“拉开优劣回答的差距”,两个回答的概率可能同时被压低,即只有相对偏好被建模。
  • 对长度敏感,可能出现倾向更长回答等长度偏置。
  • 不适用于奖励无法事先离线标注、需要模型自己探索的场景。

4.3 GRPO:组相对优势与“零价值网络”训练

4.3.1 它要解决什么问题

PPO 的瓶颈在于价值网络:参数与策略同量级,训练成本高;在大模型里,状态空间几乎不重复,价值估计本身也困难。GRPO 的答案是:让同一问题生成 G 条回答,用这 G 条奖励的相对高低作为基线,从根本上去掉价值网络。

4.3.2 核心公式

  1. 对问题 q,采样 G 条回答 {o_1, ..., o_G},奖励为 {r_1, ..., r_G}
  2. A_i = ( r_i − mean(r_1, ..., r_G) ) / ( std(r_1, ..., r_G) + eps )
  3. ratio_{i,t}(θ) = exp( logπ_θ(o_{i,t} | q, o_{i,<t}) − logπ_old(o_{i,t} | q, o_{i,<t}) )
  4. L_GRPO = − (1/G) · Σ_i (1/|o_i|) · Σ_t min( ratio_{i,t}·A_i , clip(ratio_{i,t}, 1−ε, 1+ε)·A_i ) + β·KL

与原版 PPO 的核心差别只有两处:

  • 优势来源从“价值网络 + GAE”变成“组内奖励归一化”;
  • 同一条回答内的所有 token 共享同一个优势值,无需逐 token 估计。

4.3.3 为什么有效

组均值天然扮演了基线:奖励高于组内平均的回答被视为“比同伴好”,梯度向它倾斜;低于平均的回答被压低。这相当于把 PPO 中的 critic 替换为一个“组内经验平均”。

4.3.4 KL 的处理方式

不同实现里 KL 的处理差别很大:

  • 写进损失:L = L_policy + β·KL,梯度中显式包含偏离惩罚;
  • 写进奖励:如 PPO 做法,把 KL 惩罚注入逐 token 奖励;
  • 只做监控:把 KL 视为观测指标,训练时不施加约束,适合“只关心任务正确率”的场景。

4.3.5 工程实现要点

  • 分组采样:同一提示重复多次采样,优势在组内归一化;
  • 日志概率来源:优先使用训练前向计算得到的概率,而非推理引擎返回的概率,以减小训练—推理精度差;
  • 可复现性:固定随机种子与采样温度;
  • 批内有效样本:若组内奖励全部相同(全对或全错),优势为 0,该组不产生梯度。

4.3.6 局限

  • 组内奖励方差为 0 时,整组回答优势全为 0,相当于浪费算力;
  • 对奖励尺度与组内方差的归一化可能引入偏置(见 4.4.1);
  • 在超长思维链上,逐 token 裁剪仍可能导致同一回答内不同 token 被区别对待。

4.4 DAPO:给 GRPO 打上的四个补丁

4.4.1 背景:GRPO 在长思维链训练中的四类问题

  1. 裁剪过于对称:1−ε ~ 1+ε 的对称区间限制了低概率 token 的概率提升空间,导致熵快速下降、探索不足。
  2. 零优势样本:全对或全错的组优势为 0,梯度被大量无效样本稀释。
  3. 长度偏置:按 token 平均的损失会让长回答中每个 token 的权重被压低,短回答的负面回答惩罚更重。
  4. 超长回答处理粗暴:超过长度上限的回答可能被直接丢弃或全部判为 0 奖励,引入训练噪声。

4.4.2 四个补丁

  • Clip-Higher(裁剪解耦):把裁剪上下界拆开,上界更宽(如 ε_low=0.2, ε_high=0.28),让低概率 token 有更大的提升空间,从而维持探索与熵水平。
  • 动态采样(Dynamic Sampling):过滤掉组内奖励全同的提示,不断补采直到一个批次内全部样本都有非零优势,使每个 batch 的有效梯度最大化。
  • Token 级损失(Token-Level Policy Gradient Loss):去掉按回答长度的 1/|o_i| 归一,直接对 token 求和后平均,使长回答中的 token 获得与其数量相称的权重。
  • 超长奖励塑形(Overlong Reward Shaping):对超过长度上限的回答施加软惩罚,而不是直接丢弃或判 0,减少长度带来的奖励噪声。

这四项改进彼此独立,可以任意组合;实际使用时通常以 GRPO 为底座,再逐项打开。

4.5 GSPO:序列级裁剪与 MoE 友好

4.5.1 它要解决什么问题

GRPO 的比值在 token 粒度上计算。对于长回答:

  • 单条序列里不同 token 的比值可能差异很大,同一序列内有的 token 被裁剪、有的不被裁剪;
  • 在大规模 MoE 模型上,推理引擎与训练引擎对“哪些专家被激活”的判断可能不完全一致,token 级比值噪声被放大;
  • 表现为训练不稳定、专家负载失衡,甚至出现“越训越差”的崩溃。

4.5.2 核心公式

GSPO 把比值定义在整条序列上,并对长度做归一化:

  1. s_i(θ) = ( π_θ(o_i | q) / π_old(o_i | q) )^(1/|o_i|)
  2. L_GSPO = − (1/G) · Σ_i min( s_i(θ)·A_i , clip( s_i(θ), 1−ε, 1+ε )·A_i )

其中 π_θ(o_i | q) = Π_t π_θ(o_{i,t} | q, o_{i,<t})。几何平均意味着序列级比值近似为各 token 比值的“平均幅度”,数值更平稳。

4.5.3 与 GRPO 的本质差别

  • 优势:两者都使用组内相对优势,这部分没有区别。
  • 裁剪粒度:GRPO 在 token 级裁剪,GSPO 在序列级裁剪。
  • 效果:GSPO 保证“一条回答要么被整体更新、要么被整体裁剪”,避免了同一条回答内部部分 token 被“放大/压缩”的不一致。

4.5.4 为什么对 MoE 更友好

  • MoE 的稀疏激活使不同计算路径(推理引擎 vs 训练引擎)容易产生概率不一致;
  • 序列级比值对这种局部噪声更不敏感,梯度方向更一致;
  • 训练稳定性提升后,专家负载更均衡,路由更平滑。

4.6 从 PPO 到 GSPO:一条清晰的主线

维度 PPO GRPO DAPO GSPO
基线来源 价值网络 + GAE 组内均值 组内均值 组内均值
比值粒度 token token token 序列(长度归一化)
裁剪方式 对称 对称 上下界解耦 序列级对称
损失聚合 按 token 按回答长度平均 按 token 按回答平均
典型奖励 奖励模型 可验证奖励 可验证奖励 可验证奖励
主要优势 通用、稳定 低成本、易实现 长思维链更稳 大规模 MoE 更稳

五、两个容易被低估的细节

5.1 loss 聚合方式:token-mean 还是 sequence-mean

同一个 loss,在“如何对 token 求平均”上不同,训练效果可能显著不同。常见有三种:

  • token-mean(全局 token 平均):所有 token 等权。长回答贡献更多梯度,适合希望“每个 token 都学准”的场景(如长思维链)。
  • seq-mean-token-mean(先回答内平均,再回答间平均):每条回答权重相同,回答内部 token 等权。长回答的每个 token 权重被稀释,容易导致长度偏置。
  • seq-mean-token-sum(先回答内求和,再回答间平均):奖励与序列长度解耦,缓解“负向回答越长、单 token 惩罚越轻”的偏置。

实践建议:

  • 长思维链推理任务优先考虑 token-mean;
  • 短回答、格式类任务可用默认聚合;
  • 关注“长度—奖励”相关性,必要时做长度惩罚或按长度分层评估。

5.2 KL 估计:k1 / k2 / k3 怎么选

设 logr = logπ_θ(a|s) − logπ_ref(a|s),常用三种无偏/有偏估计:

  • k1 = logr:无偏,但方差大,单样本可能为负,需取期望后才是 KL。
  • k2 = 0.5 · (logr)^2:恒非负、方差小,但有偏。
  • k3 = exp(−logr) − 1 + logr:无偏且恒非负,数值最稳定,是多数实现的默认选择。

建议:训练约束用 k3;监控指标可同时记录 k1 的均值与绝对值均值,前者看“整体偏离方向”,后者看“偏离幅度”。

六、典型应用场景

  1. 可验证奖励的推理任务(数学、代码、逻辑推理):优先 GRPO 系(GRPO / DAPO / GSPO)。奖励可自动判定,无需价值网络。
  2. 通用对话偏好对齐:数据为成对偏好且预算有限时,可用 DPO 做第一轮对齐;需要在线探索时再上 PPO 系。
  3. 大规模 MoE 模型:优先 GSPO 等序列级方法,并关注专家负载均衡。
  4. 长思维链推理:DAPO 的动态采样与 token 级损失能显著改善训练稳定性。
  5. 资源受限或快速验证:DPO 流程短、硬件门槛低,适合先跑通再迭代。
  6. 云上训练与工程化:可以将分布式训练容器、对象存储(存检查点与数据)、日志服务与监控告警等基础能力组合使用,例如使用百度智能云的容器服务调度训练任务、对象存储保存中间产物、监控服务跟踪 loss 与 KL 曲线。

七、与相关概念的区别

  • PPO vs GRPO:是否使用价值网络与 GAE。
  • GRPO vs DAPO:是否启用裁剪解耦、动态采样、token 级损失、超长塑形。
  • GRPO vs GSPO:比值与裁剪的粒度(token vs 序列)。
  • GRPO vs RLOO(Leave-One-Out):RLOO 用“其余样本的平均奖励”作为基线,可写成 A_i = (G/(G−1))·(r_i − mean(r)),与组内均值归一化思想同源,差异在基线的构造细节。
  • DPO vs PPO:DPO 是离线偏好学习,PPO 是在线策略优化。
  • RLHF vs RLAIF:奖励来自人类标注还是 AI 反馈;二者与算法选择正交。

八、使用注意事项

  1. 先定奖励,再选算法:奖励稀疏且只能 0/1 时,GRPO 系更合适;奖励连续且噪声大时,可考虑带价值网络的 PPO 或对奖励做白化。
  2. 监控四类指标:奖励均值与方差、KL 距离、熵、回答长度分布。奖励上升而 KL 爆炸,通常意味着模型在“钻奖励空子”。
  3. 谨慎设置 KL 系数:过大阻碍学习,过小导致退化;可先小系数训练,再根据 KL 曲线调整。
  4. 动态采样有成本:过滤无效样本需要额外采样,需评估算力预算。
  5. 注意训练—推理精度差:训练前向与推理引擎的 logits 可能不一致,尽量统一使用训练侧概率计算比值。
  6. 长度偏置:短回答任务中若发现长度持续上升,可尝试 token-mean 之外的长度惩罚或 seq-mean-token-sum 聚合。
  7. 可复现性:固定种子、记录配置、保存中间检查点,便于复盘与回滚。
  8. 先小规模验证:先用小模型与小子集验证流程正确性,再放大规模,避免算力浪费。

九、总结

从 PPO 到 DPO、GRPO、DAPO、GSPO,大模型强化学习算法的主线可以概括为:在不牺牲稳定性的前提下,不断降低训练成本、降低梯度方差、适配不同模型结构与任务形态。

  • PPO 确立了“采样—打分—更新”的通用范式;
  • DPO 把偏好对齐简化为离线监督学习;
  • GRPO 用组内相对优势去掉了价值网络;
  • DAPO 从裁剪、采样、损失聚合、长度处理四个方向给 GRPO 打补丁;
  • GSPO 把裁剪提升到序列级,让大规模 MoE 训练更稳定。

理解它们的定义与适用边界,比记住公式更重要:选对算法,往往比调参更关键。