简介:本文系统讲解PPO、DPO、GRPO三种大语言模型强化学习对齐算法。从"是什么"出发,用通俗类比揭示三者核心思想,深入剖析奖励建模、策略更新、优势估计与KL约束等关键机制,对比各自原理、资源开销与适用场景,帮助开发者在模型对齐与推理训练选型中快速判断该用哪种方法。
PPO、DPO 与 GRPO 是大语言模型训练流程中”对齐(Alignment)”阶段常用的三类策略优化方法。它们都隶属于强化学习与偏好优化的范畴,共同目标只有一个:在预训练与监督微调(SFT)之后,让模型生成的回答更符合人类偏好,例如更有帮助、更少有害内容,或在推理任务中更倾向于正确答案。
从技术视角看,三者都是”用某种反馈信号去调整模型(即策略)输出概率分布”的算法;从业务视角看,它们是提升模型可用性与安全性的关键手段;从使用视角看,它们代表了从”复杂但通用”到”简单而高效”的一条演进路线。
用一个通俗的类比帮助理解:训练一个学生答题时,你不会只告诉他标准答案(那是 SFT),而是会在他说完后告诉他”这个回答比那个好”(偏好信号)。PPO、DPO、GRPO 就是三种不同的”打分与纠偏方式”。
模型经过海量语料预训练后,虽然具备了语言能力,但并不天然”听话”,也难以自动符合人类价值判断。监督微调能让模型学会模仿示范回答,但示范数据成本高、覆盖有限,且无法表达”两个都还行、但A比B略好”这种细粒度偏好。
强化学习与偏好优化的价值正在于此:它只需要成对的偏好数据(哪个回答更优),就能把”人类更喜欢什么”这一模糊目标转化为可优化的数学目标。这类方法广泛应用于指令遵循优化、内容安全对齐、代码与数学推理能力强化等场景,是决定模型”好不好用、放不放心”的核心环节。
理解这三种算法前,先厘清四个术语:
这三者的区别,本质上就是”如何估计优势、是否需要独立奖励模型、用什么机制限制更新幅度”。
PPO(Proximal Policy Optimization)是最早被大规模用于对齐的经典算法。它的名字”近端”点明了核心思想:每次更新都要”靠近旧策略”,不能一步走太远,否则容易训练崩溃。
它通常需要同时维护四个模型:被训练的策略模型、冻结的参考模型(算 KL 惩罚)、奖励模型(给输出打分)、价值模型(估计基线,辅助计算优势)。流程是:让策略生成回答 → 奖励模型打分 → 价值模型估算基线并得到优势 → 用带裁剪的目标函数更新策略。
其核心是用一个”裁剪”机制限制新旧策略概率比的波动:
ratio = π_new(y|x) / π_old(y|x)L_ppo = min( ratio * A, clip(ratio, 1-ε, 1+ε) * A )
其中 A 是优势,ε 是裁剪范围。这样即便某次更新方向正确,也会被限制在合理幅度内,从而训练更稳定。
特点:通用性强、上限高,但要同时管理多个模型,显存与算力开销大、工程复杂、超参敏感。
DPO(Direct Preference Optimization)的核心洞察是:在”带 KL 约束”的标准偏好优化目标下,最优策略与奖励之间存在一个闭式解关系。既然能从偏好数据直接推导出策略,就没必要再去显式训练奖励模型、再跑一遍复杂的强化学习循环。
DPO 直接在偏好数据三元组(输入、优选回答、劣选回答)上优化,用一个类似二分类的损失函数,让模型相对参考模型,提高优选回答的概率、降低劣选回答的概率:
L_dpo = -log σ( β * [ log(π(y_win|x)/π_ref(y_win|x))- log(π(y_lose|x)/π_ref(y_lose|x)) ] )
其中 β 控制偏离参考模型的强度。特点:只需策略模型与参考模型,无需奖励模型和价值模型,训练更简单、更稳定、资源开销显著降低;但对偏好数据质量和分布较敏感,泛化能力 sometimes 弱于精细调校的 PPO。
GRPO(Group Relative Policy Optimization)是针对推理类任务优化的一种思路。它注意到 PPO 中最占资源的价值模型未必必要,于是把它去掉:对同一个输入,一次性采样一组(例如若干个)回答,用这一组内部的奖励分布做归一化,直接算出每个回答的相对优势,组内平均分充当基线。
用大白话讲:与其单独训练一个”评分裁判”(价值模型),不如让学生对同一题写多份答案,然后拿这一小堆答案互相比高下,比平均好的就鼓励、比平均差的就压制。优势计算可理解为:
A_i = (r_i - mean(r_1..r_G)) / std(r_1..r_G)
之后仍采用带裁剪的目标函数与 KL 约束进行更新。特点:省去了价值模型,显存与算力更省,配合可自动验证的奖励(如答案对错、代码是否通过测试)在推理能力强化上表现出色;缺点是需要每组采样多条回答,采样开销增大,且对奖励设计的清晰度依赖较高。
| 维度 | PPO | DPO | GRPO |
|---|---|---|---|
| 是否需要奖励模型 | 需要 | 不需要 | 通常不需要(可用规则奖励) |
| 是否需要价值模型 | 需要 | 不需要 | 不需要 |
| 是否需要参考模型 | 需要 | 需要 | 需要 |
| 优势估计方式 | 价值模型 + GAE | 偏好对数比直接建模 | 组内奖励归一化 |
| 资源开销 | 高 | 低 | 中等(省模型、多采样) |
| 数据形态 | 偏好/奖励信号 | 成对偏好 | 可采样的提示 + 可验证奖励 |
| 典型优势场景 | 通用对齐、需精细调校 | 简单稳定的偏好对齐 | 数学、代码等推理强化 |
PPO、DPO、GRPO 都是让大模型”更懂人类偏好”的策略优化方法,区别集中在”是否需要独立奖励与价值模型、如何估计优势、用什么机制限制更新幅度”。PPO 通用而强大但工程复杂;DPO 以闭式解思路实现了简单稳定的偏好对齐;GRPO 用组内相对比较替代价值模型,在推理强化中兼顾效率与效果。理解它们的本质差异,才能在模型对齐的工程实践中做出合理选型——选对方法,往往比盲目堆算力更重要。