简介:本文面向强化学习与大模型训练读者,定义策略梯度与近端策略优化(PPO)在语言模型后训练中的角色,解释PPO如何通过优势估计、近端更新与广义优势估计提升训练稳定性,并梳理信用分配、基线选择、价值网络更新与适用边界,帮助读者建立从基础策略梯度到现代对齐训练算法的统一分析框架。
在强化学习中,策略梯度是一类直接优化策略函数的算法族。其核心思想是:给定一个状态,智能体根据参数化策略输出动作,并根据动作所带来的回报调整策略参数,使期望回报最大化。若用公式表达,策略梯度通常优化如下目标:
[
J(\theta)=\mathbb{E}{\tau \sim \pi\theta}[R(\tau)]
]
其中,(\pi_\theta) 表示参数为 (\theta) 的策略,(R(\tau)) 表示一条轨迹的总回报。策略梯度的基本更新形式可以理解为:
[
\nabla\theta J(\theta)=\mathbb{E}[\nabla\theta \log \pi_\theta(a|s) \cdot R]
]
放到大语言模型场景中,状态可以理解为当前提示词与已经生成的历史文本,动作可以理解为下一个生成的 token,轨迹可以理解为完整的回答。因此,策略梯度在大模型后训练中的目标,是让模型更倾向于生成那些能够获得更高奖励的回答。
近端策略优化(Proximal Policy Optimization,简称 PPO)则是在策略梯度基础上发展出来的一种稳定优化方法。它并不改变“通过奖励信号提升策略”的基本思路,但通过优势估计、基线约束和近端更新机制,缓解了原始策略梯度在大规模语言模型训练中常见的方差过大、更新剧烈、训练崩溃等问题。
因此,PPO 并不是脱离策略梯度的另一种完全无关的方法,而是策略梯度体系中的一种工程化、稳定化、可规模化的实现方式。
原始策略梯度方法直观、简单,但在大语言模型训练中存在几个明显困难。
第一,奖励信号往往稀疏且延迟。对于开放生成任务而言,模型可能生成几百个 token,最后才得到一个奖励,例如回答是否正确、代码是否通过测试、用户是否偏好该回答。策略梯度需要将最终奖励分配到每一个 token 上,这会导致严重的信用分配问题。
第二,原始策略梯度方差很高。若直接使用整条轨迹的总回报作为权重,不同轨迹的回报差异会很大。一个较差回答可能因为随机采样偶然获得较高奖励,一个较好回答也可能因为采样波动获得较低奖励。这样的信号会使得策略更新方向不稳定。
第三,大语言模型生成过程长、概率分布复杂,一旦一次更新导致策略偏移过大,后续采样质量可能迅速下降,训练可能进入不可逆的崩溃状态。
PPO 的价值正在于针对这些问题提供了较为系统的解决方案。它通过价值函数估计基线,通过优势函数衡量某个动作相对平均水平的好坏,通过裁剪机制限制新旧策略之间的差异,从而让策略更新更平滑、更可控。
换句话说,PPO 相对于原始策略梯度的优势,并不是简单地“用了更复杂的公式”,而是通过多个机制共同降低了训练方差、提升了稳定性,使强化学习更适合大规模语言模型对齐与后训练。
PPO 通常由几个关键部分组成。
策略模型负责根据输入生成回答。在大模型场景中,策略模型就是待训练的语言模型本身。它输出每个 token 的生成概率,并根据概率进行采样或解码。
价值模型,也常被称为评论家模型,用于估计当前状态或当前生成位置未来可能获得的回报。它的作用不是直接生成文本,而是为策略梯度提供一个基线。
在原始策略梯度中,若直接使用总回报作为优化权重,模型很难判断某个回答到底比“平均水平”好多少。价值模型的出现,使得训练信号可以从“绝对回报”转化为“相对优势”。
奖励信号可以来自规则,也可以来自模型评分。例如,在数学问题中,可以根据最终答案是否正确给出奖励;在代码问题中,可以根据测试用例是否通过给出奖励;在开放问答或偏好对齐中,可以使用偏好模型或人工偏好数据训练出的奖励模型。
奖励质量直接决定 PPO 的训练效果。如果奖励本身存在偏差、噪声或被钻空子,那么策略模型也可能学会迎合奖励,而不是真正提升任务能力。
优势函数是 PPO 的核心之一。它通常表示为:
[
A(s,a)=Q(s,a)-V(s)
]
其中,(Q(s,a)) 表示在状态 (s) 下执行动作 (a) 的预期回报,(V(s)) 表示状态 (s) 的平均价值。优势为正,说明该动作比平均水平更好;优势为负,说明该动作不如平均水平。
通过减去基线,PPO 将高方差的绝对回报转化为相对稳定的相对优势,从而降低梯度估计的方差。
PPO 中常见的目标函数会引入概率比:
[
rt(\theta)=\frac{\pi\theta(at|s_t)}{\pi{\theta_{old}}(a_t|s_t)}
]
然后对概率比进行裁剪,避免策略更新幅度过大。其基本形式可以写成:
[
L^{CLIP}(\theta)=\mathbb{E}_t[\min(r_t(\theta)A_t,\text{clip}(r_t(\theta),1-\epsilon,1+\epsilon)A_t)]
]
其中,(\epsilon) 是裁剪范围。该机制的意义在于:如果新旧策略在某个动作上的概率差异过大,就不允许目标函数继续无限制地激励该差异,从而避免一次更新把模型带偏。
在 PPO 中,策略模型和价值模型通常会一起训练。策略模型通过裁剪目标提升奖励,价值模型则通过最小化预测回报与实际回报之间的误差来提升估计准确性。
价值损失通常可以表示为:
[
L^V(\phi)=\mathbb{E}t[(V\phi(s_t)-R_t)^2]
]
其中,(R_t) 可以是蒙特卡洛回报,也可以是广义优势估计得到的回报目标。
要理解 PPO 为什么优于策略梯度,需要从大模型强化学习的基本目标开始推导。
在大语言模型中,一个完整回答由多个 token 组成。给定提示词 (x),模型生成回答 (y=(y_1,y_2,\dots,y_T))。强化学习的目标通常是最大化:
[
\mathbb{E}{y \sim \pi\theta}[R(x,y)]
]
其中,(R(x,y)) 表示奖励,例如正确性、偏好评分、安全合规性等。
如果直接对整条回答使用策略梯度,可以得到近似形式:
[
\nabla\theta J(\theta) \approx \mathbb{E}[\nabla\theta \log \pi_\theta(y|x) R(x,y)]
]
由于语言模型是自回归生成,通常可以进一步展开为 token 级别:
[
\nabla\theta J(\theta) \approx \mathbb{E}\left[\sum{t=1}^T \nabla\theta \log \pi\theta(yt|x,y{<t}) R(x,y)\right]
]
这个式子直观上表示:如果最终奖励较高,就提高所有参与生成该回答的 token 的概率;如果最终奖励较低,就降低这些 token 的概率。
问题在于,这种更新方式存在两个关键缺陷。
第一,绝对优势问题。原始策略梯度使用总回报 (R) 作为权重,没有减去基线。不同任务、不同批次、不同长度回答的奖励尺度可能差异很大。即使模型表现整体提升,单个样本的奖励也可能因为随机性而显得过高或过低。没有基线时,梯度估计方差大,训练不稳定。
第二,信用分配粒度过粗。若只有最终奖励,模型不知道究竟是哪几个 token 带来了好结果,也不知道中间哪些推理步骤、格式控制、工具调用或安全约束起到了关键作用。对于长文本生成而言,这种粗粒度信号会显著降低学习效率。
PPO 对第一个问题的处理方式,是引入优势估计。它不再简单使用总回报,而是使用:
[
A_t \approx R_t - V(s_t)
]
或使用广义优势估计:
[
\hat{A}t = \sum{l=0}^{\infty}(\gamma\lambda)^l \delta_{t+l}
]
其中:
[
\deltat = r_t + \gamma V(s{t+1}) - V(s_t)
]
这种估计方式让训练信号从“这个回答绝对好多少”变成“这个动作比当前策略的预期表现好多少”。基线减去了平均回报,因此显著降低了方差。
对于第二个问题,PPO 通过价值函数和广义优势估计,在一定程度上把最终奖励向前分配到不同时间点。价值模型学习预测未来回报,使得每个 token 或每个生成步骤都能获得与其贡献相匹配的学习信号。
在信用分配中,有两种极端思路。
一种思路是使用蒙特卡洛方法。它等待完整轨迹结束后,再使用真实回报作为目标。这种方式偏差较小,但方差较大,因为不同轨迹之间差异明显。
另一种思路是使用单步时序差分方法。它只根据当前奖励和下一状态价值估计目标。这种方式方差较小,但可能引入较高偏差,因为价值估计本身可能不准确。
广义优势估计通过参数 (\lambda) 在两者之间折中。当 (\lambda) 接近 1 时,更接近蒙特卡洛,偏差较低但方差较高;当 (\lambda) 接近 0 时,更接近单步时序差分,方差较低但偏差较高。PPO 训练通常会根据任务稳定性与资源情况选择合适的 (\lambda)。
价值模型的目标是让 (V(s_t)) 尽量接近从当前状态出发未来可以获得的回报。常见做法是使用回报目标进行回归:
[
L^V(\phi)=\mathbb{E}t[(V\phi(s_t)-R_t)^2]
]
其中,(R_t) 可以来自完整轨迹回报,也可以来自广义优势估计对应的回报目标。价值模型训练得越稳定,优势估计越可靠,策略更新也就越稳定。
因此,PPO 的完整闭环可以概括为:
PPO 最适合奖励信号可以设计、策略需要在线探索、且训练过程对稳定性要求较高的场景。
在通用助手场景中,奖励往往来自人类偏好或偏好模型。PPO 可以通过在线采样和奖励反馈,让模型逐步更符合用户偏好。相比只使用静态监督数据,PPO 能够根据模型当前生成分布进行动态优化。
数学问题可以通过答案正确性判断奖励,代码问题可以通过测试用例判断奖励。这类奖励相对客观,适合强化学习。PPO 可以鼓励模型生成更正确的推理步骤或更可靠的代码结构。
当模型需要调用检索、计算、数据库或外部工具时,奖励往往与最终任务完成质量相关。PPO 可以帮助模型学习何时调用工具、如何选择参数、如何处理工具返回结果。
在内容安全与价值对齐场景中,模型不仅要生成有用回答,还需要避免有害、偏见或违规内容。PPO 可以在奖励函数中加入安全约束,使模型在有用性与安全性之间取得平衡。
对于摘要、报告、代码生成、流程规划等长文本任务,信用分配问题更加突出。PPO 通过价值估计和优势估计,比原始策略梯度更适合处理长序列奖励分配。
策略梯度是一类算法原则,强调通过奖励对策略参数进行梯度更新。PPO 是策略梯度体系中的一种具体优化方法,增加了优势估计、近端裁剪和价值模型等机制。
因此,PPO 不是对策略梯度的否定,而是对策略梯度在大模型场景下不稳定问题的工程化修正。
无基线策略梯度直接使用总回报,方差高、更新不稳定。PPO 通常减去价值基线或使用组内、批内均值等基线方式,把绝对回报转化为相对优势,从而更稳定。
一些偏好优化方法可以直接基于已有偏好数据进行训练,不需要在线采样。这类方法实现简单、资源消耗较低,但通常无法充分利用当前策略的在线探索能力。PPO 则需要在线采样、奖励计算和价值估计,流程更复杂,但优化空间更灵活。
PPO 属于策略优化方法,核心是提升策略本身;基于值函数的方法则更强调学习动作价值或状态价值。PPO 虽然使用价值模型,但最终目标仍然是优化策略。
虽然 PPO 相比原始策略梯度更稳定,但它并不意味着可以无条件优于所有方法。实际使用中需要关注以下问题。
如果奖励模型噪声大、覆盖不足或容易被攻击,PPO 可能放大奖励模型的缺陷。例如,模型可能生成冗长、讨好式或表面合规的回答,以迎合奖励。
价值模型估计不准确,会导致优势函数失真。若价值损失过大或价值模型训练不充分,策略更新可能收到错误信号。
裁剪机制用于限制更新幅度,但裁剪过大可能使学习过于保守,裁剪过小则可能失去稳定作用。需要根据任务难度、奖励尺度和训练资源进行调参。
长回答中的奖励延迟和信用分配问题更加严重。若价值函数无法有效估计中间回报,策略模型可能难以定位关键 token。此时需要结合任务奖励设计、长度归一化、过程奖励或分步奖励。
熵正则可以保持生成多样性,避免模型过早坍缩到单一模式。但熵过大可能导致输出不稳定,熵过小则可能让模型失去探索能力。PPO 训练中需要关注熵的变化趋势。
PPO 训练应监控策略损失、价值损失、优势均值、概率比范围、熵、奖励分布和 KL 散度等指标。若这些指标出现异常,通常意味着策略更新偏离预期。
总体而言,PPO 相对于原始策略梯度的优势,主要体现在三个方面:第一,通过基线或价值模型降低回报方差;第二,通过近端更新约束防止策略偏移过大;第三,通过价值估计和优势估计改善长序列中的信用分配问题。
在大语言模型后训练中,策略梯度提供了基础目标,即最大化期望奖励;而 PPO 提供了更稳定的优化机制,使这个目标能够在复杂、长序列、高方差、奖励稀疏的真实任务中得到更可靠的落地。
因此,理解 PPO 的关键,不是把它看作一个孤立的算法名词,而是将其视为策略梯度在大模型训练场景下的稳定化扩展。它既保留了策略梯度的核心思想,又通过优势估计、价值网络和近端约束,解决了原始策略梯度难以直接用于大规模语言模型优化的问题。