简介：本文从定义、技术原理、演进逻辑、典型场景与使用注意事项等角度，系统解析大模型强化学习中的PPO、GRPO、DAPO与GSPO。你将理解它们分别解决了策略更新稳定性、价值模型依赖、长链推理训练数据质量以及序列级奖励建模等问题，并掌握不同方法之间的区别与联系。
在大模型后训练阶段，强化学习已经成为提升模型推理能力、指令遵循能力和代码生成能力的重要技术路径。强化学习的目标可以抽象为一个“生成—打分—更新”的闭环：模型根据输入生成回答，奖励函数对回答进行评价，优化算法根据奖励调整模型参数，使模型在未来更倾向于生成高分回答。
在这个闭环中，PPO、GRPO、DAPO 与 GSPO 是四种具有代表性的策略优化算法。它们共享同一个核心目标：提高高奖励回答的生成概率，同时防止单次更新过度破坏模型已有能力。它们之间的差异，主要体现在四个方面：优势从哪里来、更新以什么粒度发生、哪些样本进入训练、以及长回答和混合专家模型路由带来的噪声如何处理。
PPO，即近端策略优化，是一种带裁剪机制的策略梯度算法。它通过限制新旧策略之间的差异，保证多轮更新时的稳定性。GRPO，即组相对策略优化，在可验证任务中利用同一问题的一组采样回答来构建相对优势，从而去掉了独立的价值模型。DAPO，即解耦裁剪与动态采样的策略优化，是在 GRPO 基础上针对长链推理大规模训练环境提出的改进方案，重点解决探索塌缩、无效采样、长短答案权重失衡和超长回答奖励噪声问题。GSPO，即组序列策略优化，进一步把重要性比率的计算从逐个 Token 提升到整个序列，更适合长时训练和大规模混合专家模型的稳定收敛。
大模型经过预训练和指令微调后，已经具备一定的语言生成能力。但仅靠监督微调，模型在数学推理、代码生成、多步决策等任务上容易出现“会但不准”“过程对但结果错”等问题。强化学习通过引入奖励信号，可以进一步优化模型的输出质量，使其更符合人类偏好或任务标准。
在将强化学习应用于大模型时，会面临几个通用难点。第一，大模型参数规模巨大，策略更新必须足够稳定，否则容易破坏预训练获得的语言能力。第二，传统策略梯度方法通常需要训练一个价值模型来估计状态价值或优势函数，这会额外引入一个与大模型规模相当甚至更大的网络，训练成本高且估计误差会影响优化效果。第三，语言生成的输出是变长序列，逐 Token 更新与整句奖励之间存在粒度不一致的问题。第四，在数学、代码等可验证任务中，采样得到的回答质量参差不齐，如何筛选和加权直接影响训练效率。
PPO 是这条演进线的起点，它解决了“更新不要太猛”的问题。GRPO 在 PPO 的基础上观察到，如果同一个问题可以一次性生成多份回答，组内奖励本身就能作为相对基线，因此“没有必要为每个大模型再训练一个 Critic”。DAPO 则把 GRPO 放入长链推理的大规模训练环境，着力解决“长 CoT 训练中数据和奖励不够好用”的工程与算法问题。GSPO 进一步追问：“既然奖励通常评价整条回答，为什么重要性比率还要逐 Token 计算和裁剪？”它把控制粒度提升到序列级，解决“整条回答的奖励不应被逐 Token 的重要性噪声拆散”的问题。
PPO 的核心是一个带裁剪的代理目标函数。它引入了重要性比率，即新策略与旧策略在某个状态下采取某个动作的概率之比。为了避免策略在单次更新中变化过大，PPO 对这个比率进行裁剪，将其限制在一个固定区间内。
PPO 的一般流程可以描述为：采样一批轨迹数据；使用价值模型计算优势估计；在多个训练轮次中，基于裁剪目标更新策略网络；同时更新价值模型以更准确地估计回报。优势估计通常采用广义优势估计方法，在偏差与方差之间取得平衡。
PPO 的价值在于，它允许策略在旧策略附近进行多轮更新，同时保持训练稳定性。它仍然是目前大模型强化学习中应用较广的基线方法之一。
GRPO 的关键改变在于去掉价值模型。对于每个输入问题，GRPO 从当前策略中采样一组回答，每个回答由奖励函数给出一个标量分数。然后，它用这一组分数的均值作为基线，用每个回答相对于组内均值的偏差来构造优势。高于组内平均分的回答获得正优势，低于平均分的回答获得负优势。
这样做有两个直接收益。第一，不需要维护一个与策略模型规模相同的价值网络，显著降低显存占用和计算开销。第二，组内比较天然适应奖励尺度不稳定的任务。GRPO 更新时仍采用与 PPO 类似的裁剪机制，并对每个回答内部的 Token 计算重要性比率，再乘以该回答对应的组内优势，最终求和得到损失。
DAPO 没有发明一套完全不同的目标，而是把 GRPO 放进长链推理的大规模训练环境里，针对暴露出的实际问题逐项补强。它主要引入了几项改进。
第一，解耦裁剪。在标准 GRPO 中，重要性比率裁剪所依赖的“旧策略概率”会因为训练步推进而过时，导致裁剪区间失效。DAPO 通过解耦方式维护更可靠的旧策略参考，提升裁剪的有效性。
第二，动态采样。在大规模训练中，部分采样回答可能无法提供有效梯度，例如重复内容过多或奖励为零。DAPO 对无效样本进行筛选或重新采样，提高数据利用率。
第三，长度感知权重。长链推理任务中，回答长度差异很大。如果直接对全部 Token 的损失求平均，短回答每个 Token 分摊到的优势会被放大，长回答则被稀释。DAPO 对损失函数中的长度归一化进行调整，使不同长度的回答得到公平对待。
第四，超长回答奖励噪声控制。对于极端长度的回答，奖励函数可能给出不可靠的评分。DAPO 通过对超长样本进行裁剪或降权，减少噪声对梯度的干扰。
GSPO 的关注点在更新粒度。传统方法中，重要性比率是逐 Token 计算并裁剪的。但奖励函数通常只对完整回答给出一个分数，并不会为回答中间的每一个 Token 提供独立反馈。因此，逐 Token 的重要性比率可能引入大量与真实奖励无关的噪声。
GSPO 将重要性比率定义在整个序列上。也就是说，它比较的是新策略与旧策略生成整条回答的概率之比，而不是每个 Token 的概率之比。这个序列级比率乘以该回答对应的组内优势，构成更新的基本单元。序列级比率的裁剪更加稳定，因为整条回答的概率比变化通常比单个 Token 的概率比更平滑。
GSPO 还显式使用组优势来降低方差。对于一个输入问题采样一组回答，先计算组内奖励均值作为基线，再用每个回答的奖励减去基线得到组优势。这个组优势直接对应整条回答的贡献。序列级比率与组优势结合，使更新信号更加一致。
GSPO 尤其适合大规模混合专家模型的长时间训练。混合专家模型由于路由机制的存在，不同 Token 可能激活不同的专家子网络，逐 Token 的重要性比率会受到路由随机性的影响。序列级控制可以有效降低这类噪声，提升训练稳定性。
这四个方法不是四个完全独立的算法，而是在同一条训练链上对不同瓶颈的修补。PPO 建立了带裁剪策略更新的基础框架。GRPO 用组内相对优势替代了价值模型。DAPO 在 GRPO 的基础上增加训练配方层面的改进。GSPO 从更新粒度的角度对 GRPO 的逐 Token 比率进行了重构。
从关系上看，GRPO 是 PPO 的去价值模型版本；DAPO 是 GRPO 的长链推理增强版；GSPO 是 GRPO 的序列级更新版。DAPO 与 GSPO 不是谁简单替代谁，而是分别在训练配方和更新粒度上推进 GRPO。
可以从以下维度理解它们的差异。
优势来源：PPO 依赖价值模型估计优势；GRPO、DAPO 和 GSPO 使用组内相对优势。
更新粒度：PPO、GRPO 和 DAPO 对 Token 级重要性比率进行控制；GSPO 使用序列级重要性比率。
是否保留价值模型：PPO 需要价值模型；GRPO、DAPO 和 GSPO 不需要。
训练配方增强：DAPO 增加了动态采样、长度感知权重和超长样本处理；其他三种方法没有显式包含这些改进。
主要适用难点：PPO 适合通用策略优化；GRPO 适合可验证且支持多样采样的任务；DAPO 更适合长链推理的大规模训练；GSPO 在长时间训练和大规模混合专家模型上稳定性更好。
数学题和代码题通常具有可验证的标准答案。同一道题可以采样多个解答，并通过对比答案正确性或通过单元测试得到奖励。这类任务非常适合 GRPO 及其衍生方法，因为组内相对优势可以从多个采样中直接构建，无需额外价值模型。
需要多步推导、多轮自检的复杂推理任务，其回答往往很长。DAPO 针对长链推理中常见的探索塌缩、长度差异大、无效采样多等问题进行了专门优化，适用于这类场景的大规模训练。
在混合专家架构下，逐 Token 的路由选择引入了额外的不确定性。GSPO 的序列级更新方式可以降低这类不确定性对策略更新的影响，适合需要进行长时间稳定训练的大规模模型。
在偏好对齐任务中，奖励通常是对整条回答的总体评价。此时序列级的重要性比率与整句奖励的语义更加匹配。GSPO 的思路在这些场景下具有天然优势。
GRPO 系列方法依赖奖励函数对采样回答进行打分。奖励函数不准确或存在系统性偏差，会直接影响组内相对优势的有效性。在可验证任务中，奖励函数应尽可能确定；在偏好对齐任务中，应关注奖励模型的一致性和稳定性。
组相对优势需要为每个问题采样多份回答。采样数量过少会导致基线估计方差偏大，过多则会增加显存和计算压力。实际使用时需要在采样数量、批次大小和训练吞吐之间进行权衡。
在长链推理任务中，不同回答的长度差异可能极大。若不对长度进行适当处理，短回答会获得过高的每 Token 优势权重。实现时应当采用与 DAPO 类似的长度感知损失，或者对超长样本进行裁剪和降权。
重要性比率裁剪依赖于旧策略概率。随着训练推进，如果不及时更新或维护旧策略参考，裁剪会逐渐失效。在实现和部署时需要关注旧策略概率的同步策略，避免因裁剪失效导致策略更新过猛。
在实际工程中，大模型强化学习对算力、显存和分布式训练能力要求较高。选择云上训练平台时，应关注其是否支持大规模分布式训练、弹性扩缩容、日志监控和故障恢复等能力。通用类目如对象存储、容器平台、监控告警、负载均衡等可以作为训练基础设施的组成部分，为强化学习任务提供数据存储、任务编排和状态监控支持。具体接入时，应结合自身模型规模和训练时长需求进行选型。
PPO、GRPO、DAPO 与 GSPO 是大模型强化学习中一条清晰的策略优化演进线。PPO 以带裁剪的近端更新保证基本稳定性；GRPO 利用组内相对优势去掉了价值模型，降低训练成本；DAPO 在 GRPO 基础上针对长链推理中的探索塌缩、无效采样、长短答案失衡和超长噪声进行强化；GSPO 将重要性比率从逐 Token 提升到序列级，进一步对齐整句奖励的语义并提升长时训练稳定性。
理解这些方法的关键，不在于记住公式本身，而在于理解它们各自在“优势从哪来、更新按什么粒度做、哪些样本进入训练、噪声如何处理”这四个问题上的回答。对于开发者和技术选型人员而言，应当根据任务是否可验证、回答长度分布、训练时长、模型架构以及基础设施条件，选择最合适的策略优化方法。