CISPO算法教程：原理剖析与训练实践指南

一、教程目标与适用读者

本教程要帮助你完成三件事：

1. 准确理解 CISPO 的核心创新点：为什么它改变了传统强化学习算法（如 PPO/GRPO 这类业界通用的策略优化方法）的策略更新方式；
2. 能够独立实现一个结构正确、可单元测试的 CISPO 损失函数与训练循环；
3. 掌握训练结果的验证方法，以及训练崩溃、奖励黑客、熵坍缩等典型问题的排查思路。

适合读者：从事大模型强化学习后训练的算法工程师、负责训练链路搭建的机器学习工程师、需要对训练方案做技术选型的技术负责人，以及希望深入理解策略优化算法演进的研究型开发者。

阅读前置要求：理解策略梯度与对数似然的基本概念，了解主流策略优化算法的大致流程，具备使用深度学习框架编写自定义损失函数的经验。

二、背景知识：截断式更新为什么可能“丢信号”

2.1 传统截断式更新的工作机制

PPO/GRPO 一类算法依赖重要性采样，把旧策略上采集的数据复用到新策略的更新中。token 级重要性权重定义为：

rt = πθ(yt|·) / πθ_old(y_t|·)

为了控制单步更新幅度、保证训练稳定，这类方法普遍采用截断机制：将 r_t 限制在 [1−ε, 1+ε] 的信任域内。关键细节在于：一旦 r_t 超出边界，对应 token 的梯度会被直接置零，可以概括为“截断即丢弃”。

2.2 长链路推理场景下的痛点

在数学、代码等需要长推理链的任务中，一条几百 token 的响应里，真正决定推理走向的往往是少数关键 token，例如出现转折、回溯、给出结论的位置。这些关键 token 在更新前后概率比的变化通常最大，恰恰是最容易超出信任域、最容易被“截断即丢弃”的部分。丢弃它们，等于把最稀缺、最有价值的学习信号扔掉了。当模型采用混合专家等高方差结构，或序列长度显著增加时，该问题会进一步放大。

2.3 CISPO 的核心思想：截断权重，保留梯度

CISPO（Clipped Importance Sampling Policy Optimization）的做法可以概括为一句话：不再把超出边界的 token 丢弃，而是把截断后的权重当作常量系数，让梯度改道经由对数概率项继续回传。形式化地：

• 计算 token 级重要性权重 r_t；
• 对 r_t 做截断得到 w_t，并对 w_t 施加停止梯度（stop-gradient），使其只作为系数；
• 损失形如 L = −(1/Σ|y|) · Σt w_t · A_t · log πθ(y_t|·)，其中 A_t 为优势项，Σ|y| 为批次内有效响应总长度。

这样，每一个 token 都保有梯度，只是其贡献被截断后的权重“限幅”。概率比变化剧烈的关键 token 不会从更新中消失，而是以受控的幅度继续参与学习。这就是 CISPO 与传统方法最本质的差异。

用一张对比表归纳：

维度	传统截断式更新	CISPO
边界外 token 的梯度	置零	保留，经由 log π 回传
幅度控制手段	硬截断并丢弃	权重限幅（重加权）
关键低频 token 的信号	易被丢弃	受控保留
适用倾向	策略偏移较小的稳定阶段	长链路、关键信号稀缺的场景

三、前置准备

3.1 知识准备

• 重要性采样、策略梯度定理、优势函数（了解组内相对优势的计算方式即可）；
• KL 散度与信任域的基本直觉；
• 分布式训练与混合精度训练的一般常识。

3.2 数据与奖励准备

• 一批高质量提示词数据，优先选择可验证奖励的任务（如数学答案校验、代码单元测试），便于观察真实训练效果；
• 明确奖励来源：规则校验器或通用奖励模型均可；建议同时设计格式奖励与正确性奖励，并预留针对投机取巧行为的惩罚项。

3.3 环境与算力准备

• 一套支持自定义损失函数的深度学习框架，以及用于大批量生成的推理加速能力；
• 一个已完成指令微调的策略模型作为初始策略；训练前保存一份初始权重快照，用于计算旧策略对数概率；
• 算力方面，小规模验证建议至少单机多卡；若本地资源不足，可使用云上通用 GPU 算力（如百度智能云等云平台提供的 GPU 实例），按“验证—调参—放大训练”三个阶段渐进扩容。

3.4 评估准备

准备一个与训练集分布隔离的验证集，以及固定解码参数的评测脚本，供结果验证环节使用。

四、实施步骤

步骤一：定义优化目标与奖励函数

做什么：明确“让模型在验证集任务得分提升”这一目标，并实现奖励函数。
为什么：强化学习只会优化你定义的奖励，奖励的漏洞会被模型以超出预期的方式利用。
注意：奖励函数上线前先离线抽检，确认正确行为得高分、投机行为得低分。

步骤二：实现组采样与优势计算

每个提示词采样 G 条响应（G 即组大小），对组内奖励做标准化得到优势。伪代码：

for prompt in batch:
    responses = policy.sample(prompt, num=G)      # 组采样
    rewards   = reward_fn(prompt, responses)      # 标量奖励
    adv       = (rewards - mean(rewards)) / (std(rewards) + eps)
    # 将序列级优势广播到该序列的每个有效 token

为什么：组内相对优势避免了引入独立的价值网络，降低显存占用与工程复杂度。
注意：G 过小会导致优势估计噪声大，G 过大则生成成本线性上升，需在小规模实验中权衡。

步骤三：实现 CISPO 损失函数（核心步骤）

本步依赖步骤二输出的优势项。伪代码：

logp_new = log_prob(policy, prompt, response)              # 需要梯度的当前策略对数概率
logp_old = stop_grad(log_prob(snapshot, prompt, response)) # 采样时策略的对数概率，必须切断梯度
r        = exp(logp_new - logp_old)                        # token 级重要性权重
w        = stop_grad(clip(r, 1 - eps_low, 1 + eps_high))   # 截断权重并停止梯度：CISPO 的关键一行
loss     = -(w * adv * logp_new * token_mask).sum() / token_mask.sum()

三个易错点：

1. 停止梯度必须施加在截断后的权重 w 上，梯度只能经由 logp_new 回传；若梯度经由 r 回传，就退化成了别的更新方式；
2. logp_old 必须来自真正执行采样时的策略版本；若同一批数据进行多轮 minibatch 更新，复用的是同一份 logp_old，更新轮数越多新旧策略偏移越大，应限制轮数并提高监控频率；
3. 归一化建议按全批次有效 token 数进行，避免长序列主导梯度；掩码要正确处理填充符与序列结束符。

补充说明：上例采用对称截断；实践中也常见仅收紧上界的非对称实现（即只限制 w ≤ 1+ε_high），以进一步保护概率比急剧上升的关键 token 的正向信号。两种形式都属于该算法家族的常见实现，建议通过对照实验选择。

步骤四：组装训练循环

推荐“采样一批 → 记录采样时的 logp_old → 单轮或极少轮次更新 → 丢弃数据”的近似在线策略循环。若为节省生成成本而进行多轮 minibatch 更新，需相应缩小学习率并提高监控频率。此步依赖步骤三完成的损失函数。

步骤五：配置关键超参数

• 裁剪边界：控制单 token 权重的限幅幅度。可以从传统截断方法中常见的 0.2 左右偏移量起步，在 0.1～0.4 区间小步搜索；边界过宽起不到限幅作用，过窄则趋近于均匀权重；
• 学习率：强化学习后训练通常显著小于监督微调的常用值，宁小勿大；
• 组大小与批大小：共同决定优势估计的方差下限；
• 最大序列长度：长链路任务需预留足够生成长度，但要配合长度监控防止失控；
• KL 正则（可选）：用于约束与初始策略的偏移；是否加入、何时衰减属于工程选择，建议以小规模对照实验决定，而不是默认添加。

步骤六：训练监控与日志

至少记录：奖励均值与分布、优势统计量、r 的直方图与“被截断 token 的比例”、策略熵、响应长度分布、验证集得分。其中“被截断 token 比例”是最有诊断价值的指标：它直接反映新旧策略的偏离程度，也是判断 CISPO 是否在正常发挥限幅作用的核心依据。

五、结果验证

判断训练是否成功，建议同时满足以下条件：

1. 训练奖励与验证集得分同步稳定上升，且验证得分没有在后期回落；
2. r 的分布大部分集中在 1 附近，被截断 token 的比例保持在较低且平稳的水平；若该比例持续升高，说明策略偏移过大；
3. 人工抽查生成结果：推理链条连贯、格式符合要求、无长度爆炸与明显重复；
4. 在相同算力预算下，与使用传统截断式更新的对照组相比，关键指标有可复现的提升。若条件有限，至少应在小规模任务（如数学题子集）上完成一轮完整的对照实验。

六、常见问题与排查

1. 训练早期奖励骤降或崩溃：优先检查学习率是否过大、logp_old 是否来自正确的策略版本、裁剪边界是否设置过宽；可先用极小学习率验证整条训练链路的正确性，再逐步放开。
2. 奖励上升但验证集不涨：典型的奖励黑客现象。加强奖励规则覆盖、增加格式与长度约束、人工抽查高分样本，必要时引入对抗性抽检。
3. 被截断 token 比例长期偏高：说明单步更新偏移过大。减少更新轮数、增大批大小、降低学习率，或收紧权重上限。
4. 熵快速下降、输出单一化：加入熵正则或提高采样温度，并检查优势项是否长期同号。
5. 响应长度持续膨胀：常见于只奖励“最终答案正确”的任务。加入长度惩罚或分段奖励，并持续监控长度分布。
6. 显存不足：长序列的对数概率重算是显存热点。可使用梯度检查点、分块计算对数概率，或缩短单批序列长度后分批训练。
7. 损失出现 NaN/Inf：检查在 exp 之前对 logp 差值做数值裁剪、确认混合精度下的溢出保护，并排查奖励函数是否返回异常值。

七、优化建议

• 性能：将采样与训练流水线重叠调度，复用推理侧缓存；对损失实现编写单元测试，构造 r=1、r 超上界、r 超下界、全填充等边界用例，验证梯度行为符合预期。
• 稳定性：对裁剪边界采用“由紧到松”的渐进放宽策略；记录逐 token 梯度范数，及早发现异常 token 群体。
• 成本：先用小模型、小规模数据完成超参数网格搜索，再迁移到目标规模；同一批采样数据在偏离可控的范围内尽量复用。
• 可维护性：将奖励函数、优势计算、损失函数拆分为独立模块，保证每一部分可单独测试与替换。
• 安全与合规：对训练数据与奖励输出做审查，避免模型在无约束情况下学到不当内容；保留训练快照以便随时回滚。

八、总结

本教程围绕 CISPO 展开了从原理到落地的完整路径。它的本质创新只有一句话：把传统“截断即丢梯度”的策略更新方式，改为“截断权重、保留梯度”，通过施加停止梯度的截断权重作为系数，让包括关键 token 在内的所有样本都以受控幅度参与更新。实践中最关键的三个抓手是：损失函数中停止梯度与截断的正确实现、以“被截断 token 比例”为核心的训练监控、以及从奖励设计到验证评测的闭环对照。掌握这些之后，你可以进一步探索非对称截断、token 级优势估计，以及该方法与其他稳定化技巧的组合，在长链路推理等任务上构建更稳健的大模型强化学习训练流程。