PACT实践教程：解决强化学习信用分配难题

一、教程目标与适用读者

强化学习训练大语言模型时有一个绕不开的矛盾：奖励只在整段回答生成完毕后才揭晓，但模型的每一个词元、每一步决策，都需要被单独指导。把这份“迟到”的奖励合理地分摊给过程中的每一步，就是信用分配问题。

本教程要帮助读者完成三件事：

1. 理解问题：弄清信用分配为什么困难，以及为什么这个问题被讨论了几十年，连“信用”本身都没有一个公认的数学定义；
2. 掌握思路：理解“先用公理把信用钉死、证明其形式唯一，再用这把尺子度量现有算法”的研究路径，看懂主流方法（用价值网络估计的PPO类方法、用同组平均分比较的GRPO类方法）各自在做什么近似；
3. 动手落地：把逐词元的信用分摊实现成一个可运行、可测试、可排查的训练模块，搭建类似PACT的训练流程，并学会验证效果。

适合阅读本教程的读者：负责大模型强化学习微调的算法工程师、训练框架与基础设施开发者、需要技术决策依据的技术负责人，以及对“LLM+强化学习”方向感兴趣的研究者。阅读前建议掌握策略梯度、优势函数、KL约束等基础概念，并了解“监督微调—强化学习对齐”的一般训练流程。

二、适用场景

• 终局打分任务：数学推理、代码生成、客观题问答等，奖励（对/错、分数）只在序列结束时产生，中间过程没有直接监督信号；
• 智能体任务：模型生成与环境反馈（如工具调用返回结果）交替出现，序列更长，“是哪一步导致了成功或失败”更难追溯；
• 算法诊断场景：团队已在用某种强化学习算法训练，希望回答一个更根本的问题——它在“给哪个词元记功”这件事上到底准不准，而不是凭流行度换算法。

三、前置准备

知识准备：策略梯度与对数概率求导、基线减除与方差缩减、优势函数估计、KL散度约束的作用；智能体任务还需理解“动作—观察”交替的交互式建模范式。

环境准备：

• 一套支持策略梯度训练的通用训练框架（自研或开源均可），能完成“采样—打分—算梯度—更新”的闭环；
• 一个可微调的策略模型，以及一个用于KL锚定的参考模型；
• GPU算力、实验跟踪与监控告警能力。这些属于通用类目能力（弹性算力、容器化训练、日志与监控），主流云平台均有提供，例如百度智能云等即可按需选用，本文不绑定任何具体产品配置；
• 奖励来源：可以是规则奖励（如答案精确匹配、单元测试通过），也可以是奖励模型。

数据准备：一批可自动判分的提示词集合，另留一份不参与训练的评测提示词；智能体任务还需准备可复现的工具执行环境。

四、问题定义：信用分配到底难在哪

先把问题的“形状”说清楚。一个模型生成一段回答，可以看成一连串的决策：提示词之后，模型逐个产生词元；如果是智能体任务，中间还穿插着环境反馈。整个过程可写成一个序列——提示词、第一个词元、环境反馈、第二个词元、环境反馈……直到结束，最后得到一个奖励分数。

难点在于：这个奖励分数只在最后才揭晓，但模型的每一步决策都需要被单独指导。 这就好比一支球队以三比零赢下一场比赛，教练想复盘：这三个进球，到底是谁的传球、谁的跑位、谁的射门促成的？比分只告诉你“赢了”，不告诉你“功是谁的”。

更麻烦的是，尽管这个问题在强化学习里被讨论了几十年，“信用”这个词至今没有公认的数学定义，不同算法各用各的方式去近似它：

• PPO类方法：训练一个价值网络去估计每个状态下“未来能拿多少奖励”，用估计值构造逐位优势，相当于请一位“评论员”现场给每一步打分——评论员准不准，本身又成了新难题；
• GRPO类方法：对同一提示词采样一组回答，用同组内其他回答的平均分作为基准做相对比较——省掉了价值网络，但比较得到的信号粒度较粗。

谁对谁错、谁更准，一直没有统一标准衡量。缺少的不是又一种近似方法，而是一把公认的尺子。

五、核心思路：先立规矩，再看规矩管不管用

某研究团队的论文做了一件相当硬核的事，分三步走：

第一步，公理化，把“信用”钉死。 不急于提出新算法，而是先追问：不论用什么训练方法，“把终局奖励分摊给每个词元”这件事应该满足哪些几乎无法反驳的基本性质？把这些性质作为公理写下来后，论文证明了一个关键结论——同时满足这些公理的信用度量，在数学上只能有一种形式。 换言之，“信用”不是各说各话的经验概念，而是有唯一答案的数学对象。

第二步，拿唯一形式当尺子，度量现有算法。 有了唯一解，就可以量化检查：PPO类方法估出来的分摊、GRPO类方法比较得到的分摊，与公理化信用之间偏差有多大、集中在哪类位置——是序列开头的铺垫词元，还是真正翻转结果的关键推理步骤。

第三步，据此设计新的训练方法，命名为PACT。 把公理化信用直接接入策略梯度的加权项，让每个词元按照“它应得的功”接受梯度。

论文开篇引用了信息论奠基人香农的一句话：“这些定义真正的意义，将体现在它们的推论之中。”这句话本身就是全文的注脚：先立规矩，再看规矩管不管用。定义不是纸面装饰，它的价值要由推论和训练效果检验。这也是本教程落地部分的方法论基调。

六、实施步骤

步骤一：把生成过程建模为序列化决策

在代码与日志层面明确轨迹结构：一条轨迹由提示词、若干动作词元和（智能体任务中的）环境观察交替组成，奖励挂在序列末尾。关键约定：环境反馈属于“观察”，不是模型的决策，分摊信用时必须排除，只对模型生成的动作词元记账。为什么先做这一步？后续所有信用计算都建立在“哪些位置是决策”的精确认知上，很多训练异常（比如信用摊到了工具返回的文本上）都源于这里没分清。

步骤二：搭建并跑通一个最小强化学习回路

先用最朴素的方式（如带基线的策略梯度，奖励整句共享）把训练闭环跑通：确认采样、打分、对数概率计算、梯度更新、日志与KL监控全部正常。为什么这么做？信用模块是这套管道上的“插件”，先建好干净基线，之后接入新模块出问题时，才能快速定位是插件的问题还是管道的问题。

步骤三：实现信用计算模块，并把公理写成单元测试

定义独立模块，接口大致如下：

def credit_fn(trajectories, rewards):
    """输入：完整轨迹与终局奖励
    输出：与每个动作词元一一对应的信用值"""

核心实现采用论文推导出的唯一形式（具体闭式表达以原论文为准）；同时建议实现两个对照版本——价值网络估计版、组内相对比较版，供步骤四诊断使用。

工程上最值得投入的一步，是把论文的每条公理翻译成针对credit_fn的单元测试：构造满足或不满足该性质的合成轨迹，断言输出符合公理要求。这样一旦实现写错（例如分摊结果与奖励总量不自洽、把观察位置也分了信用），测试会立刻报警，而不是等训练崩了再回头查。依赖关系：本步依赖步骤一的位置标记与步骤二的奖励通路。

步骤四：用公理化信用当尺子，诊断现有方法

对同一批轨迹，分别用三种方式计算逐词元分摊，画出分布并计算相关性，重点回答三个问题：

1. 价值网络的估计与公理化信用的系统偏差出现在哪些位置？
2. 组内相对比较的粗粒度信号，在哪些任务类型上失真最严重？
3. 偏差大的位置，是否恰好对应训练中最不稳定的样本？

这一步是论文“用尺子量现有算法”的工程化复现，产出物是一份诊断报告——它会直接告诉你，现在的训练到底在哪些位置“记错了功”。

步骤五：将信用接入训练目标，开始正式训练

把公理化信用作为每个动作词元的权重，接入加权策略梯度目标（减基线、标准化、裁剪后再用），同时保留对参考模型的KL约束。通用训练循环骨架如下：

for prompts in dataloader:
    trajs   = policy.sample(prompts)              # 1. 采样完整轨迹
    rewards = reward_fn(trajs)                    # 2. 终局奖励
    credit  = credit_fn(trajs, rewards)           # 3. 逐词元信用分摊（公理化实现）
    adv     = normalize(clip(credit - baseline))  # 4. 稳定化：减基线、归一、裁剪
    logp    = policy.log_prob(trajs.actions)      # 5. 仅对动作词元求对数概率
    loss    = -(adv * logp).mean() + beta * policy.kl(ref, trajs)
    loss.backward(); optimizer.step()             # 6. 更新策略

注意：权重只作用于动作词元位置（步骤一的掩码），信用值先稳定化再进损失，避免个别极端词元主导一次更新。

步骤六：小规模验证后放大

先在小模型、小任务上完成步骤三至五的完整闭环验证，确认信用模块正确、训练稳定后，再放大到目标模型与真实任务。这是控制成本与风险的关键顺序，不要直接在大模型上调试新模块。

七、关键配置与取值逻辑

以下均为通用经验逻辑，具体数值需在自己的任务上实验确定：

• 信用粒度：逐词元最精细但方差最大、计算最贵；片段级（如按推理步骤分段）是常见折中。建议先片段级跑通，再视需要细化到词元级。
• 对照组规模（若使用组内相对比较作为基线或对照）：组越大基准越稳，但采样成本线性增加，通常在稳定性与成本之间取中间值。
• 信用标准化与裁剪：减均值、除标准差，并对绝对值过大的信用做裁剪，是控制梯度方差的第一道闸门；阈值过紧会抹掉关键信号，过松则训练易震荡。
• KL约束系数：强化学习阶段模型容易跑飞，对参考模型的KL项是“缰绳”；若发现奖励上升但生成质量下降，优先检查这里。
• 学习率与批规模：强化学习阶段通常显著小于监督微调阶段；单批轨迹数量要足以让基线估计稳定。

八、结果验证

管道级验证：奖励均值（或胜率）随训练稳定上升，KL保持在设定范围内，损失无发散。这是底线，不是成功标准。

信用质量验证（本教程的核心验证点）：

1. 合成用例归因检查：构造“关键步骤翻转结果”的样本，例如一道数学题中某一步符号写错导致整题全错——信用应显著集中在该关键步骤附近，而不是均匀摊给全句或全部堆在最后一个词元；
2. 分布健全性检查：信用分布不应退化为常数，也不应把信用摊到环境观察位置；
3. 公理单元测试：步骤三建立的性质测试应全部通过，并纳入持续集成，防止后续改动悄悄破坏正确性。

对照实验验证：以“只在句尾整句给奖励”的朴素基线、价值网络方案、组内相对比较方案为对照，在相同算力预算下比较收敛速度与评测集表现，确认收益是真实的而非噪声。

防奖励黑客检查：奖励上涨未必等于模型变好。在held-out评测集上做自动与人工双评测，抽检是否存在钻奖励定义空子的退化行为。

九、常见问题与排查

1. 训练不收敛或震荡：优先怀疑信用方差过大。排查顺序：确认减基线与标准化已生效→收紧裁剪阈值→增大对照组规模→降低学习率；同时检查KL项是否真的参与损失。
2. 信用值全为正或全为负：通常是基线未减除，或credit_fn实现有误。先跑公理单元测试回归，再检查是否把观察位置误当动作位置分摊。
3. 奖励上涨但人工评测变差：典型的奖励黑客。收紧奖励定义、补充规则约束、加大人工抽检比例；必要时下调可疑高分样本的信用权重。
4. 智能体任务信用摊到了工具返回文本上：回查步骤一的序列掩码，确认环境反馈位置被正确排除；注意工具调用的参数本身是模型输出，应参与分摊。
5. 长序列任务显存或耗时爆炸：对数概率做缓存复用、按需计算，对低权重词元降采样；把信用计算与采样做成流水线并行。
6. 不同方法诊断结果差异大、说不清谁对：这正是公理化尺子的价值所在——以公理化信用为参照系，量化每个方法在哪些位置、哪类任务上偏离，把“经验之争”变成“可测量的问题”。

十、优化建议

• 性能：信用计算与前向采样共用前缀计算并缓存；诊断与训练分阶段进行，避免每次迭代全量计算多套信用。
• 稳定性：基线采用指数移动平均而非单批均值；对信用与梯度双重裁剪；保留从简到繁的降级开关（词元级→片段级→整句级），出问题时可快速回退。
• 可维护性：credit_fn独立成模块、接口稳定，公理测试纳入CI；训练框架不感知信用实现细节，便于日后替换或升级。
• 成本控制：坚持“小模型验证→大模型放大”；依据诊断报告只在偏差大的样本位置加密计算，而非全量精细化。
• 评估安全：定期审计奖励函数与信用分布，把“信用是否集中到人类认可的关键步骤”作为长期跟踪指标，防止优化目标悄悄漂移。

十一、总结

本教程围绕强化学习中最基础也最持久的信用分配问题展开：奖励只在最后揭晓，而每一步决策都需要指导。核心方法路径是某研究团队论文所展示的三步——先用公理把“信用”钉死并证明其形式唯一，再用这个唯一形式当尺子度量PPO类与GRPO类方法的偏差，最后据此构建PACT训练方法。落地层面，我们将其拆为六步工程流程：序列建模、最小回路、信用模块与公理测试、尺子诊断、接入训练、小规模验证后放大，并配套了验证方法、排查清单与优化建议。

香农那句话值得再读一遍：“这些定义真正的意义，将体现在它们的推论之中。”先把定义立对，再看训练效果。后续读者可以继续关注：公理化信用在多轮智能体任务上的应用、与过程奖励模型的结合，以及用它继续审视更多主流训练算法的偏差来源。