DPO训练中chosen与rejected概率同降的成因与应对策略

一、对比背景：为什么需要关注概率同降现象

在大语言模型的对齐阶段，DPO（Direct Preference Optimization）因其实现简洁、训练稳定而成为主流方案之一。DPO的核心思想是直接利用偏好数据对（chosen和rejected）优化策略模型，使模型倾向于生成被人类偏好的回答，同时抑制不被偏好的回答。

但在实际训练中，一个常见且令人困惑的现象是：chosen序列和rejected序列的生成概率同时下降。直觉上，模型应该提高chosen概率、降低rejected概率，二者呈现“跷跷板”关系。若二者同时下降，说明优化方向出现了偏差，可能导致模型整体输出质量退化、重复性增加、甚至是灾难性遗忘。

为了深入理解这一现象，我们需要将DPO训练中的正常情况、异常情况以及相关替代方案（如传统的RLHF）进行系统对比，明确概率同降是训练过程中的“正常中间态”还是“错误信号”，并找到对应的诊断与干预手段。

二、对象定义：DPO与相关训练机制的基本逻辑

1. DPO（直接偏好优化）的基本原理

DPO通过隐式奖励建模，将偏好优化问题转化为一个简单的分类目标。其核心损失函数可简化为：

• 对于每个偏好对（prompt，chosen，rejected），DPO最大化chosen相对rejected的边际概率，同时受到参考模型（通常是SFT模型）的KL散度约束。

其梯度更新方向本质上是对chosen序列施加正向推力，对rejected序列施加负向推力。理想情况下，chosen概率上升，rejected概率下降。

2. 参考模型与策略模型的对比作用

DPO训练中有一个关键角色——参考模型（Reference Model）。策略模型在优化时不能偏离参考模型过远，否则会产生奖励黑客（reward hacking）或语言退化。参考模型的存在使得梯度更新不仅要考虑偏好方向，还要受限于分布偏移的惩罚。

3. 对比对象：正常训练 vs. 概率同降现象

为了更清晰地说明问题，我们将DPO训练分为两种状态：

• 正常状态：chosen概率上升，rejected概率下降，且两者之和保持稳定或缓慢增长。
• 异常状态（本文讨论的核心）：chosen和rejected概率同时下降，生成分布整体向低密度区域移动。

三、相同点分析：正常状态与异常状态的共同基础

无论是正常训练还是出现概率同降，它们都共享以下训练机制：

共同要素	说明
优化目标	都是最大化chosen相对rejected的边际概率，并受KL约束
数据来源	都依赖人类偏好标注的成对数据
模型架构	策略模型与参考模型结构相同（通常是同一SFT模型的副本）
训练流程	均采用前向计算、损失计算、反向传播的常规流程

这些共同点说明，概率同降并非训练流程的崩溃，而是梯度更新方向与损失函数设计之间的深层耦合问题。

四、核心差异分析：概率同降的成因剖析

以下从四个维度展开分析，对比正常情况与异常情况的关键差异。

1. 梯度更新方向的隐性冲突

在DPO损失函数中，chosen和rejected的梯度方向并非完全正交。具体来说：

• 当模型对chosen的生成概率较低、对rejected的生成概率也较低时，梯度会同时增大两者的对数概率，但KL惩罚项会强行将整体分布拉回参考模型附近。
• 如果chosen和rejected的绝对概率都很低（例如训练初期模型尚未适应偏好数据），优化器会优先抬升两者的整体概率密度，导致二者短暂同步上升。但在某些情况下，若参考模型本身概率分布较尖锐，KL惩罚会反向压制所有高概率token，造成整体概率下降。

正常状态：chosen和rejected的概率处于合理区间，梯度方向明确区分正负样本。
异常状态：两者概率均处于低值区，梯度方向混叠，KL惩罚主导更新，导致同降。

2. 奖励差异（margin）的影响

DPO目标函数中有一个关键参数——奖励差异（即chosen和rejected的对数概率差）。当这个差值过小时：

• 模型难以区分正负样本，梯度信号微弱。
• 优化器为了增大差值，可能同时降低两者的概率（因为降低rejected更容易），但chosen也会被连带拉低。

对比：在差值适中或较大时，模型有明确区分，chosen被保护，rejected被压制；在差值过小时，模型进入“两难”状态，可能出现同降。

3. 参考模型与策略模型之间的漂移

如果参考模型与策略模型在训练初期差异过大（例如策略模型已经经历过多轮微调），那么KL惩罚项会非常强，导致策略模型每一步更新都被“拉回”参考模型。这种强约束下：

• 策略模型难以有效提升chosen概率（因为参考模型对chosen的支持不够）。
• 为了满足KL约束，模型会降低所有序列的概率，形成同降。

正常状态：参考模型与策略模型初始差异较小，KL惩罚适中，模型有足够自由度优化偏好方向。

4. 数据质量与噪声的影响

偏好数据中若存在大量“伪偏好”或标注不一致的样本（例如chosen和rejected质量差距不大），模型会对这些样本感到“困惑”，难以建立稳定的优化方向。此时：

• 模型可能尝试将所有序列概率降低，以规避错误偏好信号。
• 这与过拟合到噪声数据的行为类似，但表现为概率密度整体的坍缩。

五、对比表格：正常训练与概率同降现象的差异总结

对比维度	正常训练状态	概率同降异常状态
梯度方向	chosen向上、rejected向下	两者方向不一致或均被KL压制
奖励差值	逐步增大，区分度提高	差值停滞或缩小
参考模型约束	温和，允许合理漂移	过强或过弱均可能导致问题
模型生成质量	内容质量提升，重复率下降	可能出现重复、空洞、答非所问
损失值走势	总体下降，边际收益递减	损失震荡或长期不收敛
对超参敏感度	中	极高（尤其对β系数）

六、典型场景选择：不同场景下对同降现象的处理优先级

业务场景	处理策略优先级
通用对话模型	先检查数据质量，其次调整β和奖励差值
垂直领域微调（如法律、医疗）	优先检查参考模型是否过于陈旧，考虑动态更新参考模型
多轮对话场景	需要单独评估每轮chosen/rejected的边际概率分布
小样本场景	风险较高，建议降低学习率并增加预热阶段

七、选型建议与应对策略

针对“概率同降”现象，并不存在单一万能解法。根据成因不同，可采用以下条件化应对方案：

1. 从数据层面入手

• 清洗偏好数据：剔除chosen与rejected质量差异过小的样本，设定最小质量间距阈值。
• 平衡数据分布：确保chosen序列覆盖多样化的表达方式，避免模型对特定模板产生过度依赖。

2. 从超参数调整入手

• 降低β值（KL惩罚系数）：给模型更大的自由空间去优化偏好方向。
• 增大奖励差异：可通过修改损失函数中的边际项（如增加margin）来强制拉开差距。
• 降低学习率：减缓更新幅度，避免因单步更新过大导致整体概率坍缩。

3. 从参考模型入手

• 动态参考模型：训练中定期用当前策略模型更新参考模型（但需注意稳定性）。
• 初始化策略：确保策略模型在DPO前已经经过足够高质量的SFT训练，使其初始概率分布平滑。

4. 从监控与诊断入手

• 阶段性评估：每N步检测chosen和rejected的平均对数概率，如果连续多步同降，则触发早停或回滚。
• 对比基准：每轮训练后与参考模型对比生成样本质量，不仅看概率，还要看实际文本的连贯性和信息密度。

八、迁移与使用注意事项

如果团队准备从其他对齐方案（如强化学习）切换到DPO，或是在已有DPO训练基础上进行修复，需要注意以下事项：

• 接口与流程适配：原有数据标注格式是否兼容DPO的偏好对结构；若需要改造成本较高，请先做小规模验证。
• KL约束的迁移：不同方案对KL散度的处理方式差异较大，直接切换可能导致模型输出风格突变。
• 稳定性保障：在切换或调整过程中，建议保留训练前模型副本，并建立回滚机制。
• 长期维护：概率同降可能是周期性现象，需建立持续监控指标，而不是一次性修复后就不再关注。

九、总结

DPO训练中chosen和rejected概率同时下降，并非单一原因导致，而是梯度方向、奖励差异、参考模型约束和数据质量共同作用的结果。区别于正常训练的信号清晰、对比分明，同降现象意味着模型在偏好区分上遇到了结构性阻力。

正确的处理方式不是盲目增加训练轮次或调整学习率，而是先通过监控指标确认问题阶段，再针对性地从数据、超参、参考模型三个层面进行干预。当模型出现概率同降时，应当将其视为一个诊断信号，而非训练失败的终局——通过系统性对比与逐步排除，往往能在不牺牲生成质量的前提下恢复正常的偏好优化方向。

对于技术团队而言，建立“概率同降检测——原因定位——分步干预——效果验证”的闭环流程，比寻找某个神奇参数更有价值和可复用性。