DPO概率双降现象与两类优化目标对比

一、对比背景：为什么“概率双降”值得单独讨论

在使用 DPO（Direct Preference Optimization，直接偏好优化）进行大模型对齐训练时，一个被反复观察到的现象是：随着训练推进，偏好回答（chosen，记作 y_w）与拒绝回答（rejected，记作 y_l）的绝对对数概率往往同时下降，只是拒绝回答降得更快。表面上，偏好对上的“相对优势”在扩大，训练损失与偏好准确率看起来一切正常；实际上，模型对“好回答”本身的绝对置信度在持续走低，进而可能引发生成质量退化、输出多样性收缩、长文本能力下滑等问题。

理解这一现象，本质上是理解两类偏好优化目标的差异：

• 方案A：仅约束相对概率差的优化目标（以 DPO 为代表）；
• 方案B：在相对差值之外，显式约束绝对概率或与参考分布距离的优化目标。

两条路线都能“拉开 chosen 与 rejected 的差距”，但对模型整体分布的影响截然不同。本文将围绕这两类目标展开系统对比，帮助读者判断在什么情况下该选哪条路线、切换时需要注意什么。

二、对象定义：两类优化目标分别是什么

方案A：仅约束相对概率差的偏好优化目标

DPO 的核心思想是绕开显式的奖励模型，直接在偏好对数据上优化策略。其损失函数的示意形式如下：

loss_A = −log σ( β · [ (log πθ(y_w|x) − log π_ref(y_w|x))
                     − (log πθ(y_l|x) − log π_ref(y_l|x)) ] )

其中 π_ref 为参考模型（通常取 SFT 阶段的初始模型），β 为温度系数。可以看出，目标只关心两个“相对参考模型的对数概率”之差，即 s_w − s_l 这个差值，对 s_w、s_l 各自的绝对取值没有任何约束。

方案B：相对差值之外叠加绝对概率约束的目标

这类目标的共同特征是：在保留“拉开相对差距”的项之外，额外引入一个显式的“托底”力量，常见做法包括：

• 对偏好回答叠加负对数似然（NLL）项，直接鼓励 chosen 的绝对概率上升；
• 对参考分布施加 token 级 KL 惩罚，把策略分布锚定在参考模型附近；
• 采用强化学习路线做对齐并在奖励中加入 KL 项（如 PPO 一类经典方法），同样隐含了对策略分布的锚定。

此外，还有一类不依赖参考模型的改进目标，通过改写优化方向来避免概率整体下移，可视为方案B思想的延伸。

三、相同点分析

两类目标虽然结构不同，但存在大量共同点，这也是它们经常被放在一起比较的原因：

1. 优化目标同源：都服务于“让偏好回答优于拒绝回答”这一对齐目标，差异只在于是否同时看管绝对概率水平；
2. 数据形态一致：都以成对偏好数据（同一提示下的 chosen/rejected）为主要输入，数据构造、清洗、去重的工程逻辑可以完全复用；
3. 训练流程相似：都需要一个初始策略（通常来自 SFT 阶段），都涉及策略网络对偏好对的前向计算与梯度更新，训练框架层面的改造量不大；
4. 风险面重叠：都受偏好数据噪声、过拟合、与参考模型漂移等共性问题影响，数据质量都是第一位的决定因素；
5. 评估口径部分共享：偏好对上的相对胜率/准确率是两类方法共同的基础指标，但仅依赖这一指标都可能出现“指标变好、模型变差”的误判。

四、核心差异分析

4.1 目标函数结构：只看“差值”与“差值 + 绝对水平”

从梯度角度拆解方案A：设 Δ = s_w − s_l，损失对 s_w 的梯度系数为 −β·σ(−βΔ)，对 s_l 的梯度系数为 +β·σ(−βΔ)。两者大小相同、方向相反——目标只负责“把差值拉大”，对两个概率各自的绝对水平完全无感。这正是双降现象的数学根源：DPO 的损失函数只约束两者的相对概率差值，并不强制偏好回答的绝对概率必须上升。模型为了拉开差距，完全可能把两者的绝对概率一起压低——只要偏好回答降得比拒绝回答慢，相对优势变大，优化目标就已经达成。

4.2 优化路径：为什么模型倾向于“一起压低”

• 压低 rejected 是更“廉价”的下降方向：降低某条回答的概率只需抑制其中若干关键 token；而提升一整条长序列的概率需要全面提升每个 token 的似然，优化阻力更大，于是模型优先走“压低 rejected”的捷径；
• 语义重叠导致“误伤”：chosen 与 rejected 往往围绕同一问题、共享大量词汇与句式，压低 rejected 相关分布的参数更新会连带压低 chosen 的概率；
• 饱和效应让双降难以恢复：一旦差值足够大，sigmoid 进入饱和区，梯度趋近于零，目标函数不再提供把 chosen 概率“拉回来”的力，双降状态被固化；
• 参考模型只进差值、不构成硬约束：在方案A中，参考模型仅出现在差值定义里，并不像 token 级 KL 惩罚那样直接约束策略分布的整体形状。

4.3 对生成质量的影响

• 方案A：容易出现“似然位移”（likelihood displacement）——偏好对上的排序能力提升，但模型对优质文本的绝对概率下降，表现为输出趋同、表达退化、通用能力漂移；训练轮数越多、数据语义重叠越高，退化越明显；
• 方案B：绝对概率存在显式的上升或锚定力量，语言建模能力保持更好；但如果约束权重设置过大，会挤压“拉开差距”的优化空间，导致偏好拟合不足。

4.4 实现与调参复杂度

方案A结构单一、超参少（主要是 β 与学习率），一次偏好对前向即可完成计算，工程门槛低。方案B需要维护多个损失项并调权衡系数，部分做法需要额外前向计算，实现与调参成本中等偏高。

4.5 监控与可观测性

方案A下，仅看损失曲线和偏好准确率会严重误判训练状态，必须额外监控 chosen/rejected 的平均对数概率曲线；方案B的约束项本身提供了保护，但仍需监控约束权重与偏好项之间的平衡，避免“托底”变成“压制”。

五、对比表格

对比维度	方案A：仅相对概率约束（DPO为代表）	方案B：相对+绝对概率双约束
目标函数结构	只优化两者相对参考模型的对数概率差	差值项外增加 NLL、KL 等绝对水平约束
chosen 绝对概率	无保证，训练中可能持续下降	存在显式上升或锚定力量
超参数量	少（β、学习率等）	多（损失权重、惩罚强度等）
实现复杂度	低，一次偏好对前向即可	中，可能需要额外前向或损失项
训练稳定性	差值易达成，但存在双降与退化风险	分布更稳，权重不当会欠拟合偏好
生成质量影响	可能出现似然位移、输出趋同	语言建模能力保持更好
调参成本	低	中高，需扫描权重系数
适用场景	数据干净、短程微调、快速对齐	长周期训练、需保持通用能力、已观测到双降

两类目标的示意代码结构差异如下：

# 示意伪代码：两类目标的结构差异
s_w = log_p(policy, prompt, chosen)   - log_p(ref, prompt, chosen)
s_l = log_p(policy, prompt, rejected) - log_p(ref, prompt, rejected)
# 方案A：只约束相对差值
loss_A = -log_sigmoid(beta * (s_w - s_l))
# 方案B：在方案A基础上叠加绝对概率约束
nll_chosen = -log_p(policy, prompt, chosen)   # 鼓励 chosen 绝对概率上升
loss_B = loss_A + lam * nll_chosen            # lam 为权衡系数

六、典型场景选择

• 场景一：小数据快速对齐。偏好数据质量高、训练步数少、只调整风格不调整能力，方案A成本低、见效快，是合适的起点；
• 场景二：大规模或长周期训练。训练轮数多、数据量大，双降效应会随步数累积，建议直接采用方案B，或采用“先A后B”的分阶段策略；
• 场景三：对生成质量敏感的业务。对话、创作类应用对输出多样性和流畅度要求高，应优先方案B，并辅以生成质量评估；
• 场景四：算力与调参预算有限。方案A实现与调参成本低，可作为基线先行验证，再根据监控结果决定是否升级到方案B。

七、选型建议

• 若业务只关心偏好对上的相对排序能力，方案A已经足够；
• 若模型训练后还要承担通用生成任务，优先考虑方案B；
• 若训练中已观察到 chosen 平均对数概率持续下降，应尽早引入绝对概率约束或执行早停，而不是继续加大训练量；
• 若团队调参经验有限，方案A的简单性是显著优势，但必须配套绝对概率监控作为安全网；
• 无论选择哪条路线，都建议把 chosen/rejected 平均对数概率、与参考模型的 KL 距离、验证集困惑度纳入训练看板。在使用自建训练流水线，或使用百度智能云等平台提供的模型精调能力时，这一监控原则同样适用。

八、迁移与使用注意事项

1. 损失权重渐进引入：从方案A切换到方案B时，约束权重应从小到大扫描，观察偏好准确率与困惑度之间的权衡曲线，避免一次性引入过强约束；
2. 评估体系同步升级：除偏好准确率外，加入验证集困惑度、生成样本的人工或模型评估，防止单一指标误导决策；
3. 早停与检查点策略：以 chosen 绝对对数概率由升转降的拐点为重要参考，保存多个检查点做对比评估后再上线；
4. 参考模型一致性：两类目标都依赖参考基准，参考模型应与 SFT 初始模型保持一致，否则差值定义失真，约束失去锚定意义；
5. 数据质量先行：偏好对中 chosen/rejected 的语义重叠度越高，双降的“误伤”越明显，构造数据时应尽量让两者差异集中在关键维度上；
6. 超参联动调整：β、学习率与约束权重相互影响，调整其中一项后应重新验证其余设置，避免叠加过强或过弱的合力。

九、总结

回到开篇的问题：为什么 DPO 中 chosen/rejected 概率会同时下降？根源在于其损失函数只约束两者的相对概率差值，并不强制偏好回答的绝对概率上升；模型为了拉开差距，完全可能把两者的绝对概率一起压低——只要偏好回答降得比拒绝回答慢，优化目标就已经达成。方案A与方案B的核心差异，正在于“要不要为绝对概率支付约束成本”：方案A简单高效，但把保持生成质量的责任转嫁给了训练监控与早停；方案B通过显式约束换取分布稳定，代价是额外的实现与调参复杂度。两者没有绝对优劣，只有与数据规模、训练时长、业务对生成质量的敏感度相匹配的选择。把“相对差距”与“绝对水平”分开度量、分别看管，是规避对齐训练退化问题的关键实践原则。