DPO中chosen/rejected概率同时下降：相对概率约束与绝对概率约束的对比分析

一、对比背景：一个反直觉的训练现象

在偏好对齐训练中，直接偏好优化（Direct Preference Optimization，DPO）因无需显式训练奖励模型、流程相对简洁而被广泛采用。但在实际训练监控中，不少开发者会观察到一个反直觉的现象：随着训练推进，偏好回答（chosen）的对数概率在下降，拒绝回答（rejected）的对数概率也在下降，两者同时走低，而偏好回答与拒绝回答之间的概率差却在扩大。

如果仅从“模型应该在偏好回答上给出更高概率”这一朴素直觉出发，这种曲线看起来像是训练出了问题。但要判断它是否正常，需要先厘清一个更基础的问题：DPO的优化目标到底约束了什么？ 本文对比两种优化逻辑——“相对概率约束”与”绝对概率约束”——来分析这一现象的成因、边界与应对方式。

二、对象定义：两种约束逻辑的含义

2.1 相对概率约束

相对概率约束只要求偏好回答相对于拒绝回答的概率优势足够大，即优化目标关注的是两者对数概率之差（logit差 / log-ratio）。只要这个差值朝有利方向变化，损失就会下降，优化目标即被满足。

2.2 绝对概率约束

绝对概率约束则要求偏好回答本身的概率上升，或至少不低于某个基线。它关注的是单个样本的绝对似然水平，而非样本之间的相对关系。

DPO的损失函数属于前者。其典型形式可抽象表示为：

L = -log σ( β * [ (log π(chosen) - log π_ref(chosen))
                - (log π(rejected) - log π_ref(rejected)) ] )

其中 σ 为 sigmoid 函数，β 为温度系数，π 为当前策略模型，π_ref 为参考模型。可以看到，损失中的核心项是两个对数概率比的差值，即偏好回答的相对优势，而不是任一回答的绝对概率。

三、相同点分析：两种约束的共同目标

尽管约束对象不同，两者在以下方面是一致的：

• 目标一致：都希望模型在偏好回答上表现出更强的倾向性，提升对齐效果。
• 依赖同一策略模型：两者都通过策略模型 π 的输出概率进行计算，受同一套参数更新影响。
• 受参考模型影响：在DPO中，参考模型 π_ref 提供了基线锚点，绝对概率的变化方向也会受其约束强度影响。
• 可用同一批指标监控：对数概率、概率差、隐式奖励等指标均可同时用于观察两种约束的实际效果。

四、核心差异分析

4.1 优化目标的数学结构差异

相对概率约束的损失只对差值敏感。假设偏好回答与拒绝回答的对数概率同时下降相同幅度，差值不变，损失不变；若偏好回答下降得更慢，差值变大，损失反而下降。这意味着“两者一起压低、但偏好回答降得更慢”是一条合法的优化路径。

绝对概率约束则会对偏好回答的下降本身施加惩罚，迫使模型维持或提升其绝对似然水平。

4.2 概率质量分配行为的差异

在相对约束下，模型为了拉开差距，可能把两个回答的绝对概率一起压低。这相当于把概率质量从这两个样本上”移走”，转移到其他 token 或样本上，只要相对优势扩大即可。在绝对约束下，这种”整体压低”的行为会被抑制。

4.3 对参考模型依赖程度的差异

DPO中的 log-ratio 结构使优化强烈依赖参考模型。当参考模型对某样本的初始概率较高时，策略模型需要更大的相对调整才能获得相同损失下降，绝对概率的走向也更易偏离直觉。绝对约束逻辑则不直接依赖参考模型的基线位置。

4.4 训练稳定性与退化风险的差异

相对约束的优点是目标聚焦、梯度信号明确，但存在概率整体下移、输出分布变”平”或变”尖”的潜在风险，需要通过监控识别。绝对约束能更直接地保住偏好回答的似然，但若约束过强，可能压缩相对优势的优化空间，导致对齐效果不足。

4.5 对比表格

对比维度	相对概率约束（DPO实际逻辑）	绝对概率约束
约束对象	两个回答的对数概率之差	偏好回答的绝对概率水平
损失敏感项	log-ratio 差值	单个样本似然
概率同时下降	允许，只要差值扩大	被抑制
对参考模型依赖	强，依赖基线锚点	较弱
主要风险	概率整体下移、分布漂移	相对优势优化不足
监控重点	概率差、隐式奖励、KL	绝对似然、基线偏离
适用场景	偏好对齐主训练	需要保住绝对似然的场景

五、典型场景与诊断方法

5.1 何时属于正常现象

当偏好回答与拒绝回答概率同时下降，但概率差持续扩大、隐式奖励上升、验证集偏好准确率提升时，通常说明模型正在沿相对约束路径优化，属于预期行为。此时不必因绝对概率下降而中断训练。

5.2 何时需要警惕

若出现以下情况，则需进一步排查：

• 概率差没有扩大，但两者同步下降，说明优化未获得有效信号；
• 偏好回答概率下降速度快于拒绝回答，概率差收窄，属于异常方向；
• 输出分布明显退化，如重复、空洞、语言混杂增多；
• KL 散度相对参考模型急剧上升，偏离过大。

5.3 监控指标建议

# 伪代码：训练监控指标
logp_chosen      = log_prob(policy, chosen)
logp_rejected    = log_prob(policy, rejected)
margin           = logp_chosen - logp_rejected      # 相对优势
implicit_reward  = beta * margin                     # 隐式奖励
kl_to_ref        = kl(policy || reference)           # 偏离程度
pref_accuracy    = mean(margin > 0)                  # 偏好准确率

建议同时观察 margin 与 pref_accuracy 的趋势，而非只看单边绝对概率。

六、选型建议与调参思路

• 以相对指标为主判断依据：在DPO训练中，优先以概率差、隐式奖励和验证集偏好准确率作为主要判据，绝对概率作为辅助观察。
• 合理设置 β：β 较大时相对约束更强，绝对概率下移可能更明显；β 较小时约束偏弱，需关注对齐是否充分。应结合验证集表现调整，而非固定取值。
• 控制参考模型偏离：通过 KL 监控避免策略模型过度偏离参考模型，降低分布退化风险。
• 必要时引入辅助约束：若业务对偏好回答的绝对似然有明确要求，可在相对目标之外补充绝对似然的辅助正则，但需评估其对相对优势优化空间的影响。
• 数据质量优先：偏好对标注噪声会直接扭曲相对信号，导致概率异常波动，应优先保证数据一致性。

七、迁移与使用注意事项

从其他偏好优化思路迁移到DPO，或从DPO迁移到带绝对约束的方案时，需注意：

• 监控体系需同步调整：原方案若以绝对似然为核心指标，迁移后应补充概率差与隐式奖励指标，避免误判。
• 基线需重新校准：参考模型变化会改变 log-ratio 的起点，历史阈值不可直接复用。
• 接口与流程适配：偏好数据格式、参考模型加载方式、评估流程需与目标方案对齐，避免训练与评估口径不一致。
• 稳定性评估周期拉长：概率整体下移是渐进过程，应拉长观察窗口，结合多轮验证集结果判断。
• 边界明确：若业务要求偏好回答的绝对概率不得低于某水平，纯相对约束方案并不直接满足该要求，需在方案设计阶段就明确这一点。

八、总结

DPO中偏好回答与拒绝回答概率同时下降，根源在于其损失函数约束的是相对概率差而非绝对概率。模型只要让偏好回答降得比拒绝回答慢、相对优势扩大，优化目标即可达成，绝对概率的整体下移并不违反该目标。

理解这一点的关键在于区分两种约束逻辑：相对约束聚焦样本间的排序关系，绝对约束聚焦单个样本的似然水平。实践中应以概率差、隐式奖励、偏好准确率和 KL 散度作为主要监控指标，结合 β 取值、参考模型偏离程度与数据质量综合判断训练是否健康。当业务对绝对似然有硬性要求时，需要在相对目标之外补充相应约束，并在方案选型阶段就评估其可行性与代价。