奖励模型为何会“精神分裂”：多峰偏好建模原理

一、原理概述：一个分数无法承载的分歧

在人工智能对齐（AI Alignment）的技术栈中，奖励模型（Reward Model，RM）扮演着“裁判”的角色：它接收一个问题的两份或多份回答，输出一个标量分数，用以表征哪份回答更符合人类偏好。这个分数随后被用于强化学习或偏好优化流程，指导模型朝着“人类喜欢的方向”更新参数。

然而，这套看似自洽的机制有一个被长期掩盖的前提假设：人类偏好可以被一个实数充分表达。换句话说，对于同一个问题、同一组回答，存在一个“客观正确”的分数，标注员之间的分歧只是围绕这个真值的随机噪声。

这个假设在统计学上对应的是单峰分布——评分结果围绕一个中心值上下波动，形如正态分布。但真实的人类偏好数据，往往并不服从这种形态。

本文要解释的核心原理是：当人类偏好本身呈现出多峰分布时，用单一标量输出的奖励模型会在同一个输入上产生内在矛盾——它今天给某个回答打高分，明天可能打低分，看似“精神分裂”，实则是把一团多峰意见强行压成一个点所产生的必然结果。 解决路径，是从“点估计”转向“分布建模”，让奖励模型学会输出一个分布，而非一个数字。

二、背景问题：偏好标注中的多峰现象

要理解这个问题，先看几组来自公开偏好数据集的统计现象。

在通用人类偏好数据集中，两个人类标注员对同一段对话给出相反判断的比例，可以超过三分之一。也就是说，标注员之间的一致率长期徘徊在 60%～70% 区间。这不是标注质量问题，而是偏好本身的分歧。

更细致的统计分析揭示了三种典型模式：

1. 评分区间跨度大：在某个“有用性”评价维度上，有接近一半的样本，不同标注员给出的分数跨度超过 2 分（满分 4 分）。
2. 分裂聚类：约四分之一以上的样本，评分自然聚集为两堆，而非围绕中间值分布。
3. 极端双峰：约四分之一左右的样本，同时出现了很低和很高的极端评分，中间地带反而稀疏。

这三类现象指向同一个结论：人类偏好不是“一个平均值 + 噪声”，而是“多个局部密集区 + 稀疏过渡带”。这就是多峰分布——一种概率分布存在不止一个峰值，每个峰值代表一个相对集中的偏好阵营。

三、核心概念：从点估计到分布建模

理解后面的机制，需要先厘清几个基础概念。

奖励模型（RM）：一个接收“问题 + 回答”作为输入、输出标量分数的模型。它的训练目标通常是让“人类更偏好的回答”获得更高分。在偏好优化流程中，RM 充当环境给出的奖励信号。

点估计（Point Estimation）：用一个具体数值来概括一个统计量的做法。传统 RM 输出的就是点估计。

分布建模（Distribution Modeling）：不输出单个数值，而是输出一个概率分布，用以刻画“分数的可能取值及其概率”。分布建模能够表达“有人打高分、有人打低分、中间人少”这种结构。

多峰分布（Multimodal Distribution）：概率分布中存在多个局部极大值。对于偏好建模而言，每个峰对应一个偏好阵营。

概念	传统 RM	分布型 RM
输出	单一标量	概率分布
假设	偏好单峰	偏好可多峰
对分歧的表达	视为噪声	视为结构
典型训练信号	成对比较	成对比较 + 分布拟合

四、关键机制：传统 RM 为什么会“精神分裂”

4.1 输入与输出

传统 RM 的输入是一个样本对 (x, y)，其中 x 是问题或对话上下文，y 是待评价的回答。输出是一个实数 r(x, y)。

训练时，模型接收成对样本 (x, y⁺, y⁻)，其中 y⁺ 被标注为“更受偏好”，y⁻ 被标注为“较少受偏好”。损失函数通常要求 r(x, y⁺) > r(x, y⁻)，并通过某种间隔或概率形式（如 Bradley-Terry 模型）来约束。

4.2 处理链路

一个完整的偏好建模链路通常包括：

1. 数据采集层：从真实用户交互或人工构造中收集问题与多个回答。
2. 标注层：由多名标注员对回答进行成对比较或打分。
3. 聚合层：将多个标注员的判断聚合为训练信号。
4. 训练层：用聚合后的信号训练奖励模型。
5. 应用层：在偏好优化流程中调用 RM 评分。

问题出在聚合层。当标注员对同一对样本存在分歧时，聚合策略通常采用多数投票或平均。多数投票会直接丢弃少数派意见；平均会把两个对立峰拉成一个中间值。

4.3 多峰压缩的数学后果

假设真实偏好分布是一个双峰分布：40% 的标注员认为回答 A 好，40% 认为回答 B 好，20% 认为差不多。如果聚合方式是把“偏好 A 的比例减去偏好 B 的比例”作为训练信号，那么对于这一对样本，信号接近 0。

RM 从中学到的是：“A 和 B 差不多。”但真实情况是“A 和 B 各有大量支持者”。当 RM 在推理时遇到类似样本，它的输出会变得极不稳定——因为训练信号本身就没有给出明确方向。这种不稳定性在外部看来，就像是同一个模型对同一个输入时而打高分、时而打低分。

更严重的是，如果训练数据中同时存在“A 优于 B”和“B 优于 A”的标注（来自不同标注员），RM 会被迫在同一个输入上学到矛盾的映射。这不是模型容量问题，而是训练目标与数据结构不匹配。

五、工作流程：分布型奖励模型的运行机制

分布型奖励模型的核心改动，是让模型输出一个分布，而非一个标量。下面用一个通用流程说明其运行机制。

5.1 模型输出层改造

传统 RM 的输出层是一个线性头，把隐藏状态映射为一个标量。分布型 RM 的输出层需要参数化一个分布，常见做法有两种：

• 离散分布：把分数区间划分为若干桶，输出每个桶的概率。例如分数范围 1～5，输出 5 个概率值，表示“打 1 分的概率、打 2 分的概率……”。
• 连续分布：输出一个参数化分布的参数，如高斯混合模型的均值、方差和混合权重。混合权重对应各个峰的相对大小。

5.2 训练信号构造

分布型 RM 的训练不再只依赖“哪个更好”的二元信号，而是需要能够反映分歧结构的目标。通用做法包括：

1. 分布匹配损失：让模型输出的分布去拟合标注员评分的经验分布。
2. 成对比较损失 + 分布正则：在保留成对比较信号的同时，增加一项约束，要求输出分布不能过度集中。
3. 多标注员建模：为每个标注员学习一个隐变量，模型输出条件于标注员的分布，再通过边缘化得到整体分布。

5.3 推理阶段的行为

训练完成后，分布型 RM 在推理时输出的是一个分布。对于单峰样本，分布会集中在一个峰值附近，与传统 RM 行为接近。对于多峰样本，分布会呈现出多个峰，直接告诉下游系统：“这个回答存在分歧，有人很喜欢，有人很反感。”

伪代码示意如下：

# 传统 RM
score = RM(x, y)              # 输出标量
# 分布型 RM
probs = RM_dist(x, y)         # 输出分布，如 [0.1, 0.15, 0.1, 0.3, 0.35]
expected_score = sum(i * p for i, p in enumerate(probs))
variance = sum((i - expected_score)**2 * p for i, p in enumerate(probs))
# 下游可根据 expected_score 和 variance 共同决策

六、关键机制深入：分布建模如何影响下游流程

6.1 偏好优化中的奖励信号

在偏好优化流程中，分布型 RM 可以提供更丰富的信号。例如，可以取分布的期望作为奖励，同时用方差作为不确定性度量。当方差很高时，说明该样本存在分歧，系统可以选择降低该样本的权重，或者将其送入人工复核。

6.2 模块协作：接入层—计算层—存储层

从系统工程角度看，分布型 RM 的引入会改变整个链路的协作方式：

• 接入层：接收问题与回答，调用 RM 服务。
• 计算层：RM 推理输出分布，下游策略模块根据分布计算奖励与不确定性。
• 存储层：需要持久化分布参数，而不仅是单个分数，以便后续分析和审计。
• 监控层：新增分布形态监控，如峰数量、峰间距、分布熵等指标。

6.3 稳定性与容错

分布型 RM 的一个额外好处是提供了不确定性信号。当分布熵很高时，说明模型对当前样本没有明确判断。下游系统可以据此触发降级策略，例如回退到规则评分、请求更多标注或跳过该样本。这比传统 RM 在无把握时仍然输出一个看似确定的分数要稳健得多。

七、技术优势与限制

优势

• 表达分歧：能够显式表达多峰偏好，不再强行压缩。
• 提供不确定性：分布方差或熵可作为置信度指标。
• 改善训练稳定性：减少因标注矛盾导致的梯度冲突。
• 支持精细化决策：下游可根据分布形态选择不同策略。

限制与边界

• 标注成本更高：训练分布型 RM 通常需要多人标注，而不仅是单次比较。
• 分布假设的选择：离散桶、高斯混合等不同参数化方式各有适用场景，需要根据数据分布选择。
• 下游集成复杂：偏好优化算法需要适配分布输入，不是简单替换分数。
• 评估更困难：分布之间的比较比标量比较更复杂，需要设计合适的评估指标。
• 计算开销增加：输出分布比输出标量需要更多计算和存储资源。

八、常见误区

误区一：多峰就是标注质量差。 多峰反映的是真实偏好分歧，不是噪声。把它当噪声过滤掉，会丢失重要信息。

误区二：分布型 RM 一定比传统 RM 好。 如果真实偏好确实是单峰的，分布型 RM 的优势不明显，反而增加复杂度。选择取决于数据形态。

误区三：取分布均值就等价于传统 RM。 均值只是分布的一个摘要，丢失了方差、峰数量、峰间距等信息。分布型 RM 的价值恰恰在于这些被均值丢弃的结构。

误区四：多峰只出现在主观问题上。 即使是看似客观的任务，不同标注员对“什么算好”的理解也可能不同，从而产生多峰。

九、总结

奖励模型的“精神分裂”，本质上是用一个点估计去拟合一个多峰分布所导致的系统性矛盾。当人类偏好本身分裂为多个阵营时，任何试图输出单一分数的模型都不得不在矛盾信号之间摇摆。

解决这一问题的原理路径是：承认偏好的多峰结构，把奖励建模从点估计升级为分布建模。分布型奖励模型通过改造输出层、重构训练信号、调整下游集成方式，使模型能够显式表达“有人喜欢、有人反感”的分歧状态，并额外提供不确定性度量。

这一转变的意义不限于奖励模型本身。它提醒我们：在对齐人类偏好的过程中，把分歧当作噪声过滤掉，还是当作结构保留下来，是一个根本性的设计选择。选择后者，需要更复杂的建模、更高的标注成本和更精细的下游集成，但换来的是对真实人类偏好更诚实的表达。