让模型说实话:校准奖励与置信度评测实操

作者:快去debug2026.11.17 03:22浏览量:0

简介:模型给出的置信度未必可靠,偏好训练也不直接解决这个问题。本文讲清校准奖励的思路,说明严格适当评分规则为什么能让诚实报告成为最优策略。文中给出可运行的 Brier 奖励、对数评分与 ECE 代码,并介绍风险-覆盖曲线、Agent 路由与 RAG 门控中的用法。读完,你可以搭建第一版校准评测。

一、为什么要单独评估置信度

很多系统会让模型输出一个概率,用来决定是否自动执行某个动作,例如把工单派给某个 Agent,或者在检索结果不可靠时拒绝回答。如果这个概率和真实命中率对不上,阈值就失去意义。

本文只讨论对错能够自动判定的任务,例如代码能否通过测试、检索结果是否包含答案、工单是否被正确路由。这类任务可以把结果转换成 0 或 1 的标签,直接用来训练和评测。文中不涉及某个具体产品、论文或框架的细节。若要选型或复现,请以各团队发布的正式文档为准。

二、偏好训练为什么难给出可信的置信度

常见的 RLHF 和 RLAIF 做法,是先用成对比较数据训练一个偏好模型,再用它的打分去优化策略。这套方法的目标是让回答更受偏好,并不关心模型对自己的答案有多大把握。

这会带来两个问题。

第一是奖励黑客。策略会逐渐靠近标注者的口味,输出更长、语气更肯定、更少承认不确定的文本。语言上的自信和事实上的把握被混在一起。偏好数据覆盖不足或标注意见不稳定时,这种现象更明显。

第二是概率缺少锚点。Bradley-Terry 模型只给出相对排序,没有机制把 token 概率对齐到真实频率。部分公开实践中有报告称,偏好优化之后模型分布变得更尖锐,期望校准误差(ECE)反而变差。结果取决于数据和方法,需要在自己的任务上测量。

校准奖励训练的思路是绕开人工偏好,直接用自动判定的结果作为监督信号。下表列出两者的主要区别。

维度 RLHF / RLAIF 校准奖励训练
优化目标 回答更受偏好 报告的概率与真实频率一致
监督信号 成对比较得到的偏好分 自动判定的对错(0 或 1)
主要风险 奖励黑客,语气更肯定 判定器出错时,错误结果被当作真值
适用边界 开放式、难以自动判定的任务 对错可以自动判定的任务

校准奖励训练的前提是判定器可靠。判定器本身需要抽样人工复核,否则训练出的置信度只会学到判定器的偏差。

三、严格适当评分规则:让诚实报告成为最优策略

严格适当评分规则(strictly proper scoring rule)有一个关键性质:当模型报告的概率等于它的真实信念时,期望奖励最大。因此,诚实报告置信度会成为最优策略,不需要在提示词里要求模型”谦虚一点”。

常用的两个规则如下。

  • 对数评分:奖励为 log p(y)。它是严格适当的,但当正确类别的概率接近 0 时,奖励趋于负无穷,单个高置信度错误可能主导整个 batch 的梯度。
  • Brier 分数:奖励为 -||p - onehot(y)||²。它同样严格适当,值域为 [-2, 0],训练通常更稳定。

这两个规则只约束”报告的概率”是否诚实,并不保证判定器正确,也不保证模型能力足够。

四、奖励函数与 ECE 的代码实现

下面的代码包含两个奖励函数、ECE 计算、风险-覆盖曲线和阈值选择。运行环境为 Python 3.8 及以上,PyTorch 1.9 及以上,安装命令是 pip install torch。

```python
import torch
import torch.nn.functional as F

def _check_probs(probs, label):
“””probs: [N, C],每行非负且和为 1;label: [N],类别索引。”””
if probs.dim() != 2:
raise ValueError(f”probs 应为 [N, C],实际为 {tuple(probs.shape)}”)
if label.dim() != 1 or label.shape[0] != probs.shape[0]:
raise ValueError(“label 应为 [N],且与 probs 的样本数一致”)
if label.numel() == 0:
raise ValueError(“样本数为 0”)
if label.min() < 0 or label.max() >= probs.shape[1]:
raise ValueError(“label 超出 [0, C) 范围”)
if (probs < 0).any():
raise ValueError(“probs 含有负值”)
row_sum = probs.sum(dim=-1)
if not torch.allclose(row_sum, torch.ones_like(row_sum), atol=1e-4):
raise ValueError(“probs 每行之和应为 1,请先经过 softmax”)

def log_score_reward(logits, label):
“””对数评分奖励:返回 log p(y),越大越好。
严格适当。p(y) 趋近 0 时奖励趋于负无穷,没有下界。
logits: [N, C];label: [N],类别索引。”””
label = label.long()
if logits.dim() != 2 or label.dim() != 1 or label.shape[0] != logits.shape[0]:
raise ValueError(“logits 应为 [N, C],label 应为 [N]”)
if label.min() < 0 or label.max() >= logits.shape[1]:
raise ValueError(“label 超出 [0, C) 范围”)
log_probs = F.log_softmax(logits, dim=-1)
return log_probs.gather(-1, label.view(-1, 1)).squeeze(-1)

def brier_reward(probs, label):
“””Brier 奖励:返回 -||p - onehot(y)||^2,越大越好。
严格适当。值域为 [-2, 0],训练时比对数评分更稳定。
probs: [N, C],每行和为 1;label: [N],类别索引。”””
label = label.long()
_check_probs(probs, label)
onehot = F.one_hot(label, num_classes=probs.shape[1]).to(probs.dtype)
return -((probs - onehot) ** 2).sum(dim=-1)

def ece(probs, labels, n_bins=15):
“””期望校准误差(ECE)。
取每行最大概率作为置信度,按等宽分箱统计:
ECE = sum_b (|B_b| / N) * |acc(B_b) - conf(B_b)|,空箱跳过。
probs: [N, C];labels: [N]。”””
probs = torch.as_tensor(probs, dtype=torch.float64)
labels = torch.as_tensor(labels).long()
_check_probs(probs, labels)
if n_bins < 1:
raise ValueError(“n_bins 至少为 1”)

  1. conf, pred = probs.max(dim=-1)
  2. correct = (pred == labels).to(torch.float64)
  3. n = labels.numel()
  4. edges = torch.linspace(0.0, 1.0, n_bins + 1, dtype=torch.float64)
  5. total = torch.zeros((), dtype=torch.float64)
  6. for i in range(n_bins):
  7. lo, hi = edges[i], edges[i + 1]
  8. # 第一个箱左右都闭,其余箱左开右闭,保证每个置信度只落入一个箱
  9. if i == 0:
  10. mask = (conf >= lo) & (conf <= hi)
  11. else:
  12. mask = (conf > lo) & (conf <= hi)
  13. cnt = int(mask.sum())
  14. if cnt == 0:
  15. continue
  16. gap = (correct[mask].mean() - conf[mask].mean()).abs()
  17. total = total + (cnt / n) * gap
  18. return float(total)

def risk_coverage(conf, correct):
“””按置信度从高到低接受样本,返回覆盖率与选择性风险(被接受样本中的错误率)。
conf: [N];correct: [N],取值为 0 或 1。”””
conf = torch.as_tensor(conf, dtype=torch.float64).flatten()
correct = torch.as_tensor(correct, dtype=torch.float64).flatten()
if conf.shape != correct.shape or conf.numel() == 0:
raise ValueError(“conf 与 correct 形状需一致且非空”)
order = torch.sort(conf, descending=True, stable=True).indices
c = correct[order]
k = torch.arange(1, c.numel() + 1, dtype=torch.float64)
coverage = k / c.numel()
risk = 1.0 - torch.cumsum(c, dim=0) / k
return coverage, risk

def pick_threshold(conf, correct, max_risk):
“””在验证集上选阈值:接受 conf >= t 的样本,在选择性风险不超过 max_risk 的前提下,
取覆盖率最大的阈值。返回 (阈值, 覆盖率);没有满足条件的阈值时返回 (None, 0.0)。”””
conf = torch.as_tensor(conf, dtype=torch.float64).flatten()
coverage, risk = risk_coverage(conf, correct)
ok = torch.nonzero(risk <= max_risk).flatten()
if ok.numel() == 0:
return None, 0.0
k = int(ok.max())
sorted_conf = torch.sort(conf, descending=True).values
return float(sorted_conf[k]), float(coverage[k])

if name == “main“:
torch.manual_seed(0)
N, C = 5000, 4
logits = torch.randn(N, C) * 1.5
probs = F.softmax(logits, dim=-1)

  1. # 按模型自身给出的概率采样标签,此时模型是校准的
  2. labels = torch.multinomial(probs, num_samples=1).squeeze(1)
  3. # 放大 logits 得到过度自信的模型
  4. probs_sharp = F.softmax(logits * 3.0, dim=-1)
  5. print("ECE 校准模型:", round(ece(probs, labels), 4))
  6. print("ECE 过度自信:", round(ece(probs_sharp, labels), 4))
  7. print("对数评分均值:", round(log_score_reward(logits, labels).mean().item(), 4))
  8. print("Brier 奖励均值:", round(brier_reward(probs, labels).mean().item(), 4))
  9. conf, pred = probs.max(dim=-1)
  10. correct = (pred == labels).float()
  11. thr, cov = pick_threshold(conf, correct, max_risk=0.2)
  12. print("目标风险 0.2 下的