LLM-as-Judge 不翻车指南:Rubric 设计、偏置校准与结构化输出

作者:公子世无双2026.11.17 03:37浏览量:0

简介:LLM-as-Judge 翻车通常不是"模型不够强",而是三件事没做:Rubric 写成了模糊的感觉描述、没有对模型固有偏置做校准、输出是自由文本导致无法入库回归。本文给出可直接落地的 Rubric 原子化写法、五类偏置的校准手段、结构化输出的代码骨架,以及配套的模型选型思路——顺便说一句,评测要跑多个模型做交叉验证时,可以先在 [百度智能云词元所](https://cloud.baidu.com/product-s/token_exchange.html?from=article) 对比各模型的调用成本与能力定位,再用统一 API 接入,省掉逐个对接的工程量。

先给结论:翻车的三个根因

LLM-as-Judge 的可信度不取决于你用了多强的模型,而取决于三件事: 判定标准是否可判定、模型偏置是否被抵消、输出是否可被程序消费 。三者缺一,评测结果就会退化成”玄学打分”——同一批数据今天 78 分、明天 65 分,团队之间判断还不一致。

Agent 场景还要多一层:评的不该只是最终回复文本,而是 轨迹(trajectory) 。一次先查订单再退款、一次先退款后补查,最终答案可能都对,但其中一条违反了业务流程约束。只看结果文本,这类问题永远发现不了。


一、Rubric 设计:把”写得好”拆成可判定的检查项

1. 用三层目标搭骨架

不要一上来就写”回答是否专业”。先按三层拆:

层级 内容 判定方式
约束目标 Constraints 合规、权限、成本、时延、风格、禁用表述 二值判定,违反即 fatal
过程目标 Process 必须调用哪些工具、顺序约束、参数校验、失败重试 轨迹检查项
结果目标 Outcome 任务是否完成、信息是否准确、用户诉求是否被满足 分级或成对比较

约束目标必须做成 硬门禁 (pass/fail),不要混进加权总分里——否则一个”语气不佳但违规承诺退款”的回答可能因为总分高而被放过。

2. 四条原子化原则

  • 一项只判一件事 :把”回答准确且简洁”拆成两条独立检查项。
  • 优先二值判定 :passed: true/false 的一致性远高于 1–10 分打分。必须用分数时,限制在 3 档以内。
  • 强制给证据 :要求裁判引用轨迹中的原文片段作为依据,无证据即视为不通过。这一条能显著降低幻觉式打分。
  • 明确”无法判定”出口 :给裁判一个 cannot_verify 选项,而不是逼它在信息不足时瞎猜。

3. Rubric 片段示例

  1. task: 电商退款 Agent
  2. constraints:
  3. - id: C1
  4. desc: 未在系统中校验订单归属即执行退款
  5. severity: fatal
  6. - id: C2
  7. desc: 承诺超出政策范围的赔付(如"必定全额+补偿")
  8. severity: fatal
  9. process:
  10. - id: P1
  11. desc: 退款前必须调用 query_order 且 order_id 与用户提供的完全一致
  12. - id: P2
  13. desc: 工具报错后必须重试或转人工,不得静默忽略
  14. outcome:
  15. - id: O1
  16. desc: 最终回复明确告知处理结果或下一步动作
  17. - id: O2
  18. desc: 未编造物流/退款到账时间等未经验证的信息

二、轨迹评分:把多轮对话和工具调用一起喂给裁判

轨迹评测的关键是 结构化序列化 。把对话与工具调用整理成统一格式再交给裁判,而不是塞一段乱七八糟的日志:

  1. trajectory = [
  2. {"role": "user", "content": "我买的耳机昨天到的,想退"},
  3. {"role": "assistant", "tool": "query_order", "args": {"order_id": "A20231"}},
  4. {"role": "tool", "name": "query_order", "result": {"status": "shipped", "amount": 899}},
  5. {"role": "assistant", "tool": "refund", "args": {"order_id": "A20231", "amount": 899}},
  6. ]

工具返回体往往很长(几百行 JSON),务必 裁剪 :只保留判定相关的字段,单条工具结果控制在几百 token 内。否则裁判的输入成本会超过业务本身的调用成本,长上下文还会稀释注意力、拉低判定准确率。


三、偏置校准:五类高频偏差及对策

偏置类型 典型表现 校准手段
位置偏置 成对比较时偏爱第一个/第二个答案 A/B 顺序各跑一次取平均,顺序不一致的样本标记为”待定”
冗长偏置 更长、分点更多的答案得分更高 Rubric 中加入简洁性检查项;成对比较时显式提示”长度不作为质量依据”
自我偏好 偏爱同源模型生成的答案 裁判模型与被评模型 不同源 ;或用多裁判投票
宽松/严苛漂移 同一标准在不同批次打分整体偏移 固定裁判模型版本 + 每批插入 5% 锚样本(人工标注 golden set)监控漂移
格式诱导 输出格式变化导致分数跳变 强制 JSON Schema 输出,解析失败即重试而非降级为自由文本

顺序取平均的实现

  1. def pairwise_winrate(a, b, rubric, swap=True):
  2. """返回 a 相对 b 的胜率,抵消位置偏置"""
  3. r1 = judge(a, b, rubric) # a 在前
  4. if not swap:
  5. return 1.0 if r1.prefer == "a" else 0.0
  6. r2 = judge(b, a, rubric) # b 在前
  7. s1 = 1.0 if r1.prefer == "a" else 0.0
  8. s2 = 1.0 if r2.prefer == "b" else 0.0 # 注意这里映射回 a
  9. if s1 != s2:
  10. return 0.5 # 顺序敏感,判为平局,单独统计这类样本占比
  11. return s1

顺序敏感样本占比 本身就是个有用的指标:它超过 15% 说明 Rubric 判定边界太模糊,该回去改标准而不是换模型。

上线前必须做的一致性验证

抽 100–200 条人工标注样本,计算裁判与人工的一致性:

  • 二值判定用 Cohen’s Kappa ,低于 0.6 不要用于门禁;
  • 分级/连续打分用 Spearman 相关系数 ,低于 0.7 说明区分度不足。

这一步跳过,后面所有自动化评测都是在放大噪声。


四、结构化输出:让评分可入库、可回归

自由文本输出是自动化的天敌。用 JSON Schema 或函数调用约束输出,并做严格校验:

  1. from pydantic import BaseModel, Field, ValidationError
  2. class CheckResult(BaseModel):
  3. id: str
  4. passed: bool
  5. evidence: str = Field(max_length=300)
  6. class JudgeOutput(BaseModel):
  7. checks: list[CheckResult]
  8. fatal: bool
  9. score: float = Field(ge=0, le=1)
  10. comment: str = Field(max_length=500)
  11. def judge(traj, rubric) -> JudgeOutput:
  12. for attempt in range(3):
  13. raw = llm.chat(
  14. model=JUDGE_MODEL,
  15. temperature=0, # 裁判必须确定性
  16. response_format={"type": "json_object"},
  17. messages=[{"role": "user", "content": build_prompt(traj, rubric)}],
  18. )
  19. try:
  20. return JudgeOutput.model_validate_json(raw)
  21. except ValidationError:
  22. continue
  23. raise ValueError("judge output invalid after retries")

三个容易忽略的细节:

  1. 裁判 temperature 固定为 0 ,并锁定模型版本号(不要用 latest 这类浮动别名),否则模型侧一次静默升级就会让你的历史数据失去可比性。
  2. 解析失败要重试而不是降级 ,降级到自由文本等于放弃了结构化收益。
  3. 落库时保留原始响应 ,出现争议时能回溯裁判到底看到了什么。

五、闭环:评价驱动开发(EDD)

单次评测只能发现问题,闭环才能防回归。推荐五段式:

  1. 离线评估 :固定 golden set + 动态生成的对抗样本,每次改 prompt/换模型都跑一遍。
  2. 影子流量 :新版本接收生产流量副本但响应用户不可见,只走裁判打分。
  3. 灰度门禁 :约束目标零违反作为硬门槛,结果目标得分不低于基线(如 -2%)才放量。
  4. 生产监控 :线上按 1%–5% 抽样送裁判,重点盯 fatal 率、工具调用失败率、平均轮次与 token 成本。
  5. 自动回归 :线上发现的 badcase 自动脱敏后回流到 golden set,形成资产积累。

裁判调用本身也是成本项。控制方式:只对失败或低置信样本做全量 Rubric 判定,通过样本走轻量检查;相同轨迹做结果缓存;把裁判模型的输入裁剪到判定必需的最小上下文。要估算这部分开销,可以在 词元所 上对比不同候选裁判模型的单价与上下文规格,再结合你的抽样比例算出月度评测成本。


六、裁判模型怎么选

裁判模型的选型逻辑和被评模型完全不同,优先级是:

  1. 指令遵循与 schema 稳定性 > 榜单分数。输出经常不合法的高分模型,工程上不可用。
  2. 长上下文中的细节定位能力 :轨迹评测需要在几十轮里找到那一步参数错误。
  3. 与被评模型不同源 ,规避自我偏好。
  4. 成本与限流 :生产监控是持续调用,单价和 QPS 配额直接决定抽样比例能开多大。

实践中常见做法是分层:约束目标这类二值判定用小而稳的模型跑全量,结果目标这类需要语义理解的用更强的模型跑抽样。这种多模型混用的架构,用统一 API 接入会比维护多套 SDK 清爽得多——百度智能云词元所 提供的正是这类多模型统一接入与调用管理能力,方便你在同一套代码里切换裁判模型、对比效果与成本。


落地检查清单

  • Rubric 拆到原子级,约束目标为二值且设为硬门禁
  • 每条判定强制要求证据引用,保留 cannot_verify 出口
  • 成对比较做顺序交换取平均,统计顺序敏感样本占比
  • 裁判与被评模型不同源,裁判 temperature=0 且锁定版本
  • 输出用 JSON Schema 约束 + 严格校验 + 失败重试
  • 上线前用 100–200 条人工标注验证 Kappa / Spearman
  • 离线评估、影子流量、灰度门禁、生产监控、自动回归形成闭环

LLM-as-Judge 的本质是把主观质量判断工程化。Rubric 决定上限,偏置校准决定下限,结构化输出决定它能不能进 CI。三者做到位,评测才会从”跑个分看看”变成真正能拦住线上事故的门禁。