简介:训练大模型时,开放式回答往往没有唯一标准答案,裁判模型如何打分会直接影响对齐质量。本文对比总体印象分与基于评分标准的证据化打分,并进一步比较“从成对回答反推标准”与“从任务本身生成标准”两条路径,帮助读者判断何时用相对偏好、何时用可核验分数,以及切换评分方式时要控制哪些偏差。
本文对比的不是两家产品,而是两类在奖励建模中常见的裁判方式:
在此之上,还要对比评分条目本身从哪里来:
开放式任务(写作、建议、多轮对话、方案说明)无法像封闭题那样用精确匹配判对错。奖励模型或裁判模型承担的是“把人类偏好压缩成可训练信号”。信号形式看起来只是表达差异——一个说“A更好”,一个说“A得3.1分、B得2分”——但对后续训练的含义并不相同。前者更容易混入裁判的整体感觉;后者如果条目写得具体、可核对,分数就更接近可复查的证据,而不是心情分。
需要先澄清边界:分数本身并不自动等于可靠。没有标准支撑的绝对分,仍然是印象分;有标准但标准是从少数样本“看出来的”,也会系统性漏掉真正重要、却在这对样本里没有拉开差距的维度。选型的核心不是“绝对分一定优于相对偏好”,而是信号是否可追溯到任务要求,而不是追溯到偶然观察到的表面差异。
早期做法很直接:让更强的模型读完回答,给一个总分,或在成对样本上选择胜者。优点是接入快,标注界面简单,适合冷启动和粗粒度排序。数学上,成对比较也常被用来拟合奖励,因为很多对齐流程只需要“谁更好”,不需要分数的绝对刻度。
它的弱点同样明确。总分缺少中间推理,同一裁判在不同批次、不同提示措辞下,尺度会漂。两个回答都“还行”时,相对判断仍可能很自信,但置信并不等于依据充分。对开放生成而言,流畅、礼貌、篇幅长,都容易被当成“更好”,而用户真正关心的约束(是否回答了问题、是否越权承诺、是否满足格式)可能被整体印象盖住。
证据化评分把评价拆成条目:是否覆盖用户的真实问题、是否遵守字数或格式、关键事实是否有来自上下文的支撑、建议是否可执行、是否出现与任务无关的扩写。裁判的工作从“给感觉分”变成“逐条核对”。汇总时可以是加权求和,也可以是先通过硬性门槛再比较软性质量。
这更接近阅卷用评分表,而不是一拍脑袋的印象分。它并不保证裁判永远正确,但把错误变成可定位的:是某条标准写错了,还是模型没按条目执行,还是汇总权重不合理。对工程团队来说,可定位比一个无法解释的0到100分更有价值。
无论印象分还是证据分,在系统里通常都扮演奖励或过滤信号,服务对象是策略模型或候选重排,而不是面向终端用户的最终答案。共同点包括:
因此,对比的重点不是谁“更先进”,而是信号粒度、偏差来源和运维方式不同。
响应诱导标准的生成过程通常是:取一好一差两个回答,让更强模型对比差异,把差异总结成条目。这在局部很高效,因为差异点往往就是当前批次里最显眼的错误。
问题在于标准被已经观察到的回答绑住了。比喻成演讲评分:若只看过两位选手,发现一人声音大、一人声音小,就把“声音洪亮”写进表里,那么两位都洪亮时这条失效;而“论据是否充分”如果两人都不行,差异对比根本不会把它写出来。这就是响应诱导偏差:标准覆盖的是样本间可见差别,不是任务的完备要求。
任务驱动标准反过来做。先写清任务成功条件:意图是否被正确理解、约束是否满足、关键信息是否完整、风险表述是否克制、结构是否便于使用。然后再拿具体回答去核对。标准对后续任意一对候选仍然适用,而不是只对生成标准时那一对有效。
| 维度 | 总体印象 / 纯相对偏好 | 证据化评分(任务驱动条目) |
|---|---|---|
| 输出 | 胜负或单个总分 | 逐条判定加汇总分 |
| 主要优点 | 成本低、适合排序学习 | 可审计、便于定位失败模式 |
| 主要风险 | 尺度漂移、表面特征支配 | 条目遗漏、权重失真、核对成本高 |
| 标准来源若不当 | 偏好本身不可解释 | 若由响应对反推,会继承样本偏差 |
| 跨样本可比性 | 成对比较局部可靠,全局刻度弱 | 条目稳定时刻度更可比较 |
| 适合阶段 | 冷启动、粗筛 | 质量门槛、回归测试、上线抽检 |
相对偏好回答的是“在这一对里谁更好”,不回答“好到什么程度、好在哪一条”。证据分回答的是“相对任务清单,各自过了哪些关”。当训练目标是压制特定失败(胡编、漏答、格式破坏)时,条目级信号更有针对性;当目标只是在大量候选里做粗排序、且人工条目尚未稳定时,纯相对偏好更省。
印象分的偏差偏随机和主观:同一标准缺失时,措辞华丽会抬分。响应诱导标准的偏差偏系统:没被这对样本暴露的维度会被永久漏掉,被暴露的表层差异会被写成“原则”。后者更危险,因为它看起来像有标准,评审流程也完整,但标准的覆盖率取决于抽样运气。
任务驱动也不能一劳永逸。条目如果写成不可判定的形容词(“有洞察”“很专业”),执行时会退回印象分。可操作条目应能指出核对对象:用户问题中的哪类槽位、上下文中的哪类事实、输出格式中的哪几项硬约束。
印象分的接入成本低,但回归时很难说明“为什么这版变差”。证据分的前期设计成本高:要维护条目版本、权重、冲突规则(硬性安全条失败则总分无效)。运维上需要记录每条判定及依据片段,否则无法做争议复核。
安全侧,两者都应把高风险行为设为独立门槛,而不是混进文采分:是否索取或泄露敏感信息、是否给出不可执行的危险步骤、是否伪造权威来源。证据化方式更容易把这类门槛做成一票否决;纯偏好比较容易在“整体更有帮助”的叙事里把风险条目稀释掉。权限、审计、数据隔离仍属于业务系统设计,评分模块只消费允许看见的上下文,不应为了打分去扩大数据范围。
性能上不宜虚构吞吐数字。可以定性地说:逐条核对的提示更长、调用次数可能更多,延迟和费用通常高于一次胜负判断;若只在候选重排的末段或离线评估使用证据分,在线路径仍可用更轻的相对比较做粗筛。
下面是与具体厂商无关的伪代码,只说明控制流,不代表任何平台接口。
function score(task, answer):rubric = load_task_rubric(task.type) # 来自任务定义,不来自本对答案evidence = []for item in rubric.items:hit, quote = check(item, task, answer) # 判定 + 可回溯片段evidence.append((item.id, hit, quote))if item.hard and not hit:return {pass: false, evidence: evidence}soft = sum(weight(item) for item, hit, _ in evidence if hit and not item.hard)return {pass: true, soft: soft, evidence: evidence}
对比路径如果改成“先看answer_a与answer_b的差异再写rubric”,load_task_rubric就被样本绑死,后续换一对回答时条目覆盖会失效。这是实现层面最需要守住的边界。
条件化结论可以写成:当失败模式已经能被稳定描述、且需要跨版本比较时,任务驱动的证据分更合适;当任务定义仍在变化、主要需求是样本间排序时,相对偏好成本更低。不存在“一种打分在所有开放任务上都更好”的结论。
若团队已有云上的模型训练与评估环境,例如使用百度智能云一类的通用模型开发与推理能力做离线评估,上述原则仍然适用:平台提供的是训练、推理和日志一类通用能力,评分表的设计、权重和是否允许样本反推标准,必须由任务负责人定义,不能指望托管环境自动消除响应诱导偏差。
总体印象分和证据化评分都可以给另一个模型提供奖励,但信息量不同。印象分和纯相对偏好回答排序问题,成本低,解释弱,尺度容易漂。证据化评分把判断拆成可核对条目,便于审计和定位退步,但条目从哪来决定了它是否公正。
从具体回答的差异反推标准,会把偶然可见的差别写成规则,并漏掉双方都缺失的关键维度,这就是响应诱导偏差。从任务本身定义标准,再拿回答去对证据,才能让分数在更换候选后仍然有意义。
工程上更稳妥的组合通常是:任务级硬条件用证据分把关,软质量在小集合上用相对比较补充,并且评分表与任务模板一起做版本管理和人工抽检。这样选出的不是“更高的分数”,而是更不容易让策略模型学会只迎合裁判表面偏好的信号。