主观打分与分层评测怎么选

作者:4042026.11.16 10:38浏览量:0

简介:自建智能体评测常被简化成“让裁判从 1 到 10 打分”。本文对比主观分数量化与分层确定性评测:从任务骨架、四层判分、覆盖范围到适用场景与迁移成本,帮助团队用可维护的规则与门禁替代不可复现的分数,建立可校准、可演进的评测清单。

对比背景

智能体上线前,团队几乎都会问同一件事:怎样证明它“够好”。一种常见做法是收集若干样例,交给大模型裁判按 1 到 10 打分,再看均值是否上升。另一种做法是自建评测骨架:从真实失败提炼少量任务,用确定性规则先判结果与路径,再用效率与风险层补齐,最后才把剩余不确定部分交给裁判。

两者都在回答“能不能上线”,但判定逻辑完全不同。前者把质量压成一个标量,后者把质量拆成可复现的断言。越晚建立后者,越像在给线上事故倒推成功标准。下面从对象定义、相同点、核心差异、场景选型到迁移注意事项展开,便于技术负责人做条件化选择。

对象定义

主观分数量化(方案 A)
由模型或人工对输出整体印象打分(如 1–10 或优/中/差)。优点是接入快、几乎不写规则。缺点是分数不可校准、同一题多次打分抖动大,难以区分“答对了但路径乱”“路径对但成本失控”“结果可用但越权”。

分层确定性评测(方案 B)
以 20–50 条来自检查清单、缺陷列表、工单的真实失败任务为起点,按目录组织任务、环境快照、技能集合、参考解法与验证脚本。评测至少四层:交付结果、轨迹收敛、效率成本、风险红线。能用正则、结构校验、工具调用断言的先判,通常可覆盖三到四成问题,剩余再交给裁判。

方案 B 的最小骨架建议如下(示意):

  • tasks/:目标、限制、允许工具,不剧透解法
  • environments/:钉死的初始状态(提交、快照、种子数据)
  • skills/:被测技能、辅助技能、干扰技能(真实系统不会只有完美匹配项)
  • oracle/:参考解法,证明题目可解
  • verifier/:验证脚本

没有参考解法的任务,后续很难区分“智能体笨”还是“题目坏”。公开基准中相当比例被判定为题目本身有缺陷,正是同一类问题。

相同点分析

两者都服务于质量门禁,都需要样例、执行环境和某种“对错”信号。都可以接入持续集成,都可以对版本做回归。都承认纯人工全量标注成本高,因而倾向小样本起步。都关心交付物是否可用,而不是只看文风。

差异不在“要不要评”,而在“评什么、谁先评、失败如何一票否决”。

核心差异分析

1. 技术架构与系统边界

方案 A 的边界是“一次生成 + 一次打分”。依赖裁判模型稳定性,系统几乎没有可版本化的断言资产。环境、工具、种子数据往往未钉死,复现困难。

方案 B 把评测当成可维护的代码仓:环境钉死、技能含干扰项、验证脚本与任务同仓演进。系统边界清晰:确定性层不依赖模型,裁判层只处理文本语义等不确定部分。

2. 功能能力:四层判分 vs 单层印象

层 判什么 典型实现 缺层后果
Result 交付物可用 只读环境执行比对(例如查询结果集等价,而不是字符串全等) 误判正确或漏判错误
Trajectory 路径可复现 工具调用序列模式、步数上限 分不清稳定收敛与暴力采样撞好运
Efficiency 延迟、用量、步数、成本 仪表统计 高成功率但平均步数过多,上线即灾难
Risk 越权、泄露、红线 确定性断言 + 人工门禁 必须一票否决,不得进平均分

方案 A 把四层揉进一个分数,风险无法一票否决,轨迹与效率被平均掉。方案 B 排序原则明确:能用确定性规则判的先判。文本不确定,但工具调用通常确定,这类检查免费、快、不自相矛盾。示意:

  1. def test_order_status_calls_correct_tool():
  2. result = run_agent("订单 4521 在哪?")
  3. assert result.tool_calls[0].name == "get_order_status"
  4. assert result.tool_calls[0].args["order_id"] == "4521"

实践中确定性检查常覆盖约 30%–40%,剩余才交给裁判。这不是“不用模型”,而是把模型用在它擅长的语义层,而不是替代断言。

3. 接入与改造成本

方案 A:几天即可跑通,适合探索期。改造量小,但后续每次换模型、换提示都要重新“感觉”分数是否可信。

方案 B:前期要整理失败案例、写验证器、钉环境。接入成本更高,但增量维护是改脚本而不是重新标定几千条数据。起点刻意做小:20–50 条真实失败即可,不等于骨架残缺。

4. 性能、稳定性与可复现性

方案 A 的分数随裁判温度、提示、上下文漂移。同一版本今天 7.2、明天 6.8,无法做严格回归。也无法解释 pass@k 虚高:多次采样碰巧一次成功会被均值掩盖。

方案 B 对结果集等价、工具名与参数、步数上限给出稳定信号。效率层暴露“成功但太慢、太贵”。轨迹层区分稳定收敛与撞运气。稳定性来自规则,而不是裁判心情。

5. 安全、合规与运维

风险层必须独立:越权、泄露、红线失败不得与成功率平均。方案 A 几乎无法满足审计:无法说明哪条规则被违反。方案 B 的断言可进日志与门禁,权限、数据隔离、审计轨迹更清晰。运维上,方案 B 需要维护验证脚本与快照,但故障可定位到层;方案 A 运维简单,定位只能靠抽样读对话。

6. 成本结构(不涉及具体价格)

方案 A 人力成本前低后高:裁判调用持续发生,校准会议反复开。方案 B 人力成本前高后低:规则资产可复用,裁判调用量下降。长期维护成本取决于任务是否随产品演进——两者都要更新样例,但方案 B 更新的是可执行规格。

典型场景选择

  • 探索原型、演示、方向尚未定:可先用方案 A 快速看趋势,但不要把分数当发布门槛。
  • 工具调用型业务(查询、工单、下单):优先方案 B 的 Result + Trajectory。
  • 高成本或长链路智能体:必须加 Efficiency,否则“能做完”会拖垮预算。
  • 涉及权限、隐私、资金:Risk 一票否决,主观平均分不适用。
  • 题目本身可能有缺陷:必须有 oracle,否则优化的是坏题而不是智能体。
  • 团队评测工程能力弱、短期无人维护脚本:可阶段性以方案 A 为主,同时把失败案例沉淀为下一阶段任务集。

选型建议(条件化)

若目标是“本周看一眼好不好”,方案 A 足够。若目标是“版本对比可复现、可解释、可门禁”,应转向方案 B,即使任务只有几十条。若已有裁判流程,不必推翻:用确定性层切走 30%–40% 的明确对错,裁判只打剩余语义分,并对风险层禁止进入平均。云上可配合对象存储保存环境快照、用日志与监控承接效率指标、用身份认证约束评测账号权限;这些是通用能力,不绑定特定专有接口。

不要做绝对判断:高并发、强合规、强工具约束时,分层评测的收益显著;纯开放生成、尚无稳定工具协议时,过早写死断言会误伤探索。

迁移与使用注意事项

从打分迁到分层评测时:先冻结 20–50 条真实失败,不要追求覆盖一切;为每题补 oracle,避免坏题;把环境与种子钉死,否则轨迹层无意义;工具调用断言从“必须调用某工具且参数正确”做起;效率指标单独看分布,不要只看成功率;风险失败直接阻断流水线。兼容性上,旧的 1–10 分可暂时并行作参考,但发布门禁应以断言为准。稳定性风险在于验证脚本本身有 bug——因此 oracle 与人工抽检仍需要,只是范围缩小。

总结

主观打分把智能体质量压成不可校准的标量;分层评测把质量拆成结果、轨迹、效率、风险四层,确定性规则先行,裁判后置。相同点是都要样例与门禁;核心差异是可复现性、失败归因和一票否决能力。起点可以很小,骨架不能残。选型取决于是否已进入“必须解释每一次回归”的阶段:若是,就停止让裁判从 1 打到 10,把清单写成可运行的验证。