简介: 本文系统对比Agent评估中“结果导向评测”与“过程导向评测”两类范式的差异,并引入三层评估框架(任务结果、执行轨迹、资源成本)。读者可以理解两种评估方式的适用边界、核心指标差异、常见误区,以及如何设计一套兼顾结果正确性与过程可靠性的评估体系。
在传统问答评测中,评估逻辑相对简单:给模型一道题,比对最终答案,再用模型裁判打分即可。这种“结果导向”的方式在单轮问答场景中基本够用。
但Agent与普通问答模型有本质区别。Agent的输出是一连串动作的结果:它可能调用工具、检索资料、写入数据、执行代码,最终才产出答案。这意味着两个问题浮现出来:
因此,Agent评估的核心矛盾在于:结果导向评测与过程导向评测各有盲区,单靠任何一种都会产生系统性误判。本文将对比这两类评估范式,并给出一个可落地的三层评估框架。
结果导向评测只关心最终产出:任务完成率、答案正确性、输出格式是否合规。它的假设是“只要结果对,过程不重要”。典型做法是准备一组测试题,保存参考答案,由人工或模型裁判比对评分。
过程导向评测关注Agent“怎么完成任务”:工具选择是否正确、执行顺序是否合理、出错后能否恢复、是否遵守权限与安全约束。它通常需要记录完整的执行轨迹(每一步的动作、输入、输出),再对轨迹进行分析评分。
两种范式并非对立,它们共享相同的基础设施需求:都需要标准化的测试样本集、明确的完成条件定义、可复现的运行环境,以及一致的评分标准。无论哪种范式,评估的第一步都不是找一套通用指标,而是先把每类任务的“完成条件”写清楚。
结果导向的重点指标包括:
| 指标 | 说明 |
|---|---|
| 任务完成率 | 用户目标是否全部完成 |
| 事实正确性 | 关键主张是否与可靠证据一致 |
| 引用支持度 | 引用是否真的支撑旁边的结论,而非只统计链接数量 |
| 覆盖度 | 关键要求有无遗漏,是否用无关内容制造“完整”错觉 |
| 格式与可用性 | 是否按要求输出表格、代码、结构化字段 |
| 不确定性处理 | 证据不足时是否说明限制、请求澄清或拒绝武断下结论 |
| 外部状态确认 | 发消息、改数据等任务是否通过后端状态验证 |
过程导向则重点评估:
结果导向通常采用“通过/不通过”或连续打分,容易被文笔质量干扰——一份语言流畅但事实错误的报告可能得高分。
过程导向更接近“门禁+评分”的复合逻辑:安全、权限、关键事实、副作用确认属于硬门禁,一旦触碰即判定失败,不能用“答案写得好”或“成本比较低”来抵消。一次越权操作不能因为最终文字流畅就被平均掉。
结果导向评估成本低、易于规模化,适合回归测试和版本对比;过程导向需要采集和存储轨迹数据、编写轨迹分析逻辑,成本更高,但能解释“为什么失败”,对迭代优化的指导价值更大。
实践中更可取的做法是分层组合,而非二选一:
其中安全、权限、关键事实和副作用确认作为硬门禁贯穿各层。
不同任务类型的“完成”定义差异很大:
建议每条评测样本同时保存:输入、上下文、允许使用的工具、必须完成的事项、参考证据、禁止行为和评分标准。开放任务不必有唯一“标准答案”,但至少要有可验收的事实、范围和完成证据,否则模型、裁判和人工评审对“好答案”的理解不一致,版本间分数也就失去可比性。
Agent评估的核心分歧在于“看结果”还是“看过程”:结果导向成本低但容易被表象迷惑,过程导向解释力强但成本更高。成熟的评估体系应当将两者统一到三层框架中——任务结果、执行轨迹、资源成本,并以安全与权限作为不可抵消的硬门禁。评估Agent之前,先定义清楚“什么叫完成”,才是一切指标有效性的前提。