简介:许多Agent在测试中拥有较高任务成功率,却可能依赖错误文档、无效检索或偶然数据完成任务。本文对比“结果导向评估”与“轨迹导向评估”的核心差异,从准确性、可解释性、稳定性、成本、安全和上线门槛等维度分析两种方法的适用场景,并给出面向生产环境的指标体系、测试方法与选型建议,帮助团队识别被表面成功率掩盖的系统性风险。
在Agent从实验验证走向生产部署时,最容易被关注的指标通常是任务成功率,也就是在一批测试任务中,Agent最终给出的答案是否符合预期。
例如,测试集包含100个财务数据查询任务,Agent有90次输出与标准答案一致,那么任务成功率就是90%。这个指标能够反映Agent的最终产出质量,但它无法回答一个更关键的问题:
Agent是通过正确的步骤得到答案,还是通过错误路径、偶然信息甚至数据巧合得到了答案?
这正是“结果导向评估”和“轨迹导向评估”的核心区别。
结果导向评估只关心最终答案是否正确;轨迹导向评估则进一步检查Agent在执行过程中的观察、推理、工具调用、参数选择、异常恢复和任务终止行为。
两者并不是互相替代的关系。结果评估负责判断“最终有没有完成任务”,轨迹评估负责判断“完成任务的过程是否可靠”。对于低风险问答,前者可能已经足够;但对于财务审核、数据处理、业务审批、自动运维等生产场景,仅看最终答案往往是不充分的。
结果导向评估通常采用以下方式:
其核心指标可以表示为:
任务成功率 = 最终结果符合要求的任务数 / 总任务数
这种方式实现简单、成本较低,适合快速比较不同提示词、模型或流程设计的初步效果。
例如:
但它的局限也很明显:只要最终答案正确,过程中出现过什么问题通常不会被记录为失败。
轨迹导向评估不只检查最终答案,还会分析Agent从任务开始到结束的完整执行轨迹,包括:
可以将一次Agent任务抽象为:
任务输入 → 环境观察 → 决策 → 工具调用 → 工具返回→ 状态更新 → 再次决策 → 最终输出
轨迹评估关注的是这条链路是否符合业务规则,而不只是最后一句话是否正确。
尽管评估重点不同,结果导向与轨迹导向仍然有几个共同目标。
两种方法都服务于同一个目标:判断Agent是否能够稳定完成指定任务。区别仅在于,结果导向主要观察结果,轨迹导向同时观察过程。
如果测试数据过于简单、重复或与真实生产环境差异很大,那么无论采用哪种评估方式,结论都可能失真。
有效测试集通常应覆盖:
没有清晰的验收标准,成功率和轨迹评分都无法稳定计算。企业需要提前定义:
下面通过一个财务数据查询场景说明两种评估方式的差异。
任务要求:
从最新财务目录中提取某季度净利润,并判断是否超过预算。
Agent输出:
本季度净利润为120万元,高于100万元预算。
人工检查发现,数字确实正确,因此该任务被判定为成功。
进一步检查执行记录后发现:
从结果角度看,这是一次成功;从系统可靠性角度看,这却是一次失败。
这种现象可以称为“假成功”:输出暂时正确,但过程已经偏离业务规则。假成功尤其危险,因为它通常不会触发告警,却会在数据变化、环境变化或任务复杂度提高后突然暴露。
| 评估维度 | 结果导向评估 | 轨迹导向评估 |
|---|---|---|
| 主要关注点 | 最终答案是否正确 | 执行过程是否符合规则 |
| 可解释性 | 较弱 | 较强 |
| 对偶然正确的识别 | 能力有限 | 能够发现 |
| 对工具调用的检查 | 通常不检查 | 检查工具、参数和调用顺序 |
| 对错误恢复的衡量 | 较少涉及 | 可单独统计 |
| 对成本和延迟的反映 | 只能间接反映 | 可分析步骤数和重复调用 |
| 实施复杂度 | 较低 | 较高 |
| 适合阶段 | 早期验证、简单任务 | 生产验收、高风险流程 |
| 主要风险 | 掩盖过程缺陷 | 建设成本和评估复杂度更高 |
步骤效率用于衡量实际执行步骤与合理最优步骤之间的差距。可以采用如下思路:
步骤效率 = 合理参考步骤数 / 实际执行步骤数
例如,一个任务在正常情况下需要4步完成,但Agent执行了10步,其中包括多次无效检索和重复读取,那么步骤效率就明显偏低。
低步骤效率通常会带来以下问题:
不过,步骤越少并不一定越好。对于需要多重校验的高风险任务,适当增加验证步骤是合理的。因此,评估时不能简单追求最短路径,而应判断每一步是否具有必要性。
生产环境不可能保证所有工具和数据源始终正常。常见异常包括:
错误恢复率可以理解为:
错误恢复率 = 成功修正并完成任务的异常任务数 / 发生可恢复异常的任务数
可靠的Agent不应在第一次调用失败后立即终止,也不应无条件重复同一操作。更合理的恢复行为包括:
需要注意的是,自我恢复不等于无限重试。恢复机制必须受到次数、时间和权限边界约束。
死循环表现为Agent反复执行相同或等价的错误操作,例如:
死循环率可以定义为:
死循环率 = 触发重复错误行为的任务数 / 总任务数
检测死循环时,不应只匹配完全相同的文本,还要识别语义等价的重复行为。例如参数顺序不同,但实际查询条件完全相同,也应纳入判断。
在工程上,可以设置:
对于数据查询、审计和分析任务,最终答案正确还不够,Agent必须使用正确的数据来源。
重点检查:
这类指标对于财务、医疗、法务和企业内部知识检索尤其重要。
有些流程即使最终结果不受影响,也不能省略关键步骤,例如:
规则遵循率能够帮助团队识别“结果看似正确,但流程不合规”的任务。
如果测试文件、字段和数字长期不变,Agent可能记住模式或依赖偶然线索,而不是掌握真正的任务逻辑。
只比较最终文本时,两个完全不同的执行路径可能得到同一个答案,但它们的风险水平并不相同。
实验环境中的数据源通常稳定、权限清晰、接口响应快速;生产环境则可能出现并发、延迟、数据更新和权限变化。
如果评估体系只统计“最终答对或答错”,那么重复调用、越权读取、无来源推断等行为可能不会影响分数。
用于判断任务是否完成,主要包括:
用于判断任务是否以可信方式完成,主要包括:
可以将上线判断表示为:
允许上线 =结果指标达标且轨迹指标达标且高风险行为未触发
也就是说,结果成功率应当是必要条件,但不能成为唯一条件。
如果任务只是生成摘要、改写文本或回答低风险问题,结果评估可以作为主要方法。但仍应关注事实一致性、格式稳定性和敏感信息泄露。
除了答案是否正确,还应检查引用来源、文档版本和权限范围。对于知识库持续更新的场景,轨迹评估的价值会明显提高。
这类任务不应只看最终结果。必须检查数据来源、计算过程、审批节点和审计记录。即使答案偶然正确,只要关键流程被跳过,也不应判定为生产级成功。
需要重点关注工具参数、权限边界、重试策略、回滚能力和终止条件。对于具有破坏性的操作,轨迹中的任何越权或缺少确认都应视为严重问题。
多Agent系统还需要额外检查信息传递是否完整、角色权限是否隔离、上下文是否被错误继承,以及一个Agent的错误是否会被其他Agent放大。
如果系统只保存最终答案,就无法回溯Agent为什么得出该结论。至少应记录:
涉及敏感数据时,应进行脱敏、访问控制和分级保存。
不同任务不应采用同一套上线门槛。低风险任务可以允许少量步骤冗余;高风险任务则应重点约束来源、权限、审批和可追溯性。
不能只保存成功案例,还应持续收集:
这些样本可以用于回归测试和版本对比。
每次修改提示词、模型、工具描述或任务编排逻辑后,都应重新执行关键场景测试。对于死循环、越权、错误数据源和高风险操作,应设置自动拦截规则。
如果团队处于早期探索阶段,结果导向评估能够快速判断Agent是否具备基本任务能力,适合用于方案筛选和功能验证。
如果系统即将进入生产,尤其涉及企业数据、自动操作或高风险决策,就不能只看任务成功率。此时应采用“结果评估+轨迹评估”的组合方式:
归根结底,Agent的生产质量不是“答对了多少次”这么简单,而是“能否在复杂环境中持续、可解释、可审计地答对”。一个暂时正确但无法解释、无法恢复、无法约束的Agent,仍然可能隐藏着严重的生产风险。只有当最终结果与执行轨迹同时达到要求,任务成功率才真正具有上线价值。