简介:当测试对象从确定性函数转向不确定的智能体,传统软件测试的断言思维常常失灵。本文对比传统软件测试与AI Agent评测在判定方式、用例构建、环境隔离与评分逻辑等维度的核心差异,并进一步拆解确定性评分器与模型评分器的适用边界,帮助开发者在从0到1搭建评测体系时做出清晰的选型判断。
传统软件测试建立在”确定性”这一假设之上:给定相同输入,程序应产生相同输出,因此可以用精确断言判断通过与否。而AI Agent(智能体)的底层依赖大语言模型,其输出具有概率性与多样性——同一个任务,不同的表述、不同的中间步骤,都可能得到同样正确的结果。
于是很多团队在评估Agent时,会直接沿用单元测试、精确匹配断言的老办法,结果频繁出现”结果明明对了,却因措辞或路径不同被判失败”的情况。这就带来一个必须回答的问题:传统软件测试与Agent评测究竟有哪些本质区别,面对不同的评分与用例需求又该如何选型? 本文围绕这一问题展开对比。
两者的共同目标都是保障质量,但面对的不确定性程度截然不同,这决定了一系列技术选择的分野。
尽管对象不同,二者在方法论上高度相通:
理解这些共性后,才能更准确地识别它们的差异所在。
传统测试用 assert output == expected 即可,输出必须字节级一致。而Agent的正确输出往往是”语义正确”而非”字面一致”,需要判断”结果是否符合预期、是否合规”,这催生了评分器(Scorer)这一传统测试中较少独立存在的组件。
传统测试多依据需求文档、接口契约设计用例。而Agent评测更推荐从开发中反复手动检查的行为、发布前验证步骤、以及用户反馈的真实Bug出发转化用例。原因在于Agent行为难以穷尽列举,真实失败案例才是最有价值的信号来源。
传统测试常关注”功能是否被正确触发”。Agent评测则必须同时覆盖”该做某事”和”不该做某事”两类场景。例如若只测试”该搜索时是否搜索”,Agent可能变得过度触发(过触发),凡事都搜索;只测试反向又会带来漏触发。因此评测集需要在漏触发与过触发之间寻找平衡点,这是传统功能测试较少强调的维度。
传统单元测试通常在轻量进程中运行。而Agent往往需要接近生产环境的沙箱,且每个用例都应在隔离的干净环境中运行,以清除缓存文件、版本历史等残留状态,避免用例间相互污染,保证结果的真实性与可重复性。
这是最具Agent特色的一点,详见下节对比。
Agent评测中常见的两种评分思路如下:
| 维度 | 确定性评分器(Code-based) | 模型评分器(LLM-based) |
|---|---|---|
| 判定依据 | 规则、正则、状态检查、结果结构比对 | 由模型对输出进行主观/语义评估 |
| 判定结果 | 稳定、可复现、零随机性 | 存在一定波动,需控制评分提示 |
| 适用场景 | 结果可结构化、可精确校验的任务 | 复杂、开放、主观、难以形式化的任务 |
| 成本 | 低,几乎无额外调用开销 | 较高,涉及额外模型调用 |
| 主要风险 | 难以覆盖语义与主观质量 | 评分器本身可能不稳定,需验证其配置 |
选型建议:优先使用确定性评分器,只有在处理复杂或主观任务时,才辅助引入模型评分器。二者不是替代关系,而是分层协同——能用规则判定的绝不交给模型,减少不必要的随机性和成本。
传统测试有时隐含”按预期步骤执行”的假设。但Agent评测应关注结果而非路径:只要最终输出正确且合规,就不应因Agent没按预设步骤操作而判错。过度约束路径会扼杀智能体的创造性解法,也违背了评测”衡量目标达成度”的初衷。
同时,任务描述必须清晰无歧义——理想的描述应让两位领域专家能独立给出一致的”通过/失败”判定。每个任务还应附带一个参考方案(Reference Solution),既证明任务可解,也用于验证评分逻辑配置是否正确,避免Agent因任务含糊而”被冤枉”失败。
综合来看,搭建Agent评测体系应遵循务实、迭代的原则:
选型总结:当任务可结构化、结果可精确校验时,以确定性评分器为主的传统式精确判定仍然高效可靠;当任务开放、主观、语义复杂时,则需引入模型评分器补足判定能力。二者并非对立,而是依据任务性质分工协作。相比照搬传统测试的精确断言思维,Agent评测更需要”结果导向 + 分层评分 + 真实场景驱动”的组合策略,这正是在不确定系统中构建可信质量保障的核心。