简介:智能体已从演示走向生产,效果由模型、认知模块、运行时脚手架和工程基础设施共同决定。本文给出分层评测框架,覆盖功能、稳定性、安全、可观测性和成本等维度,并说明测试设计、结果解读与风险边界,帮助读者建立可复现的选型与验证方法。
本文评测的对象是智能体系统。它以大语言模型为核心,能够理解用户意图、拆解任务、调用工具并持续执行,直到完成目标。评测对象不只是模型本身,还包括认知模块、运行时脚手架和工程基础设施。
读完本文,读者应能做到以下几点:
本文适合开发者、架构师、技术负责人、测试与运维人员,以及负责企业技术选型的团队阅读。
评测的目的不是判断某个系统“好不好”,而是回答以下问题:在我的任务类型、业务规模、成本预算和运维条件下,这个系统是否可靠,代价是多少,风险集中在哪里。
早期的代码补全工具交互周期很短。它读取当前文件附近的几百个 token,输出十几到几十个 token 的补全片段,用户可以逐条确认。智能体的工作方式不同。它接收一个目标后,会反复规划、调用工具、读取结果并修正路径,整个过程可能持续数分钟甚至更久。这带来三个评测难点:
因此,评测不能只检查最终输出是否正确,还要检查过程是否可控、成本是否可接受、失败是否可以定位。
可以把智能体拆成四层来理解。每一层的问题需要不同的验证手段。
| 层次 | 主要组成 | 外部可观察表现 | 评测关注点 |
|---|---|---|---|
| 模型本体 | 基础语言模型及其训练方式 | 推理质量、指令遵循、代码能力 | 基础能力、上下文长度、单位成本与延迟 |
| 认知模块 | 意图识别、任务拆解、规划、状态记忆 | 能否把目标拆成可执行步骤 | 拆解合理性、步骤完整性、中间状态保持 |
| 运行时脚手架 | 提示词编排、工具调度、重试与终止逻辑 | 调用次数、错误恢复、停止时机 | 调度策略、错误处理、预算与步数控制 |
| 工程基础设施 | 沙箱、权限、日志、监控、队列、存储 | 隔离效果、审计记录、故障恢复 | 安全边界、可观测性、可运维性 |
这种划分的价值在于,它能把“效果差”拆成可定位的问题。模型能力不足、规划质量低、调度逻辑有缺陷、基础设施不稳定,表现可能相似,但修复方向完全不同。
评测维度需要可观察、可验证、可解释。下表列出常用的十一个维度。
| 维度 | 核心问题 | 通用验证方法 | 结果解读要点 |
|---|---|---|---|
| 功能完整性 | 典型任务流程能否走通 | 覆盖任务类型清单,逐项执行 | 关注覆盖率与缺口位置 |
| 任务有效性 | 输出是否达到目标 | 设定可判定的验收标准 | 区分一次成功与稳定成功 |
| 性能与效率 | 耗时、步数、资源消耗是否合理 | 记录端到端耗时与调用次数 | 与任务复杂度对齐比较 |
| 稳定性 | 长时运行与异常下是否可用 | 长任务、异常输入、依赖故障注入 | 关注失败后的恢复与降级 |
| 安全性 | 权限与数据边界是否可控 | 越权测试、敏感数据检查 | 任何越权都应单独记录 |
| 兼容性 | 能否接入现有系统与数据格式 | 对接现有接口与数据样本 | 关注改造量与适配成本 |
| 易用性 | 接入和调试是否顺畅 | 记录从零到首次成功的操作步骤 | 关注配置项数量与文档完整度 |
| 可观测性 | 出问题时能否定位 | 检查日志、指标、调用链是否完整 | 能否还原每一步决策与工具结果 |
| 可维护性 | 升级、排障、扩容是否可持续 | 模拟版本升级与配置变更 | 关注变更对既有流程的影响 |
| 成本结构 | 资源、人力、运维成本的总和 | 统计单任务成本与人工介入时间 | 关注长期运行的成本曲线 |
| 场景适配度 | 与具体业务的匹配程度 | 用真实业务样本做小规模试点 | 结论只适用于被测场景 |
任务有效性回答的是“系统有没有完成目标”。它是最直观的维度,也最容易被误读。
评测时需要为每个任务定义可判定的验收标准。例如,代码修改类任务可以用已有测试用例判定是否通过,数据处理类任务可以用对照结果判定是否正确,文档类任务可以用结构检查与关键信息核对判定是否完整。如果验收标准依赖人工主观判断,应至少由两名评审独立打分,并记录分歧。
这一维度的结果解读需要注意两点。第一,单次成功不等于能力稳定。同一任务运行十次,成功七次与成功十次,对生产使用的意义完全不同。第二,成功率需要与任务难度分层看。简单任务的高成功率说明不了复杂任务的表现。
性能评测关注的不只是速度,还包括完成任务所消耗的资源。智能体的性能可以从以下几个指标观察:
性能差异的来源需要分析。步数多可能说明规划冗余,也可能说明工具返回信息不足以支撑一步到位的决策。耗时长可能来自模型推理,也可能来自工具调用排队或网络往返。只有把指标拆开,才能判断优化应该落在哪一层。
稳定性评测关注系统在非理想条件下的表现。常用的做法包括:
稳定性的核心指标是失败后的行为。一个可靠的系统在失败时应当停止、报告原因并保留现场,而不是继续执行错误路径或伪造成功结果。评测时应专门统计“假成功”的比例,它是生产环境中最难发现、危害最大的一类问题。
智能体往往需要读写文件、调用接口、访问数据,因此安全边界比普通应用更敏感。安全评测可以从以下方面展开:
安全测试应包含专门设计的越权用例。例如,在任务说明中要求访问未授权目录,检查系统是否拒绝;在输入文件中嵌入与任务无关的指令,检查系统是