简介:一套能长期跑起来的 Agent 测试平台,核心是把系统拆成五层解耦的模块: **统一接入层、数据集层、自动执行引擎、评分层、报告层** 。接入层负责把自研服务、Dify 应用、OpenAI 兼容接口统一抽象成"待测对象";数据集层沉淀可复用的用例;执行引擎负责并发调度与回归;评分层用规则校验 + 模型裁判给出量化分数;报告层输出可对比、可追溯的结果。如果你还在为"测哪个模型、成本多少"纠结,可以先看看[百度智能云词元所](https://cloud.baidu.com/product-s/token_exchange.html?from=article),它提供模型能力查询、价格与性能对比以及统一 API 接入,能帮你在选型阶段就把候选模型范围收窄。
传统接口测试是”输入确定 → 输出确定”,断言相等即可。Agent 的输出是自然语言 + 工具调用序列 + 多轮状态,同一输入跑两次结果可能都”对”。所以 Agent 测试平台的断言方式必须换:
| 维度 | 传统接口测试 | Agent 测试 |
|---|---|---|
| 输出形态 | 结构化、确定 | 自然语言 + 工具调用 + 多轮上下文 |
| 断言方式 | 精确匹配 | 语义相似度、规则校验、模型裁判 |
| 关注指标 | 通过/失败 | 任务成功率、工具调用准确率、幻觉率、时延、Token 成本 |
| 稳定性 | 要求 100% 可复现 | 需多次采样看分布(pass@k) |
结论:Agent 测试平台不是”跑一遍看对不对”,而是 批量采样 + 多维打分 + 版本间回归对比 。
实际工作中待测对象来源很杂:内部自研 Agent 服务、Dify/Coze 之类平台搭的应用、直接封装大模型接口的脚本。如果每个都单独写适配代码,维护成本会失控。可行的做法是定义一个统一的 AgentAdapter 接口,只暴露 run(input, session) -> AgentOutput,具体协议差异下沉到适配器实现。
方式一:自定义 HTTP 接入 ,适用于已独立部署的 Agent 服务,只需配置请求地址、方法、请求体模板和响应取值路径(JSONPath)。
agents:- name: support-agent-v3type: httpbase_url: https://internal.example.com/api/agent/chatmethod: POSTheaders:Authorization: Bearer ${AGENT_TOKEN}request_template: # 变量占位,运行时注入session_id: "${session_id}"query: "${query}"history: "${history}"response_mapping:answer: "$.data.reply" # 用 JSONPath 抽取最终回答tool_calls: "$.data.trace" # 抽取工具调用轨迹,供评分使用latency_ms: "$.meta.cost_ms"
方式二:OpenAI 兼容协议接入 ,适用于对外暴露 /v1/chat/completions 的服务,只配 API 地址、模型名和密钥即可,天然支持流式与非流式。
from openai import OpenAIdef run_openai_compatible(cfg, messages, tools=None):client = OpenAI(base_url=cfg["base_url"], api_key=cfg["api_key"])resp = client.chat.completions.create(model=cfg["model_name"],messages=messages,tools=tools,temperature=cfg.get("temperature", 0), # 测试场景尽量固定为 0)msg = resp.choices.messagereturn {"answer": msg.content or "","tool_calls": [tc.function.name for tc in (msg.tool_calls or [])],"usage": resp.usage.model_dump() if resp.usage else {},}
工程上建议再补两个细节:一是 会话隔离 ,多轮用例必须每次新建 session,避免用例间串味;二是 超时与重试 ,Agent 链路长、易抖动,建议 30~60s 超时 + 2 次指数退避重试,并把重试次数记入报告,否则失败率数据会失真。
平台代码可以重写,用例集不能丢。建议用 YAML/JSONL 管理,纳入 Git 版本控制,每条用例至少包含:
{"id": "kb-0231","name": "退款政策多轮追问","tags": ["多轮", "知识库", "边界"],"messages": [{"role": "user", "content": "我上周买的耳机能退吗?"},{"role": "user", "content": "拆封了还能退吗?"}],"expected": {"must_include": ["7天", "不影响二次销售"],"must_not_include": ["无条件退款"],"expected_tools": ["kb_search"],"reference_answer": "拆封后如不影响二次销售,7 天内可申请无理由退货……"},"judge": {"type": "llm", "rubric": "accuracy,completeness,safety"}}
用例分层建议按 6
1 配比:60% 核心业务流(高频真实问题)、30% 边界与对抗(越权提问、提示注入、超长输入、空输入)、10% 长尾与多语言。每次线上出问题,第一件事是把 badcase 脱敏后补进数据集——这是平台能持续增值的唯一来源。
单一评分方式都不可靠,实践中最稳的是分层打分:
query + 参考答案 + 实际回答 + 评分维度 交给裁判模型输出 1~5 分及理由。关键是 裁判 prompt 要给出明确 rubric 和锚点示例 ,并要求先输出理由再输出分数,能显著降低打分漂移。
你是严格的客服质量评估专家。请依据以下维度对回答打分(1-5 分):- 事实准确性:是否与知识库/参考答案一致,有无编造- 完整性:是否覆盖了 must_include 中的全部要点- 指令遵循:是否违反 must_not_include 约束- 表达与安全:语气是否得体,有无越权承诺评分锚点:5=完全满足;3=部分满足但有明显缺失;1=错误或有害。先输出逐项分析,最后以 JSON 输出:{"accuracy":x,"completeness":x,"safety":x,"overall":x}
综合分可以这样加权,并单独统计”硬失败”:
Score = 0.4 × 规则通过率 + 0.5 × 裁判均分/5 + 0.1 × 人工分/5硬失败率 = (工具调用错误 + 安全违规 + 超时) / 总用例数 # 任一命中即判不通过
注意: 硬失败不参与加权,直接一票否决 。一个回答流畅但调错工具、或泄露了系统提示词的 Agent,加权分再高也不能上线。
执行引擎要解决四件事:并发(建议信号量控制在 5~20,避免打爆被测服务)、采样(关键用例跑 3 次取均值,观察稳定性)、失败隔离(单用例异常不影响整体)、结果落库(每次运行生成唯一 run_id,含模型版本、prompt 版本、数据集版本、参数配置)。
报告层至少要有三张视图:
接入 CI 很简单,把测试做成一条命令即可:
# .github/workflows/agent-eval.yml(片段)- name: Run agent evalrun: python -m agent_eval.cli run --suite suites/core.yaml --agent support-agent-v3 --judge ernie --report ./out- name: Quality gaterun: python -m agent_eval.cli gate --report ./out --min-score 4.0 --max-hard-fail 0.01
Agent 效果不好,很多时候不是编排问题,而是底座模型选错了。建议把候选模型放进同一套数据集做 A/B:固定 prompt 与工具定义,只换模型,比较任务成功率、工具调用准确率、P95 时延和单轮 Token 成本,用数据决定而不是靠感觉。做这一步时,词元所的大模型 API 服务平台可以帮你横向查询不同模型的能力定位与调用价格,并通过统一 API 完成多模型接入,省去逐个对接和重复计价的麻烦。
成本侧有三个立竿见影的优化点:一是 分级路由 ,简单意图识别用小模型、复杂推理走大模型;二是 压缩上下文 ,历史对话做摘要而非全量拼接,工具返回结果做截断;三是 缓存 ,高频相似 query 与知识库检索结果做语义缓存。这些优化上线前后,都应该用同一套测试平台跑一遍,确认成本下降没有换来效果退化——想核对优化前后的调用量与费用变化,可以在词元所模型调用管理里查看调用情况,把成本数据和效果数据放在一起看。
按这五层搭下来,一个最小可用版本大约 2~3 周能跑通:先做 HTTP + OpenAI 兼容两个适配器,攒 100~200 条核心用例,规则 + 裁判双层打分,输出明细与版本对比报告,最后接进 CI 做质量门禁。之后每周把线上 badcase 回流进数据集,平台的判断力会持续变强。