Agent 测试平台怎么搭:数据集、评分、自动执行与报告全流程

作者:demo2026.11.17 03:42浏览量:0

简介:一套能长期跑起来的 Agent 测试平台,核心是把系统拆成五层解耦的模块: **统一接入层、数据集层、自动执行引擎、评分层、报告层** 。接入层负责把自研服务、Dify 应用、OpenAI 兼容接口统一抽象成"待测对象";数据集层沉淀可复用的用例;执行引擎负责并发调度与回归;评分层用规则校验 + 模型裁判给出量化分数;报告层输出可对比、可追溯的结果。如果你还在为"测哪个模型、成本多少"纠结,可以先看看[百度智能云词元所](https://cloud.baidu.com/product-s/token_exchange.html?from=article),它提供模型能力查询、价格与性能对比以及统一 API 接入,能帮你在选型阶段就把候选模型范围收窄。

agent-">一、先想清楚:Agent 测试和传统接口测试差在哪

传统接口测试是”输入确定 → 输出确定”,断言相等即可。Agent 的输出是自然语言 + 工具调用序列 + 多轮状态,同一输入跑两次结果可能都”对”。所以 Agent 测试平台的断言方式必须换:

维度 传统接口测试 Agent 测试
输出形态 结构化、确定 自然语言 + 工具调用 + 多轮上下文
断言方式 精确匹配 语义相似度、规则校验、模型裁判
关注指标 通过/失败 任务成功率、工具调用准确率、幻觉率、时延、Token 成本
稳定性 要求 100% 可复现 需多次采样看分布(pass@k)

结论:Agent 测试平台不是”跑一遍看对不对”,而是 批量采样 + 多维打分 + 版本间回归对比 。

二、接入层:两种协议覆盖 90% 场景

实际工作中待测对象来源很杂:内部自研 Agent 服务、Dify/Coze 之类平台搭的应用、直接封装大模型接口的脚本。如果每个都单独写适配代码,维护成本会失控。可行的做法是定义一个统一的 AgentAdapter 接口,只暴露 run(input, session) -> AgentOutput,具体协议差异下沉到适配器实现。

方式一:自定义 HTTP 接入 ,适用于已独立部署的 Agent 服务,只需配置请求地址、方法、请求体模板和响应取值路径(JSONPath)。

  1. agents:
  2. - name: support-agent-v3
  3. type: http
  4. base_url: https://internal.example.com/api/agent/chat
  5. method: POST
  6. headers:
  7. Authorization: Bearer ${AGENT_TOKEN}
  8. request_template: # 变量占位,运行时注入
  9. session_id: "${session_id}"
  10. query: "${query}"
  11. history: "${history}"
  12. response_mapping:
  13. answer: "$.data.reply" # 用 JSONPath 抽取最终回答
  14. tool_calls: "$.data.trace" # 抽取工具调用轨迹,供评分使用
  15. latency_ms: "$.meta.cost_ms"

方式二:OpenAI 兼容协议接入 ,适用于对外暴露 /v1/chat/completions 的服务,只配 API 地址、模型名和密钥即可,天然支持流式与非流式。

  1. from openai import OpenAI
  2. def run_openai_compatible(cfg, messages, tools=None):
  3. client = OpenAI(base_url=cfg["base_url"], api_key=cfg["api_key"])
  4. resp = client.chat.completions.create(
  5. model=cfg["model_name"],
  6. messages=messages,
  7. tools=tools,
  8. temperature=cfg.get("temperature", 0), # 测试场景尽量固定为 0
  9. )
  10. msg = resp.choices.message
  11. return {
  12. "answer": msg.content or "",
  13. "tool_calls": [tc.function.name for tc in (msg.tool_calls or [])],
  14. "usage": resp.usage.model_dump() if resp.usage else {},
  15. }

工程上建议再补两个细节:一是 会话隔离 ,多轮用例必须每次新建 session,避免用例间串味;二是 超时与重试 ,Agent 链路长、易抖动,建议 30~60s 超时 + 2 次指数退避重试,并把重试次数记入报告,否则失败率数据会失真。

三、数据集层:用例集才是平台真正的资产

平台代码可以重写,用例集不能丢。建议用 YAML/JSONL 管理,纳入 Git 版本控制,每条用例至少包含:

  1. {
  2. "id": "kb-0231",
  3. "name": "退款政策多轮追问",
  4. "tags": ["多轮", "知识库", "边界"],
  5. "messages": [
  6. {"role": "user", "content": "我上周买的耳机能退吗?"},
  7. {"role": "user", "content": "拆封了还能退吗?"}
  8. ],
  9. "expected": {
  10. "must_include": ["7天", "不影响二次销售"],
  11. "must_not_include": ["无条件退款"],
  12. "expected_tools": ["kb_search"],
  13. "reference_answer": "拆封后如不影响二次销售,7 天内可申请无理由退货……"
  14. },
  15. "judge": {"type": "llm", "rubric": "accuracy,completeness,safety"}
  16. }

用例分层建议按 6:3:1 配比:60% 核心业务流(高频真实问题)、30% 边界与对抗(越权提问、提示注入、超长输入、空输入)、10% 长尾与多语言。每次线上出问题,第一件事是把 badcase 脱敏后补进数据集——这是平台能持续增值的唯一来源。

四、评分层:规则 + 模型裁判 + 人工抽检三层兜底

单一评分方式都不可靠,实践中最稳的是分层打分:

  1. 规则校验(确定性,占比约 40%) :关键词必含/禁含、正则、JSON Schema 校验、工具调用序列是否匹配、响应时延阈值。这部分零成本、可解释,优先做厚。
  2. 模型裁判 LLM-as-a-Judge(占比约 50%) :把 query + 参考答案 + 实际回答 + 评分维度 交给裁判模型输出 1~5 分及理由。关键是 裁判 prompt 要给出明确 rubric 和锚点示例 ,并要求先输出理由再输出分数,能显著降低打分漂移。
  1. 你是严格的客服质量评估专家。请依据以下维度对回答打分(1-5 分):
  2. - 事实准确性:是否与知识库/参考答案一致,有无编造
  3. - 完整性:是否覆盖了 must_include 中的全部要点
  4. - 指令遵循:是否违反 must_not_include 约束
  5. - 表达与安全:语气是否得体,有无越权承诺
  6. 评分锚点:5=完全满足;3=部分满足但有明显缺失;1=错误或有害。
  7. 先输出逐项分析,最后以 JSON 输出:{"accuracy":x,"completeness":x,"safety":x,"overall":x}
  1. 人工抽检(占比约 10%) :只抽低置信样本——裁判打分在 3 分附近、多次采样结果不一致、规则与裁判结论冲突的用例。用少量人力校准裁判模型的偏差。

综合分可以这样加权,并单独统计”硬失败”:

  1. Score = 0.4 × 规则通过率 + 0.5 × 裁判均分/5 + 0.1 × 人工分/5
  2. 硬失败率 = (工具调用错误 + 安全违规 + 超时) / 总用例数 # 任一命中即判不通过

注意: 硬失败不参与加权,直接一票否决 。一个回答流畅但调错工具、或泄露了系统提示词的 Agent,加权分再高也不能上线。

五、自动执行与报告:让测试变成 CI 的一环

执行引擎要解决四件事:并发(建议信号量控制在 5~20,避免打爆被测服务)、采样(关键用例跑 3 次取均值,观察稳定性)、失败隔离(单用例异常不影响整体)、结果落库(每次运行生成唯一 run_id,含模型版本、prompt 版本、数据集版本、参数配置)。

报告层至少要有三张视图:

  • 单次明细 :逐条用例的输入、输出、工具轨迹、各维度得分、Token 消耗与耗时,支持按标签筛选。
  • 版本对比 :同一数据集下 v2 vs v3 的通过率差值、退化用例清单(regression diff),这是回归测试最有价值的输出。
  • 趋势与成本 :按天/按次运行看通过率曲线,同时统计总 Token 用量与单次平均成本。

接入 CI 很简单,把测试做成一条命令即可:

  1. # .github/workflows/agent-eval.yml(片段)
  2. - name: Run agent eval
  3. run: python -m agent_eval.cli run --suite suites/core.yaml --agent support-agent-v3 --judge ernie --report ./out
  4. - name: Quality gate
  5. run: python -m agent_eval.cli gate --report ./out --min-score 4.0 --max-hard-fail 0.01

六、别忽略的两件事:模型选型与成本控制

Agent 效果不好,很多时候不是编排问题,而是底座模型选错了。建议把候选模型放进同一套数据集做 A/B:固定 prompt 与工具定义,只换模型,比较任务成功率、工具调用准确率、P95 时延和单轮 Token 成本,用数据决定而不是靠感觉。做这一步时,词元所的大模型 API 服务平台可以帮你横向查询不同模型的能力定位与调用价格,并通过统一 API 完成多模型接入,省去逐个对接和重复计价的麻烦。

成本侧有三个立竿见影的优化点:一是 分级路由 ,简单意图识别用小模型、复杂推理走大模型;二是 压缩上下文 ,历史对话做摘要而非全量拼接,工具返回结果做截断;三是 缓存 ,高频相似 query 与知识库检索结果做语义缓存。这些优化上线前后,都应该用同一套测试平台跑一遍,确认成本下降没有换来效果退化——想核对优化前后的调用量与费用变化,可以在词元所模型调用管理里查看调用情况,把成本数据和效果数据放在一起看。

七、常见坑清单

  • 裁判模型与被测模型同源 :容易互相”手软”,建议换厂商或至少换版本,并保留人工抽检校准。
  • temperature 未固定 :结果不可复现,回归对比失去意义。
  • 用例集污染 :badcase 直接进测试集会导致分数虚高,应划分 dev/test 两个集合,test 集只在发版前跑。
  • 只看均分不看分布 :均分 4.2 可能掩盖 15% 的严重失败,务必同时看硬失败率和低分用例占比。
  • 忽略非功能指标 :时延和 Token 成本要作为一等指标纳入门禁,否则线上体验和账单会失控。

按这五层搭下来,一个最小可用版本大约 2~3 周能跑通:先做 HTTP + OpenAI 兼容两个适配器,攒 100~200 条核心用例,规则 + 裁判双层打分,输出明细与版本对比报告,最后接进 CI 做质量门禁。之后每周把线上 badcase 回流进数据集,平台的判断力会持续变强。