Agent 测试平台搭建全流程:接入、数据集、评分与自动报告

作者:十万个为什么2026.11.17 03:40浏览量:0

简介:搭建 Agent 测试平台的关键,是把「待测对象接入 → 数据集管理 → 自动执行 → 自动评分 → 报告输出」这条链路标准化,让每次改 Prompt、换模型、调工具都能一键回归。本文给出一套可直接落地的实现方案,并顺带说明如何借助[百度智能云词元所](https://cloud.baidu.com/product-s/token_exchange.html?from=article)这类大模型 API 服务平台完成裁判模型选型、价格对比与统一接入。

一、接入层:先解决「待测对象怎么进来」

实际工作中 Agent 的形态很杂:内部自研服务、Dify 等低代码平台搭出来的应用、或者只是大模型接口外面套了一层 Prompt。如果每种都单独写适配代码,平台很快会变成一堆 if-else。可行的做法是收敛成两类标准接入。

1. 自定义 HTTP 接入 ,适用于已独立部署的 Agent 服务,核心是「请求模板 + 响应映射」两个配置:

  1. {
  2. "name": "自研客服Agent",
  3. "type": "http",
  4. "endpoint": "https://internal.example.com/agent/chat",
  5. "method": "POST",
  6. "headers": { "Authorization": "Bearer ${AGENT_TOKEN}" },
  7. "request_template": {
  8. "query": "{{query}}",
  9. "session_id": "{{session_id}}",
  10. "history": "{{history}}"
  11. },
  12. "response_mapping": {
  13. "answer": "data.reply",
  14. "tool_calls": "data.tools",
  15. "usage": "data.usage"
  16. },
  17. "timeout_ms": 30000
  18. }

request_template 用占位符把用例变量注入请求体,response_mapping 用 JSONPath 把各家千奇百怪的返回结构统一成平台内部标准结构(answer / tool_calls / usage)。只要这两层抽象做好了,新增一个 Agent 就是加一份配置,不用改代码。

2. OpenAI 兼容协议接入 ,适用于本身暴露了 /v1/chat/completions 风格接口的 Agent 或网关:

  1. {
  2. "name": "OpenAI兼容Agent",
  3. "type": "openai_compatible",
  4. "base_url": "https://your-gateway/v1",
  5. "model": "your-agent-model",
  6. "api_key": "${API_KEY}"
  7. }

这两类基本能覆盖主流场景。后续要接 gRPC、WebSocket 或私有 SDK,只需再实现一个 Adapter 接口即可。

二、数据集:用例要带「可判定的期望」

测试平台的效果上限由数据集决定。建议每条用例包含四部分:输入、上下文、期望、评分策略。期望不要只写一句参考答案,而要写成机器可校验的断言。

  1. {
  2. "id": "case_0001",
  3. "category": "多轮工具调用",
  4. "input": { "query": "帮我查下上周那笔订单的退款进度" },
  5. "context": { "history": ["我上周买了个耳机"] },
  6. "expected": {
  7. "must_include": ["退款"],
  8. "must_call_tool": "query_order",
  9. "forbidden": ["具体到账时间承诺"]
  10. },
  11. "judge": { "type": "llm", "rubric": "rubric_tool_call.md" },
  12. "weight": 1.0
  13. }

几个实践要点:

  • 分层抽样 :按意图分类、工具调用、多轮上下文、边界与拒答、安全性分桶,每桶单独统计通过率,否则总分会被大量简单用例抬高。
  • 版本化管理 :数据集和代码一样打 tag,报告里记录 dataset_version,否则跨版本对比毫无意义。
  • 规模控制 :冒烟集 50~100 条用于每次提交触发,全量集几百到上千条用于发版前回归。

三、评分:规则分 + 模型分双轨

单靠 LLM 当裁判会有漂移和位置偏好,单靠规则又覆盖不了语义正确性。实用组合是规则分兜底、模型分补语义,加权汇总:

  1. def score_case(pred, expected):
  2. rule = rule_score(pred, expected) # 关键词包含/禁用词/工具调用名匹配
  3. llm = llm_score(pred, expected) # 按 rubric 输出 0-5 分
  4. return 0.4 * rule + 0.6 * (llm / 5)

裁判模型的选择会直接影响评分稳定性,这里有两个容易被忽略的点:一是 裁判模型必须固定 ,中途换模型会导致历史报告不可比;二是裁判模型的能力和价格差异很大,跑几千条用例时成本差距可能到十倍量级。建议在词元所上先对比候选模型的调用价格与能力定位,再用同一批 100 条人工标注样本做裁判一致性校准(看与人工打分的相关性),选定后再通过统一 API 接入固定下来,避免为每个模型写一套 SDK。

四、自动执行:并发、重试与成本控制

执行器的核心是三件事——并发控制、失败重试、用量记录:

  1. async def run_suite(cases, client, workers=8):
  2. sem = asyncio.Semaphore(workers)
  3. async def one(case):
  4. async with sem:
  5. for attempt in range(3):
  6. try:
  7. pred = await client.invoke(case)
  8. return case, pred, score_case(pred, case["expected"])
  9. except (TimeoutError, HTTPError) as e:
  10. if attempt == 2:
  11. return case, None, {"error": str(e)}
  12. await asyncio.sleep(2 ** attempt) # 指数退避
  13. return await asyncio.gather(*(one(c) for c in cases))

注意事项:

  • 区分「Agent 挂了」和「Agent 答错了」 :超时、5xx 应记为执行失败并单独统计,不要混进准确率里。
  • 并发别打满 :被测服务通常比测试机脆弱,8~16 并发是较安全的起点,同时观察 P95 延迟是否因排队而失真。
  • 记录每次调用的 token 用量 :把 usage 落库,才能算出「效果提升 2% 但成本涨了 40%」这种真正影响决策的结论。用量与成本的口径管理,也可以在大模型 API 服务平台的调用管理能力里统一查看。

五、报告:让结果可对比、可追责

一份有用的报告至少包含:

维度 指标
效果 总通过率、各分类通过率、平均得分
行为 工具调用准确率、参数正确率、多轮上下文保持率
安全 禁用词命中率、越权/拒答合规率
性能 P50/P95 延迟、超时率
成本 总 token 数、单用例平均 token、估算费用

比数字更重要的是 差异对比 :本次 vs 上一版本,逐条列出「由通过变失败」和「由失败变通过」的用例,前者就是回归缺陷清单。报告输出成 HTML 或 Markdown 存档,PR/MR 里贴摘要,评审效率会明显提高。

六、落地顺序建议

  1. 先做接入层抽象(HTTP + OpenAI 兼容),把现有 Agent 挂进来;
  2. 攒 50 条高质量冒烟用例,跑通「执行 → 评分 → 报告」闭环;
  3. 接入 CI,每次改 Prompt 自动触发;
  4. 再逐步扩到全量集,并加入裁判模型一致性校准与成本看板。

平台搭起来之后,选型环节往往还会反复:被测 Agent 换底座模型、裁判模型升级、成本重新核算。这些都可以在百度智能云词元所上完成模型发现、价格与性能对比,并通过统一 API 接入多模型,减少测试平台里为每家模型单独适配的工作量。