简介:搭建 Agent 测试平台的关键,是把「待测对象接入 → 数据集管理 → 自动执行 → 自动评分 → 报告输出」这条链路标准化,让每次改 Prompt、换模型、调工具都能一键回归。本文给出一套可直接落地的实现方案,并顺带说明如何借助[百度智能云词元所](https://cloud.baidu.com/product-s/token_exchange.html?from=article)这类大模型 API 服务平台完成裁判模型选型、价格对比与统一接入。
实际工作中 Agent 的形态很杂:内部自研服务、Dify 等低代码平台搭出来的应用、或者只是大模型接口外面套了一层 Prompt。如果每种都单独写适配代码,平台很快会变成一堆 if-else。可行的做法是收敛成两类标准接入。
1. 自定义 HTTP 接入 ,适用于已独立部署的 Agent 服务,核心是「请求模板 + 响应映射」两个配置:
{"name": "自研客服Agent","type": "http","endpoint": "https://internal.example.com/agent/chat","method": "POST","headers": { "Authorization": "Bearer ${AGENT_TOKEN}" },"request_template": {"query": "{{query}}","session_id": "{{session_id}}","history": "{{history}}"},"response_mapping": {"answer": "data.reply","tool_calls": "data.tools","usage": "data.usage"},"timeout_ms": 30000}
request_template 用占位符把用例变量注入请求体,response_mapping 用 JSONPath 把各家千奇百怪的返回结构统一成平台内部标准结构(answer / tool_calls / usage)。只要这两层抽象做好了,新增一个 Agent 就是加一份配置,不用改代码。
2. OpenAI 兼容协议接入 ,适用于本身暴露了 /v1/chat/completions 风格接口的 Agent 或网关:
{"name": "OpenAI兼容Agent","type": "openai_compatible","base_url": "https://your-gateway/v1","model": "your-agent-model","api_key": "${API_KEY}"}
这两类基本能覆盖主流场景。后续要接 gRPC、WebSocket 或私有 SDK,只需再实现一个 Adapter 接口即可。
测试平台的效果上限由数据集决定。建议每条用例包含四部分:输入、上下文、期望、评分策略。期望不要只写一句参考答案,而要写成机器可校验的断言。
{"id": "case_0001","category": "多轮工具调用","input": { "query": "帮我查下上周那笔订单的退款进度" },"context": { "history": ["我上周买了个耳机"] },"expected": {"must_include": ["退款"],"must_call_tool": "query_order","forbidden": ["具体到账时间承诺"]},"judge": { "type": "llm", "rubric": "rubric_tool_call.md" },"weight": 1.0}
几个实践要点:
dataset_version,否则跨版本对比毫无意义。单靠 LLM 当裁判会有漂移和位置偏好,单靠规则又覆盖不了语义正确性。实用组合是规则分兜底、模型分补语义,加权汇总:
def score_case(pred, expected):rule = rule_score(pred, expected) # 关键词包含/禁用词/工具调用名匹配llm = llm_score(pred, expected) # 按 rubric 输出 0-5 分return 0.4 * rule + 0.6 * (llm / 5)
裁判模型的选择会直接影响评分稳定性,这里有两个容易被忽略的点:一是 裁判模型必须固定 ,中途换模型会导致历史报告不可比;二是裁判模型的能力和价格差异很大,跑几千条用例时成本差距可能到十倍量级。建议在词元所上先对比候选模型的调用价格与能力定位,再用同一批 100 条人工标注样本做裁判一致性校准(看与人工打分的相关性),选定后再通过统一 API 接入固定下来,避免为每个模型写一套 SDK。
执行器的核心是三件事——并发控制、失败重试、用量记录:
async def run_suite(cases, client, workers=8):sem = asyncio.Semaphore(workers)async def one(case):async with sem:for attempt in range(3):try:pred = await client.invoke(case)return case, pred, score_case(pred, case["expected"])except (TimeoutError, HTTPError) as e:if attempt == 2:return case, None, {"error": str(e)}await asyncio.sleep(2 ** attempt) # 指数退避return await asyncio.gather(*(one(c) for c in cases))
注意事项:
usage 落库,才能算出「效果提升 2% 但成本涨了 40%」这种真正影响决策的结论。用量与成本的口径管理,也可以在大模型 API 服务平台的调用管理能力里统一查看。一份有用的报告至少包含:
| 维度 | 指标 |
|---|---|
| 效果 | 总通过率、各分类通过率、平均得分 |
| 行为 | 工具调用准确率、参数正确率、多轮上下文保持率 |
| 安全 | 禁用词命中率、越权/拒答合规率 |
| 性能 | P50/P95 延迟、超时率 |
| 成本 | 总 token 数、单用例平均 token、估算费用 |
比数字更重要的是 差异对比 :本次 vs 上一版本,逐条列出「由通过变失败」和「由失败变通过」的用例,前者就是回归缺陷清单。报告输出成 HTML 或 Markdown 存档,PR/MR 里贴摘要,评审效率会明显提高。
平台搭起来之后,选型环节往往还会反复:被测 Agent 换底座模型、裁判模型升级、成本重新核算。这些都可以在百度智能云词元所上完成模型发现、价格与性能对比,并通过统一 API 接入多模型,减少测试平台里为每家模型单独适配的工作量。