简介:LLM 输出不稳定、prompt 一改就按下葫芦浮起瓢,根源往往是缺少可自动化的评测。本文用一张四层框架理清大模型评测工具选型,对比 DeepEval、Ragas、promptfoo、OpenAI Evals 的适用场景,给出可运行的代码骨架、RAG 专项评测方法与 CI/CD 门禁落地三步法,并附成本控制与常见坑规避清单,帮你把评测变成每次改动都自动执行的发版门禁。
LLM 输出不稳定、prompt 一改就按下葫芦浮起瓢,修好了 A 场景却悄悄拖垮了 B 场景——这类问题的根源,通常不是模型不行,而是缺少一套可自动化的 LLM Evals(大模型评测)机制。传统单元测试是确定性的 add(2,3) == 5,而模型输出天然带有随机性、正确性又常常主观,靠人工点几下根本兜不住回归。下面从四个部分展开:怎么把“好”拆成指标、主流评测工具怎么选、RAG 场景怎么专项评、如何接进 CI/CD 成为门禁。
大模型评测工具并不是单一产品,而是四类能力的组合,选型前先想清楚自己缺哪一层:
| 层次 | 解决的问题 | 代表工具/能力 |
|---|---|---|
| 指标层 | 怎么判断“好” | BLEU/ROUGE、语义相似度、is_json() 等自定义断言 |
| 框架层 | 怎么批量跑、怎么出报告 | DeepEval、Ragas、promptfoo、OpenAI Evals(注:OpenAI Evals 自 2024 年 3 月起已归档为只读,不建议新项目首选) |
| 判分层 | 主观质量怎么打分 | LLM-as-a-Judge(用强模型当裁判)、人工标注平台 |
| 平台层 | 怎么和团队协作、发版、监控打通 | 云厂商自带效果评测、可观测与数据集管理 |
常见的失败并非选错工具,而是只做了“跑一次脚本”,没把评测变成每次改动都自动执行的门禁。评测要调用模型、消耗 token,成本会随用例数增长,因此在设计阶段就该规划好模型调用与预算,可借助百度智能云词元所这类大模型 API 服务平台,先横向对比不同模型的调用成本与能力表现,再决定“裁判模型”和“被测模型”分别用谁(下文涉及的云产品能力与计费均为说明性示例,具体以官方文档为准)。
选型的落脚点,是下面这张 LLM Evals 工具对比表:
| 工具 | 擅长场景 | 是否需额外模型调用 | 配置方式 | 适合门禁阶段 | 上手成本 | 局限 |
|---|---|---|---|---|---|---|
| DeepEval | 工程化单测式评测,指标丰富 | 是(语义类指标) | Python + pytest | 冒烟/回归 | 中 | 需熟悉 pytest |
| Ragas | RAG 链路专项(检索+生成) | 是 | Python 脚本 | 回归/黄金集 | 中 | 聚焦 RAG,非通用 |
| promptfoo | 快速起步、多模型 A/B 对比 | 可选 | YAML 声明式 | 冒烟 | 低 | 复杂断言表达力有限 |
| OpenAI Evals | 沿用 OpenAI 生态 | 是 | JSON/YAML | 视需求 | 中 | 已归档为只读,生态停更 |
一句话小结:追求上手速度用 promptfoo,追求 RAG 深度用 Ragas,追求工程规范用 DeepEval + pytest,不想自建就用云平台内置评测。
LLM 在 temperature 不为 0 时,同样输入也可能产生不同输出,且“正确性”往往主观,所以评测必须把模糊的“好”拆成一组可量化维度:
json.loads() 解析、字段是否齐全。关键工程原则:能用确定性断言的,绝不要交给模型判分。JSON 合法性、必含字段、字数上限、拒答词表,用普通代码检查又快又免费又稳定;只有语义层面的优劣才值得动用 LLM 裁判。
1. 基于指标的评测(Metric-Based)
经典 NLP 指标加自定义规则,优点是零额外模型成本、结果确定、适合 CI 门禁;缺点是 BLEU/ROUGE 对开放式生成几乎失去参考价值,只适用于摘要、翻译等有明确参考文本的任务。格式类断言应作为第一道门禁:
import jsondef check_format(output) -> dict:"""格式类断言:确定性、零成本,应作为第一道门禁"""if not isinstance(output, str):return {"valid_json": False, "reason": "output is not str"}try:data = json.loads(output)except json.JSONDecodeError:return {"valid_json": False, "reason": "not parseable"}# 模型也可能返回数组/字符串,需确认是 dict 再取字段if not isinstance(data, dict):return {"valid_json": False, "reason": "not a JSON object"}return {"valid_json": True,"has_required_keys": {"city", "temp"}.issubset(data.keys()),}
2. 模型判分评测(LLM-as-a-Judge)
用一个强模型按 rubric 给输出打分,是评估“有用性”“忠实性”较现实的做法,但要注意三点:裁判模型要与被测模型不同族,避免自我偏好;rubric 要给明确分档描述而非只写“打 1-5 分”;必须做裁判校准——先人工标注 50~100 条,计算裁判与人工的一致率(如 Cohen’s Kappa),一致率过低说明 rubric 有问题,而不是模型有问题。
3. 基于断言的测试框架
把前两者统一成可执行用例,用 pytest 或专用框架组织,输出通过率、失败样例、回归对比。
以 DeepEval 为例,把用例、指标、阈值固化成可运行代码(补上 LLMTestCase 构造、parametrize 传参与裁判模型;FaithfulnessMetric 依赖 retrieval_context):
import pytestfrom deepeval import assert_testfrom deepeval.metrics import AnswerRelevancyMetric, FaithfulnessMetricfrom deepeval.test_case import LLMTestCase@pytest.mark.parametrize("case", [LLMTestCase(input="北京今天天气如何?",actual_output="北京今日晴,气温约 25℃。",retrieval_context=["北京今日天气:晴,25℃"], # Faithfulness 必需),], ids=["weather_basic"])def test_rag_pipeline(case):# threshold 即门禁线,低于此值 CI 直接失败assert_test(case,metrics=[AnswerRelevancyMetric(threshold=0.7),FaithfulnessMetric(threshold=0.8),],model="gpt-4o", # 裁判模型,建议与被测模型不同族)
如果不想引入额外框架,promptfoo 的声明式配置更轻量,适合快速起步(temperature 统一设为 0,与后文复现性要求一致):
# promptfooconfig.yamlproviders:- id: my-gateway/chat-modelconfig:temperature: 0prompts:- prompt.txt # 需保证该 prompt 明确要求返回含 steps 字段的 JSONtests:- vars:query: "如何重置密码?"assert:- type: containsvalue: "设置"- type: llm-rubricvalue: "回答需给出可执行步骤,不得编造不存在的入口"- type: javascriptvalue: "JSON.parse(output).steps.length >= 2"
RAG 的失败模式很特殊——检索没召回、召回了但模型不用、用了但用错。所以要把链路拆开评,注意指标归属不要混淆:
Ragas 是目前 RAG 评测常用的事实标准,核心用法是构造 (question, contexts, answer, ground_truth) 四元组数据集后批量打分。构造数据集时优先从真实线上日志里采样,而非自己拍脑袋编问题——自造问题的分布与真实用户 query 差异极大,会让评测集系统性高估效果。
在云平台上,这类流程也被产品化。以百度智能云千帆的大模型知识问答为例(以下为说明性示例,具体能力与计费以官方文档为准),其内置效果评测可按模板上传问题集、批量生成结果并下载,再人工预标注修改形成最终测试集后完成效果比对。它的对话测试会展示“原用户提问 / 用户可能想问 / 信息检索 / 回复生成”的完整路径,支持对检索片段和生成回复分别反馈,并配合检索置信度阈值与分段数设置,帮你定位是“召回不到”还是“召回太多噪声”。对不想自己搭流水线的团队,可把产品内置评测作为快速起步方案之一。
落地路径建议分三步,不要一上来就追求全覆盖:
CI 中的关键设计是基线对比:不只看绝对分数,而要看相对上一次发版的 diff。典型场景是——修好一个用例,却悄悄破坏了另外三个用例(回归漂移),根因正是缺少与历史基线的对比。
同时建议固定 temperature=0、锁定模型版本号(不要用 latest 这类浮动别名)。需要说明的是,部分模型或服务即使在 temperature=0 下,也可能因批处理、推理引擎并行或版本热更新产生波动,因此应对关键用例多次运行取均值或记录方差后再判定,避免把噪声当成回归。
在每轮 CI 都跑全量裁判评测时,裁判模型的调用量往往是 CI 账单的主要来源。建议先在词元所上做一次成本与性能对比:把同一批评测用例分别打到候选模型上,既得到被测模型的质量数据,也顺带完成裁判模型选型,避免为省钱用弱模型判分导致评测失真。
今天就能做的三件事:从线上日志抽 50 条真实 query 建冒烟集;把格式、长度、关键词这类检查写成确定性断言;再引入一个 LLM 裁判指标并做人工校准。这里要强调:日志采样须遵循公司数据合规规范,对 query 做脱敏或去标识化,剔除账号、口令、手机号、身份证号等个人信息与敏感内容,评测集限定授权人员访问,不外传至第三方模型服务。工具选型上,追求速度用 promptfoo,追求 RAG 深度用 Ragas,追求工程规范用 DeepEval + pytest,不想自建就用云平台内置评测。无论走哪条路,评测涉及的模型接入与多模型统一 API 调用成本管理,都可以在词元所先做一次横向对比再定,把预算花在真正影响效果的环节上。