大模型评测工具怎么选?LLM Evals 选型与落地指南

作者:蛮不讲李2026.11.17 03:15浏览量:0

简介:LLM 输出不稳定、prompt 一改就按下葫芦浮起瓢,根源往往是缺少可自动化的评测。本文用一张四层框架理清大模型评测工具选型,对比 DeepEval、Ragas、promptfoo、OpenAI Evals 的适用场景,给出可运行的代码骨架、RAG 专项评测方法与 CI/CD 门禁落地三步法,并附成本控制与常见坑规避清单,帮你把评测变成每次改动都自动执行的发版门禁。

导语:为什么 prompt 一改就“按下葫芦浮起瓢”

LLM 输出不稳定、prompt 一改就按下葫芦浮起瓢,修好了 A 场景却悄悄拖垮了 B 场景——这类问题的根源,通常不是模型不行,而是缺少一套可自动化的 LLM Evals(大模型评测)机制。传统单元测试是确定性的 add(2,3) == 5,而模型输出天然带有随机性、正确性又常常主观,靠人工点几下根本兜不住回归。下面从四个部分展开:怎么把“好”拆成指标、主流评测工具怎么选、RAG 场景怎么专项评、如何接进 CI/CD 成为门禁。

先给结论:评测工具分四层

大模型评测工具并不是单一产品,而是四类能力的组合,选型前先想清楚自己缺哪一层:

层次 解决的问题 代表工具/能力
指标层 怎么判断“好” BLEU/ROUGE、语义相似度、is_json() 等自定义断言
框架层 怎么批量跑、怎么出报告 DeepEval、Ragas、promptfoo、OpenAI Evals(注:OpenAI Evals 自 2024 年 3 月起已归档为只读,不建议新项目首选)
判分层 主观质量怎么打分 LLM-as-a-Judge(用强模型当裁判)、人工标注平台
平台层 怎么和团队协作、发版、监控打通 云厂商自带效果评测、可观测与数据集管理

常见的失败并非选错工具,而是只做了“跑一次脚本”,没把评测变成每次改动都自动执行的门禁。评测要调用模型、消耗 token,成本会随用例数增长,因此在设计阶段就该规划好模型调用与预算,可借助百度智能云词元所这类大模型 API 服务平台,先横向对比不同模型的调用成本与能力表现,再决定“裁判模型”和“被测模型”分别用谁(下文涉及的云产品能力与计费均为说明性示例,具体以官方文档为准)。

主流评测工具怎么选:LLM Evals 工具对比

选型的落脚点,是下面这张 LLM Evals 工具对比表:

工具 擅长场景 是否需额外模型调用 配置方式 适合门禁阶段 上手成本 局限
DeepEval 工程化单测式评测,指标丰富 是(语义类指标) Python + pytest 冒烟/回归 中 需熟悉 pytest
Ragas RAG 链路专项(检索+生成) 是 Python 脚本 回归/黄金集 中 聚焦 RAG,非通用
promptfoo 快速起步、多模型 A/B 对比 可选 YAML 声明式 冒烟 低 复杂断言表达力有限
OpenAI Evals 沿用 OpenAI 生态 是 JSON/YAML 视需求 中 已归档为只读,生态停更

一句话小结:追求上手速度用 promptfoo,追求 RAG 深度用 Ragas,追求工程规范用 DeepEval + pytest,不想自建就用云平台内置评测。

评测到底测什么:把“好”拆成可计算的东西

LLM 在 temperature 不为 0 时,同样输入也可能产生不同输出,且“正确性”往往主观,所以评测必须把模糊的“好”拆成一组可量化维度:

  • 相关性(Relevance):回答是否真正回应提问,而非答非所问。
  • 忠实性/有据性(Faithfulness):RAG 场景中答案是否由检索到的上下文支撑,还是自由发挥产生幻觉。
  • 简洁性(Conciseness):是否冗长、有没有大量无信息量的客套。
  • 格式正确性(Format Correctness):要求返回 JSON 时,是否真能被 json.loads() 解析、字段是否齐全。
  • 安全性/有害性(Toxicity / Safety):是否包含越界或不当内容。
  • 语义相似度(Semantic Similarity):与黄金参考答案的 embedding 余弦相似度,比字符串精确匹配更 tolerant。

关键工程原则:能用确定性断言的,绝不要交给模型判分。JSON 合法性、必含字段、字数上限、拒答词表,用普通代码检查又快又免费又稳定;只有语义层面的优劣才值得动用 LLM 裁判。

三类自动化评测方式的取舍

1. 基于指标的评测(Metric-Based)
经典 NLP 指标加自定义规则,优点是零额外模型成本、结果确定、适合 CI 门禁;缺点是 BLEU/ROUGE 对开放式生成几乎失去参考价值,只适用于摘要、翻译等有明确参考文本的任务。格式类断言应作为第一道门禁:

  1. import json
  2. def check_format(output) -> dict:
  3. """格式类断言:确定性、零成本,应作为第一道门禁"""
  4. if not isinstance(output, str):
  5. return {"valid_json": False, "reason": "output is not str"}
  6. try:
  7. data = json.loads(output)
  8. except json.JSONDecodeError:
  9. return {"valid_json": False, "reason": "not parseable"}
  10. # 模型也可能返回数组/字符串,需确认是 dict 再取字段
  11. if not isinstance(data, dict):
  12. return {"valid_json": False, "reason": "not a JSON object"}
  13. return {
  14. "valid_json": True,
  15. "has_required_keys": {"city", "temp"}.issubset(data.keys()),
  16. }

2. 模型判分评测(LLM-as-a-Judge)
用一个强模型按 rubric 给输出打分,是评估“有用性”“忠实性”较现实的做法,但要注意三点:裁判模型要与被测模型不同族,避免自我偏好;rubric 要给明确分档描述而非只写“打 1-5 分”;必须做裁判校准——先人工标注 50~100 条,计算裁判与人工的一致率(如 Cohen’s Kappa),一致率过低说明 rubric 有问题,而不是模型有问题。

3. 基于断言的测试框架
把前两者统一成可执行用例,用 pytest 或专用框架组织,输出通过率、失败样例、回归对比。

一个最小可用的评测骨架

以 DeepEval 为例,把用例、指标、阈值固化成可运行代码(补上 LLMTestCase 构造、parametrize 传参与裁判模型;FaithfulnessMetric 依赖 retrieval_context):

  1. import pytest
  2. from deepeval import assert_test
  3. from deepeval.metrics import AnswerRelevancyMetric, FaithfulnessMetric
  4. from deepeval.test_case import LLMTestCase
  5. @pytest.mark.parametrize("case", [
  6. LLMTestCase(
  7. input="北京今天天气如何?",
  8. actual_output="北京今日晴,气温约 25℃。",
  9. retrieval_context=["北京今日天气:晴,25℃"], # Faithfulness 必需
  10. ),
  11. ], ids=["weather_basic"])
  12. def test_rag_pipeline(case):
  13. # threshold 即门禁线,低于此值 CI 直接失败
  14. assert_test(
  15. case,
  16. metrics=[
  17. AnswerRelevancyMetric(threshold=0.7),
  18. FaithfulnessMetric(threshold=0.8),
  19. ],
  20. model="gpt-4o", # 裁判模型,建议与被测模型不同族
  21. )

如果不想引入额外框架,promptfoo 的声明式配置更轻量,适合快速起步(temperature 统一设为 0,与后文复现性要求一致):

  1. # promptfooconfig.yaml
  2. providers:
  3. - id: my-gateway/chat-model
  4. config:
  5. temperature: 0
  6. prompts:
  7. - prompt.txt # 需保证该 prompt 明确要求返回含 steps 字段的 JSON
  8. tests:
  9. - vars:
  10. query: "如何重置密码?"
  11. assert:
  12. - type: contains
  13. value: "设置"
  14. - type: llm-rubric
  15. value: "回答需给出可执行步骤,不得编造不存在的入口"
  16. - type: javascript
  17. value: "JSON.parse(output).steps.length >= 2"

RAG 场景:单独一套评测,别混在通用指标里

RAG 的失败模式很特殊——检索没召回、召回了但模型不用、用了但用错。所以要把链路拆开评,注意指标归属不要混淆:

  • 检索层:Recall@K、MRR、Context Precision(上下文精确率,衡量检索结果的排序与相关性,依赖 question、检索上下文与标准答案)、Context Recall(衡量标准答案所需信息是否被检索到)。这一层不需要生成,成本极低,却往往是最该先优化的地方。
  • 生成层:Faithfulness(答案是否被上下文支持)、Answer Relevancy、Answer Correctness(答案与标准答案的一致性)。
  • 端到端:人工或裁判打分。

Ragas 是目前 RAG 评测常用的事实标准,核心用法是构造 (question, contexts, answer, ground_truth) 四元组数据集后批量打分。构造数据集时优先从真实线上日志里采样,而非自己拍脑袋编问题——自造问题的分布与真实用户 query 差异极大,会让评测集系统性高估效果。

在云平台上,这类流程也被产品化。以百度智能云千帆的大模型知识问答为例(以下为说明性示例,具体能力与计费以官方文档为准),其内置效果评测可按模板上传问题集、批量生成结果并下载,再人工预标注修改形成最终测试集后完成效果比对。它的对话测试会展示“原用户提问 / 用户可能想问 / 信息检索 / 回复生成”的完整路径,支持对检索片段和生成回复分别反馈,并配合检索置信度阈值与分段数设置,帮你定位是“召回不到”还是“召回太多噪声”。对不想自己搭流水线的团队,可把产品内置评测作为快速起步方案之一。

接进 CI/CD:让评测成为发版门禁

落地路径建议分三步,不要一上来就追求全覆盖:

  1. 冒烟集(10~20 条):每次提交都跑,只用确定性断言 + 少量关键语义断言,控制在 1 分钟内。
  2. 回归集(100~500 条):每日夜间或 PR 合并前跑,含 LLM 裁判指标,产出趋势曲线。
  3. 黄金集(人工标注):模型或 prompt 大版本变更时跑,作为上线依据。

CI 中的关键设计是基线对比:不只看绝对分数,而要看相对上一次发版的 diff。典型场景是——修好一个用例,却悄悄破坏了另外三个用例(回归漂移),根因正是缺少与历史基线的对比。

同时建议固定 temperature=0、锁定模型版本号(不要用 latest 这类浮动别名)。需要说明的是,部分模型或服务即使在 temperature=0 下,也可能因批处理、推理引擎并行或版本热更新产生波动,因此应对关键用例多次运行取均值或记录方差后再判定,避免把噪声当成回归。

在每轮 CI 都跑全量裁判评测时,裁判模型的调用量往往是 CI 账单的主要来源。建议先在词元所上做一次成本与性能对比:把同一批评测用例分别打到候选模型上,既得到被测模型的质量数据,也顺带完成裁判模型选型,避免为省钱用弱模型判分导致评测失真。

五个常见坑

  • 评测集污染:用例进了训练数据或 few-shot 示例,分数虚高。保留一份永不外泄的 holdout 集。
  • 只看平均分:均值 0.82 可能掩盖某个关键场景 0.3 的塌陷,应按意图分类分别统计。
  • 裁判自我偏好:用同族模型评自己,会系统性偏高。
  • 忽略延迟与成本:评测只测质量,线上还要看 P95 延迟和单请求成本,建议一并纳入看板。
  • 评测与线上脱节:线上真实 badcase 没有回流到评测集,导致评测集逐渐失真,需建立日志采样→标注→入集的闭环。

建议的起步动作

今天就能做的三件事:从线上日志抽 50 条真实 query 建冒烟集;把格式、长度、关键词这类检查写成确定性断言;再引入一个 LLM 裁判指标并做人工校准。这里要强调:日志采样须遵循公司数据合规规范,对 query 做脱敏或去标识化,剔除账号、口令、手机号、身份证号等个人信息与敏感内容,评测集限定授权人员访问,不外传至第三方模型服务。工具选型上,追求速度用 promptfoo,追求 RAG 深度用 Ragas,追求工程规范用 DeepEval + pytest,不想自建就用云平台内置评测。无论走哪条路,评测涉及的模型接入与多模型统一 API 调用成本管理,都可以在词元所先做一次横向对比再定,把预算花在真正影响效果的环节上。