简介:第三方综合指数只能用来初筛,业务选型要靠模型在自己的任务上的表现。本文将评测平台建设为部署对象,拆解评测调度、模型调用、结果存储、评分与统计五个组件,依次说明环境准备、部署流程、配置要点、上线验证、问题排查与运维优化,并给出可复现、可统计、成本可追溯的评测部署方案。
本文要部署的,不是单一模型,而是一套可运行、可复用的大模型评测服务。它接收候选模型清单和一组任务,对每个模型发起多次调用,记录每一条响应,再由评分器判定对错,最后输出带统计与成本数据的评测报告。
部署完成后应达到四个目标:
适合阅读本文的读者:
自建评测的依据,来自一组排名错位的数据。某教程在 2026 年 10 月 20 日完成了一套 60 题(40 道基线题加 20 道难题)的合成评测,十款模型每题各作答三次,共产生 1,800 次响应。对照结果如下:
| 对照项 | 指数最高者 | 指数最低者 |
|---|---|---|
| 第三方综合指数 | 56 | 24.7 |
| 该快照中的排名 | 第一 | 第十 |
| 自建任务通过次数 | 84/180 | 157/180 |
| 每道题三次作答的平均通过次数 | 1.4 次 | 约 2.6 次 |
| 每 100 次响应的核实成本 | 未给出 | 0.00394 美元,十款中最低 |
两者指数相差 31.3 分,通过次数却反向相差 73 次。按 180 次响应折算,后者每 100 次响应的成本约为 0.00219 美元(0.00394 × 1.8),仅为前者的 55% 左右(计算假设单次响应成本一致)。
解读这组数字,必须同时说明边界:
正因为指数与自建任务可能错位,评测过程才必须用系统固化下来,把“测了什么、怎么测、结果在哪”变成可追溯的记录。教程的两项统计为自建评测提供了直接依据:
读教程之前,要先分清同一平台名下的三个对象。部署评测服务之前,也要先明确自己的报告会回答哪一类问题:
| 对象 | 回答的问题 | 关键特征 | 在评测体系中的用途 |
|---|---|---|---|
| 公开评测页 | 有哪些公开榜、结果如何 | 列出 18 个公开榜,累计超过 240 万次评测,覆盖知识推理、多模态理解、工具调用等类别 | 通过公开接口取回第三方指数,作为初筛参照 |
| 用量榜 | 大家都用谁 | 按 token 用量排名,页面明确不按准确率、推理能力或评测表现排位 | 仅反映使用热度,不能当作质量证据 |
| 自建任务集 | 我的业务能不能用 | 40 道基线题加 20 道难题,共 1,800 次响应 | 选型与回归的直接依据 |
三者分别回答“有哪些公开评测”“大家常用谁”“我的业务该怎样评测”。对比任何数字之前,都要先确认它出自哪一张表;用量与任务质量必须分别取证。
这套评测服务通常适用于以下场景:
评测服务推荐采用“管理端与执行端分离”的架构:
| 组件 | 核心职责 | 推荐承载方式 | 设计要点 |
|---|---|---|---|
| 评测调度器 | 编排任务、控制并发、断点续跑 | 云服务器或容器平台 | 单次任务独立重试,已完成记录不重复执行 |
| 模型适配层 | 对接多个模型的调用接口,统一请求与响应格式 | 与调度器同进程或独立服务 | 记录模型版本与参数快照,便于复现 |
| 评分器 | 判定响应是否正确 | 规则匹配、模型裁判或人工复核 | 判定规则版本化,与生成参数隔离 |
| 结果存储 | 保存原始响应、评分、耗时与费用 | 对象存储加数据库 | 原始响应不可覆盖,结构化字段便于统计 |
| 统计服务 | 计算通过率、秩相关与单位成本 | 轻量计算服务 | 样本量、快照日期与设置一并输出 |
| 监控告警 | 采集调用成功率、延迟与费用 | 日志服务加监控告警 | 对失败率、费用与任务进度分别告警 |
| 密钥管理 | 保管模型调用凭据 | 密钥托管或凭据管理 | 最小权限,定期轮换,禁止写入代码与镜像 |
在百度智能云等云平台上,可以按需组合云服务器、容器平台、对象存储、数据库、日志服务、监控告警与身份访问管理等云产品承载上述组件。私有化或混合部署时,整体逻辑相同,只需把各组件的承载方式替换为本地资源。
部署这套服务,需要遵循五条原则:
| 准备项 | 具体内容 | 完成标准 |
|---|---|---|
| 账号与权限 | 云平台账号;模型调用凭据;对象存储、数据库、日志、监控的读写权限 | 各角色权限最小化,密钥已托管 |
| 计算资源 | 调度服务按并发配置;容器平台需节点、镜像仓库与网络插件 | 健康检查通过,调度器可连通数据库与存储 |
| 存储资源 | 对象存储保存原始响应与报告;数据库保存结构化记录 | 生命周期与版本策略已配置 |
| 网络策略 | 出网访问模型服务(可经统一出口或代理);入网仅开放管理端口 | 白名单生效,管理端口不暴露公网 |
| 任务集 | 基线题与难题分组,标注题目、输入、判定方式与期望结果 | 基线 40 道、难题 20 道,合计 60 道,与引用案例口径一致 |
| 模型清单 | 模型标识、版本快照、单价、推理强度设置 | 每个模型有唯一、固定的版本标识 |
| 运行配置 | 配置项集中管理,敏感项走环境变量或密钥托管 | 测试与生产环境配置隔离 |
| 基线数据 | 首次上线前做一次全量小样本试跑,作为回归基线 | 基线报告已归档并记录版本 |
需要特别提醒两点:
| 步骤 | 操作 | 完成标志 |
|---|---|---|
| 1 | 初始化环境 | 运行时与系统依赖就绪,时间同步 |
| 2 | 创建云资源 | 计算、存储、网络、数据库就绪 |
| 3 | 构建或上传应用 | 镜像或程序包通过静态检查 |
| 4 | 配置运行参数 | 配置校验通过,密钥可读取 |
| 5 | 启动服务 | 健康检查连续通过 |
| 6 | 开放访问 | 管理端口仅允许受控来源 |
| 7 | 试运行验证 | 基线题单模型小样本结果符合预期 |
| 8 | 全量执行与归档 | 输出报告并锁定版本 |
在计算节点上安装评测服务所需的运行时与系统依赖,配置日志采集与监控代理,并校验服务器时间。
作用:评测报告依赖时间戳来标注执行日期与模型快照。教程案例标注了评测完成日期,时间不同步会让报告失去可追溯性。
注意事项:开发、测试、生产环境应使用同一版本的操作系统与运行时。镜像优先从受控仓库拉取,并校验摘要,避免依赖来源不明的包。
按“最小可用、按需扩展”的原则创建资源。以 60 题、10 个模型、每题 3 次作答(1,800 次响应)的任务量为例:
| 资源 | 建议规格 | 说明 |
|---|---|---|
| 调度服务 | 2 核 4 GB 起的云服务器,或容器平台上的 1 至 2 个副本 | 主要承担网络等待,CPU 压力来自 JSON 解析与评分 |
| 对象存储 | 容量按“响应数 × 单条平均大小”估算,1,800 条通常在 GB 级以内 | 开启版本控制,防止误覆盖 |
| 数据库 | 单实例即可满足小规模评测 | 记录表按评测批次分区 |
| 网络 | 出网放通模型服务地址,入网仅开放管理端口 | 必要时通过固定出口访问 |
| 密钥 | 集中托管模型凭据 | 与代码、镜像分离 |
作用:资源规格直接决定并发能力与费用上限。调度阶段的主要瓶颈是模型端的速率限制与延迟,而不是本地算力,所以不必盲目配置高规格。
注意事项:计算、网络、存储、数据库、日志、监控与安全策略要一起规划,避免上线后临时开通造成配置漂移。
评测服务无状态部分建议容器化交付。构建流程包括代码拉取、依赖安装、单元测试和镜像构建,镜像推送到受控仓库后部署。有状态部分使用云数据库与对象存储,不放入容器。
作用:环境一致性是评测可信的前提。镜像把运行时和依赖固定下来,测试结果才可复现。
注意事项:构建阶段注入的密钥会残留在镜像层中,敏感配置必须在运行时通过环境变量或密钥托管注入。
把配置拆为三类:
通用环境变量示例(仅示意,不涉及任何具体产品):
# ===== 存储与数据 =====EVAL_TASKSET_URI= # 任务集存储地址,按版本命名EVAL_OUTPUT_URI= # 原始响应与报告的输出地址EVAL_DB_DSN= # 结构化记录的数据库连接串# ===== 模型调用 =====EVAL_MODEL_ENDPOINT= # 统一的模型服务调用地址EVAL_MODEL_KEY_REF= # 密钥托管中的凭据引用,不写明文EVAL_MODELS= # 待评测模型与版本快照清单EVAL_SAMPLES_PER_TASK=3 # 每题作答次数,与引用案例保持一致EVAL_REASONING_EFFORT= # 推理强度设置,必须固定并记录# ===== 调用控制 =====EVAL_TIMEOUT_SECONDS=60 # 单次调用超时EVAL_MAX_RETRY=2 # 最大重试次数EVAL_CONCURRENCY=8 # 并发数,需小于模型端速率限制# ===== 评分与统计 =====EVAL_JUDGE_MODE=rules # 评分模式:规则 / 模型裁判 / 人工EVAL_PRICE_TABLE_URI= # 各模型单价表地址
作用:配置集中管理后,同一个程序包可以在不同环境运行,减少“改配置忘了改另一处”的问题。
注意事项:配置校验应在启动时执行,必填项缺失直接失败,不要带着默认值上线。
启动命令示例(容器平台与云服务器通用形式):
# 评测服务启动入口,参数全部来自环境变量,避免命令行暴露密钥./eval-service --config-env
启动后立即验证:
作用:健康检查是负载均衡摘除异常实例、容器平台自动重启的依据。
注意事项:健康检查只应反映进程与依赖是否可用,不要触发真实模型调用,否则会产生费用并占用速率配额。
作用:评测结果往往包含业务提示词与模型输出,属于敏感数据,访问控制必须前置。
注意事项:数据库与存储不要配置为公开可读;下载链接应使用临时授权地址。
先选取 1 个模型、3 道基线题,每题作答 3 次,共 9 次响应,检查:
作用:小规模试跑能在全量执行前暴露配置错误,避免产生大量无效费用。
按“基线题组、难题组、模型”三层循环执行,支持断点续跑;结束后生成报告并归档,锁定本次评测的任务集版本、模型版本与参数快照。
作用:教程案例中 40 道基线题与 20 道难题是分开统计的。归档时锁定版本,后续才能与历史结果做同口径比较。
关键配置项与风险点:
| 配置项 | 作用 | 风险点 |
|---|---|---|
| 作答次数 | 每题重复作答,反映输出的稳定性 | 次数太少时,单题结果受随机性影响大 |
| 推理强度 | 决定模型在回答前的思考深度 | 未披露或不一致的推理强度会使比较失真,教程案例正因此无法与公开榜直接对比 |
| 模型版本快照 | 固定被测版本 | 快照不匹配会让“最高”“最低”失去意义 |
| 评分模式 | 决定对错如何判定 | 规则评分覆盖不全时,会把正确但表述不同的回答判为失败 |
| 超时与重试 | 控制单次调用时长与容错 | 超时过短会误伤长输出;无上限重试会放大费用 |
| 并发数 | 决定执行速度 | 超过模型端速率限制会触发限流,表现为批量失败 |
| 单价表 | 把 token 消耗换算为费用 | 单价过期会导致成本对比失真 |
通用调度伪代码(与具体语言和工具无关):
# 评分器只接收 题目 + 期望结果 + 响应原文,与模型无关JUDGE(question, expected, response):if JUDGE_MODE == "rules": return RULE_MATCH(expected, response)if JUDGE_MODE == "llm": return LLM_JUDGE(question, expected, response)return MANUAL_REVIEW_QUEUE.push(record)RUN_EVALUATION(model_list, taskset, samples=3):for model in model_list:for task in taskset: # 基线题 40 + 难题 20for i in 1..samples:rec = CALL_WITH_RETRY(model, task,timeout, max_retry, concurrency)if rec.status == "ok":# 只把任务输入与判定材料发送,原始响应始终留在本地rec.verdict = JUDGE(task, rec.response)rec.cost = PRICE(model.version) * rec.tokensSTORE_RAW(rec) # 原文、耗时、费用、评分全部落库REPORT = AGGREGATE() # 见下方统计算法AGGREGATE():by_task[model] = mean(verdict over samples) # 每题三次作答的通过次数rank_task = rank(by_task) # 按自建任务表现排序rank_index = rank(third_party_index) # 按第三方指数排序rho = 1 - 6 * sum((rank_task - rank_index)^2) / (n * (n^2 - 1))pass_ratio = total_pass / (n_models * n_tasks * samples)cost_per_100 = total_cost / total_responses * 100return report(..., sample_size, snapshot_date, settings)
关于 rho,即教程中 0.109 所用的秩相关系数:
评测平台应内置取值范围校验,异常值直接报错,而不是照常出报告。
关于成本:
# 已知:某模型每 100 次响应的核实成本为 0.00394 美元,共 180 次响应cost_total = 0.00394 / 100 * 180 ≈ 0.0071 美元cost_per_100 = cost_total / 180 * 100 = 0.00394 美元
成本比较必须与质量比较并列展示。教程中该模型既是单位成本最低者,也是任务表现最好者。这只说明在该任务集上“更便宜”与“更好”同时出现,并不构成一般规律。
| 验证项 | 方法 | 通过标准 |
|---|---|---|
| 服务可访问 | 健康检查与管理端口访问测试 | 响应正常,无鉴权错误 |
| 任务集完整性 | 核对记录条数 | 条数 = 模型数 × 题数 × 作答次数(案例为 10 × 60 × 3 = 1,800) |
| 评分正确性 | 抽取一定比例的响应人工复核 | 规则评分与人工判断一致 |
| 原始响应留存 | 随机抽取记录查看原文 | 原文完整,含评分与费用字段 |
| 统计可复算 | 用同一公式重算秩相关与通过率 | 与报告一致,取值在 [−1, 1] 内 |
| 成本对账 | 汇总费用与单价表核对 | 每 100 次响应成本可复算 |
| 日志与监控 | 查看错误日志与监控曲线 | 无未处理异常,失败率在预期内 |
| 重试与续跑 | 人为注入一次超时 | 失败被记录,续跑不重算已完成项 |
报告中还必须写清三项边界信息:快照日期、模型版本与推理强度设置。只有这三项齐全,结论才不会被错误外推。
| 现象 | 可能原因 | 排查思路 |
|---|---|---|
| 调用大面积超时 | 并发超过速率限制,或超时设置过短 | 降低并发,观察失败率曲线,调整超时并加入退避重试 |
| 同一模型通过率异常低 | 版本快照漂移,或推理强度被改 | 核对模型标识与参数快照,用同一题重跑对照 |
| 评分结果不可复现 | 规则版本变化,或模型裁判本身有随机性 | 锁定评分器版本;裁判调用固定低温度并记录 |
| 秩相关结果异常 | 并列排名未校正,或样本量过小 | 检查并列情况,必要时报告置信区间并扩大样本 |
| 费用远超预算 | 重试无上限,或响应过长 | 设置单次最大输出长度与预算熔断 |
| 难题通过率整体偏低 | 难题定义或期望结果有误 | 抽样人工复核难题的判定材料 |
| 报告数字被误读 | 未标注快照日期与设置 | 报告模板强制包含边界说明字段 |
大模型评测不应只停留在“查一张榜”。本文把教程中的对照实验提炼成一套可部署的评测服务:
后续可以把评测服务接入模型发布流水线:每次模型版本变更或提示词调整都自动触发回归评测,并保留历史快照,让“公开指数初筛、业务任务定选”成为常态化的工程流程。