大模型评测基准对比:静态基准与在线评测对比

作者:c4t2026.11.16 10:45浏览量:0

简介:本文面向需要评估大语言模型与智能体能力的团队,比较通用静态基准与在线运行时评测两类方案,从能力覆盖、接入成本、数据合规、运维复杂度等维度展开,并给出选型建议与迁移注意事项。

大模型评测基准对比:静态基准与在线评测对比

在构建或评估大语言模型应用时,很多团队都会遇到类似问题:模型到底能不能用?知识能力够不够?推理是否稳定?代码生成是否可靠?智能体能否正确调用工具?上线后是否会出现质量漂移?这些问题看似都在问“模型能力”,实际上背后对应的是不同类别的评测基准和不同的评测体系。

如果只停留在“找一个榜单跑个分”,很容易陷入误区:分数很高,但业务效果不好;离线指标不错,但线上体验不稳定;单轮问答表现正常,但多轮智能体任务频繁失败。因此,在讨论“目前大语言模型的评测基准有哪些”时,更需要先把评测方案本身做清楚区分:是以离线固定题目集为核心的通用静态基准,还是以真实流量、日志、会话和人工反馈为核心的在线运行时评测。

本文将以这两类评测方案作为对比对象,系统说明它们的定义、相同点、核心差异、适用场景、选型依据以及迁移注意事项。


一、对比背景:为什么评测基准需要被重新理解

过去几年,大语言模型的评测方式经历了明显变化。早期评测更多集中在单一任务上,例如文本分类、问答、语义匹配、翻译或简单代码补全。这类评测通常由固定数据集组成,输入、输出和参考答案相对明确,因此可以直接计算准确率、通过率或相似度指标。

但随着模型能力增强,尤其是智能体应用的出现,评测对象不再只是“单段输入对应单段输出”。一个智能体任务可能包含:

  • 多轮对话理解;
  • 任务规划;
  • 工具选择;
  • 参数构造;
  • 中间步骤纠错;
  • 结果校验;
  • 失败重试;
  • 最终输出总结;
  • 安全合规判断。

这意味着评测不能只看最终答案是否正确,还要看过程是否合理、调用是否必要、执行是否稳定、延迟和成本是否可接受。

同时,企业落地场景也发生了变化。很多系统不再只是“生成一段文本”,而是接入业务系统、知识库、数据库、搜索服务、工作流引擎或内部 API。此时,模型效果不仅取决于模型本身,也取决于提示词、检索质量、工具稳定性、上下文管理、权限控制以及线上监控能力。

因此,评测体系必须从“静态考试”转向“持续观察”。这也是当前很多团队在研究智能体可观测性和评测产品时,必须优先理解的问题。


二、对比对象定义:通用静态基准与在线评测

1. 通用静态基准是什么

通用静态基准,通常指预先设计好的一套任务集合,用于在模型发布前、版本迭代时或迁移验证时,对模型进行离线评估。其核心特征是:

  • 输入和输出相对固定;
  • 评测集提前准备;
  • 评测过程可重复;
  • 通常采用统一指标;
  • 适合横向比较不同模型或不同版本;
  • 重点衡量通用能力与稳定性。

常见的静态评测基准可以按能力类型划分,例如:

  • 通用知识理解类基准;
  • 指令跟随类基准;
  • 逻辑推理类基准;
  • 数学计算类基准;
  • 代码生成类基准;
  • 长文本理解类基准;
  • 多语言能力类基准;
  • 安全对齐类基准;
  • 工具调用与智能体任务类基准;
  • 人类偏好或业务评分规则类基准。

这类评测的价值在于“可比较”。当团队需要判断一个模型是否比上一个版本更好,或者判断不同模型在同一任务上的能力差异时,静态基准提供了统一参照。

2. 在线评测是什么

在线评测,或称为运行时评测、生产环境评测、可观测性驱动的评测,是在真实服务运行过程中,对模型输出、用户反馈、业务指标、系统日志和调用链路进行持续分析的一套机制。其核心特征是:

  • 数据来源是真实请求;
  • 评测对象不局限于标准答案;
  • 可以覆盖长尾场景和突发问题;
  • 能反映真实用户分布;
  • 与监控、告警、日志、链路追踪等能力紧密结合;
  • 适合上线后持续质量治理。

在线评测通常会关注:

  • 用户是否满意;
  • 回答是否可用;
  • 是否触发错误工具;
  • 是否存在越权访问;
  • 是否出现幻觉;
  • 是否违反业务规则;
  • 是否存在高风险内容;
  • 平均响应时延是否异常;
  • 某类问题失败率是否上升;
  • 某些提示词版本是否导致效果下降。

简单说,静态基准更像“考试卷”,用于确认基础能力;在线评测更像“驾驶监控”,用于发现真实运行中的偏差、风险和退化。


三、相同点:两类评测都在解决什么

虽然静态基准和在线评测在数据来源、运行方式和工程成本上差异明显,但二者并不是对立关系,而是共同构成完整评测体系。

1. 目标一致:判断模型能力是否满足要求

无论是静态基准还是在线评测,最终目标都是回答:模型能否满足当前任务需求。

静态基准通过标准任务集判断模型是否具备基础能力;在线评测通过真实流量判断模型是否在生产环境中稳定可用。二者都在回答“模型是否可靠”这一核心问题。

2. 都依赖评测指标和评分规则

评测不能只靠主观感觉,必须有明确指标。常见评测方式包括:

  • 规则匹配;
  • 文本相似度计算;
  • 结构化输出校验;
  • 模型自动裁判;
  • 人工抽样评分;
  • 业务成功率统计;
  • 用户反馈统计;
  • 多指标加权评分。

静态基准更依赖固定评分标准,在线评测更依赖业务规则、人工审核和自动统计的组合。

3. 都需要防止评测失真

两类评测都可能受到污染或偏差影响。例如:

  • 测试集与训练数据高度重叠;
  • 评分规则过于宽松;
  • 人工标注标准不一致;
  • 采样流量不能代表真实用户;
  • 只看平均指标,忽略长尾问题;
  • 只关注答案正确性,忽略安全性和成本。

因此,评测系统设计时必须考虑数据隔离、标注一致性、版本控制和结果复核。

4. 都服务于迭代决策

评测结果最终要用于决策:是否升级模型、是否调整提示词、是否修改检索策略、是否更换工具接口、是否需要增加兜底机制。静态基准帮助团队在发布前做取舍,在线评测帮助团队在发布后快速发现和定位问题。


四、核心差异分析

1. 数据来源不同

通用静态基准的数据来源通常是预先整理的任务集。题目、输入、参考答案或评分标准相对固定。评测时,模型接收这些输入,然后系统按照既定规则输出分数。

在线评测的数据来源则是真实服务流量。可能包括用户问题、会话上下文、模型输出、工具调用日志、错误日志、用户评分、人工反馈、业务转化结果等。其优势是贴近真实分布,但难点在于数据噪声大、合规要求高、标注成本高。

对比结论

  • 需要标准化比较时,静态基准更合适;
  • 需要反映真实业务表现时,在线评测更合适。

2. 评测目标不同

静态基准通常衡量“模型是否具备某类能力”。例如:

  • 是否能理解指令;
  • 是否能完成基础推理;
  • 是否能生成正确代码;
  • 是否能理解长文档;
  • 是否能安全拒答;
  • 是否能完成多语言任务。

在线评测通常衡量“系统在真实场景中是否稳定可用”。例如:

  • 用户问题是否被准确理解;
  • 检索结果是否有效;
  • 工具调用是否成功;
  • 智能体是否陷入循环;
  • 回答是否触发业务风险;
  • 高并发下是否超时;
  • 某个版本是否导致质量下降。

对比结论

静态基准偏“能力验证”,在线评测偏“运行验证”。前者适合判断模型上限和边界,后者适合判断系统真实可用性。


3. 对智能体任务的支持方式不同

智能体任务与传统问答的最大差异,在于它不是单次生成,而是多步骤执行。一个典型智能体任务可能包括:

  1. 理解用户目标;
  2. 判断是否需要调用工具;
  3. 选择正确的工具;
  4. 生成合法参数;
  5. 解析工具返回结果;
  6. 判断是否需要继续调用;
  7. 处理异常和重试;
  8. 汇总最终结果;
  9. 输出可读回答;
  10. 记录审计信息。

通用静态基准如果只覆盖最终回答,很难发现中间步骤问题。例如,最终答案可能碰巧正确,但过程调用了错误工具,或者存在冗余调用,甚至产生越权访问。

在线评测则更适合观察完整执行链路,可以记录每一步的输入、输出、耗时、错误码和状态变化。

对比结论

  • 如果只是评估模型的基础工具调用能力,静态基准足够;
  • 如果要评估智能体在业务系统中的稳定性,必须依赖在线评测或类在线评测机制。

4. 反馈速度不同

静态基准通常在版本发布前运行。它的反馈是离线的、批量的、周期性的。团队可以在模型上线前完成一轮评测,但上线后是否发生偏差,静态基准本身无法感知。

在线评测则持续运行。它可以按分钟、小时或天进行采样和聚合,帮助团队及时发现异常。例如,某个新提示词上线后,某个意图识别准确率下降,或者某类问题用户负反馈上升。

对比结论

  • 静态基准适合阶段验收;
  • 在线评测适合持续运营。

5. 指标形态不同

静态基准常见指标包括:

  • 准确率;
  • 精确率;
  • 召回率;
  • 通过率;
  • 错误率;
  • 相似度;
  • 人工评分均值;
  • 模型裁判评分均值。

在线评测常见指标包括:

  • 请求成功率;
  • 工具调用成功率;
  • 平均时延;
  • 超时率;
  • 重试率;
  • 用户满意度;
  • 负反馈率;
  • 风险拦截率;
  • 人工复核命中率;
  • 业务转化完成率。

对比结论

静态基准更适合比较模型能力,在线评测更适合衡量系统健康度和用户体验。


6. 工程复杂度不同

静态基准的实现相对集中,通常只需要模型推理接口、评测脚本、数据集和指标计算逻辑。示意代码如下:

  1. def run_offline_benchmark(model, tasks, scorer):
  2. results = []
  3. for task in tasks:
  4. output = model(task.input)
  5. score = scorer(output, task.reference, task.rubric)
  6. results.append(score)
  7. return aggregate(results)

在线评测则涉及更多系统组件,包括请求采集、日志解析、脱敏处理、采样策略、指标聚合、告警规则、人工审核和看板展示。示意代码如下:

  1. def monitor_online_sessions(sessions, sampler, scorer):
  2. sampled = sampler(sessions)
  3. return analyze(sampled, scorer)

在线评测的工程复杂度更高,因为它不是简单跑一个脚本,而是要嵌入整个生产链路。

对比结论

  • 小规模团队或早期阶段,静态基准更容易落地;
  • 对稳定性、合规性和业务质量要求较高的系统,需要建设在线评测能力。

7. 安全与合规要求不同

静态基准通常使用内部测试数据或公开任务集,不直接接触真实用户数据,因此安全压力较小。但需要注意评测集是否被训练数据污染,以及内部数据是否泄露到外部评测环境。

在线评测直接接触生产数据,因此必须考虑:

  • 用户隐私脱敏;
  • 敏感信息过滤;
  • 权限分级;
  • 审计日志;
  • 数据留存周期;
  • 访问控制;
  • 评测结果隔离;
  • 人工复核权限管理。

尤其在企业场景中,模型输入输出可能包含客户信息、订单数据、账号信息或内部知识。如果评测链路缺乏治理,可能带来合规风险。

对比结论

在线评测必须与安全合规体系一起设计,不能只关注效果指标。


8. 成本与运维模式不同

静态基准的主要成本是数据集建设、评测脚本开发、人工标注和计算资源消耗。它通常可以一次性建设,长期复用,但题库需要持续更新,否则容易老化。

在线评测的成本更高,主要体现在:

  • 日志采集成本;
  • 数据存储成本;
  • 脱敏与解析成本;
  • 人工审核成本;
  • 告警维护成本;
  • 评测规则迭代成本;
  • 平台运维成本。

如果团队没有足够工程资源,在线评测可能只停留在“记录日志”层面,无法真正形成闭环。

对比结论

静态基准成本相对可控,在线评测长期价值更高,但需要持续投入。


五、对比表格

对比维度 通用静态基准 在线运行时评测
主要目标 验证模型基础能力与版本差异 监控真实业务表现与运行风险
数据来源 固定评测集、标准任务集 生产流量、会话日志、工具调用记录
评测周期 发布前、版本迭代时 上线后持续运行
可复现性 较高 受真实流量影响,复现难度较高
典型指标 准确率、通过率、相似度、评分均值 成功率、时延、负反馈率、调用成功率
对智能体支持 可覆盖工具调用正确性,但链路观察有限 更适合观察多步规划、工具调用和异常恢复
数据合规压力 相对较低 较高,需要脱敏、权限和审计
工程复杂度 较低 较高
运维要求 以评测脚本和数据维护为主 需要监控、告警、存储、审核闭环
适合阶段 研发验证、上线前评估 上线后质量治理、持续优化
主要风险 评测集老化、分布偏离真实场景 采样偏差、数据治理不足、告警噪声
选型建议 基础能力比较时优先建设 生产系统长期运营时重点建设

六、常见大语言模型评测基准类型

在讨论具体选型之前,也需要理解常见评测基准本身覆盖的能力类型。不同基准并不是互相替代,而是分别对应模型的不同能力面。

1. 通用知识与语言理解基准

这类基准主要评估模型是否具备基础语义理解能力,包括常识判断、事实识别、语义匹配、文本分类和阅读理解等。它适合判断模型是否具备基本语言能力。

适用场景:

  • 模型初始选型;
  • 通用助手类应用;
  • 知识问答基础能力评估。

局限性:

  • 容易与训练数据重叠;
  • 高分不一定代表业务可用;
  • 对多步智能体任务覆盖不足。

2. 指令跟随基准

指令跟随基准用于评估模型是否能准确理解用户指令,并遵守格式、长度、语气、角色和约束条件。例如要求模型只输出 JSON、必须简短回答、不得引用外部内容、必须按固定格式输出等。

适用场景:

  • 结构化输出;
  • 表单填充;
  • 接口调用前参数生成;
  • 机器人对话。

局限性:

  • 如果指令复杂且相互冲突,单靠自动评测可能不够;
  • 需要结合业务规则判断。

3. 逻辑推理基准

逻辑推理基准关注模型是否能进行因果判断、条件推导、常识推理和多步分析。它适合评估模型在复杂问题中的思考能力。

适用场景:

  • 智能分析;
  • 故障排查;
  • 策略生成;
  • 复杂问答。

局限性:

  • 最终答案正确不代表推理过程正确;
  • 需要引入过程评估或人工审核。

4. 数学计算基准

数学计算基准用于评估模型是否能正确处理数值运算、公式推导、统计问题和多步计算。对于金融、报表、运营分析等场景较重要。

适用场景:

  • 数据分析;
  • 报表解释;
  • 指标计算;
  • 经营分析。

局限性:

  • 模型可能产生看似合理但错误的计算;
  • 对高风险业务需要外部计算工具或规则校验。

5. 代码生成与代码理解基准

代码生成基准评估模型是否能根据需求生成代码、解释代码、修复错误或完成代码转换。它适合研发辅助、代码审查、脚本生成等场景。

适用场景:

  • 编程助手;
  • 单元测试生成;
  • 代码注释;
  • 代码重构建议。

局限性:

  • 代码能否运行不等于业务正确;
  • 需要结合编译、测试、静态检查和人工审查。

6. 长文本理解基准

随着上下文窗口扩大,长文本评测变得重要。它关注模型能否在长文档中定位信息、总结要点、回答细节问题,并保持上下文一致性。

适用场景:

  • 合同审阅;
  • 报告总结;
  • 文档问答;
  • 会议记录整理。

局限性:

  • 长上下文并不等于长记忆;
  • 模型可能忽略中间信息或产生前后矛盾。

7. 多语言能力基准

多语言基准用于评估模型在不同语言下的理解、生成、翻译和跨语言迁移能力。对于全球化应用或多地区业务较重要。

适用场景:

  • 跨境客服;
  • 多语言内容生成;
  • 国际业务问答。

局限性:

  • 某些小语种覆盖可能不足;
  • 需要结合本地文化表达和业务术语评估。

8. 安全与对齐基准

安全与对齐基准关注模型是否会产生有害、违规、越权、歧视性或高风险输出。它通常包括拒答能力、边界识别、敏感内容过滤和越狱攻击测试。

适用场景:

  • 面向公众的问答系统;
  • 金融、医疗、政务等高风险领域;
  • 企业知识库助手。

局限性:

  • 安全边界会随业务变化;
  • 静态安全基准无法覆盖所有新型风险。

9. 工具调用与智能体基准

工具调用基准评估模型是否能选择正确的工具、生成合法参数、理解工具返回结果,并在多步任务中保持目标一致。它是智能体评测的核心部分。

适用场景:

  • 自动化办公;
  • 业务系统助手;
  • 工作流自动化;
  • 数据分析智能体。

局限性:

  • 最终答案可能正确,但过程冗余或存在风险;
  • 需要结合执行链路日志进行评测。

七、典型场景选择建议

1. 研发早期:优先建设静态基准

如果团队刚进入模型应用阶段,建议优先建设通用静态基准。原因是:

  • 可以快速判断模型是否满足基础要求;
  • 便于不同模型之间横向比较;
  • 能提前发现明显能力缺口;
  • 成本相对可控;
  • 不需要立即接入复杂生产数据。

此阶段适合从以下方面入手:

  • 通用知识理解;
  • 指令跟随;
  • 安全基础;
  • 结构化输出;
  • 简单工具调用;
  • 长文本基础理解。

2. 上线前:构建综合评测集

在正式上线前,不能只跑通用基准,而应结合业务场景构建综合评测集。重点包括:

  • 真实用户问题样例;
  • 典型错误案例;
  • 高风险问题;
  • 多轮对话样例;
  • 工具调用失败案例;
  • 边界输入;
  • 权限敏感场景;
  • 业务成功标准。

上线前评测的目标不是追求所有指标最高,而是确认系统是否达到可接受门槛。


3. 上线后:必须引入在线评测

模型上线后,静态基准无法及时反映真实变化。此时需要在线评测来发现:

  • 模型质量漂移;
  • 提示词版本退化;
  • 检索结果质量下降;
  • 工具接口异常;
  • 用户负反馈上升;
  • 某些长尾问题集中出现。

如果团队已经具备可观测性基础,例如日志服务、监控告警、链路追踪和指标看板,在线评测更容易落地。


4. 智能体应用:静态与在线必须结合

智能体应用尤其不能只依赖静态评测。因为智能体任务的成功不仅取决于模型,还取决于:

  • 工具是否稳定;
  • 参数格式是否正确;
  • 权限是否合理;
  • 多轮上下文是否一致;
  • 是否能从错误中恢复;
  • 是否有终止条件;
  • 是否存在无限循环。

因此,智能体评测通常需要:

  • 静态基准验证模型基础工具调用能力;
  • 在线评测监控真实执行链路;
  • 人工抽样复核复杂任务;
  • 业务指标验证最终价值。

八、选型建议:如何判断哪类评测更合适

1. 团队工程资源有限时,优先轻量评测

如果团队缺少专门评测工程人员,可以先从静态基准开始,选择少量高质量、可复用、覆盖面广的任务集。重点不是追求数量,而是确保评测集能够反映核心能力。

建议:

  • 先覆盖主要业务能力;
  • 再补充安全与异常场景;
  • 避免一开始建设过大规模评测平台;
  • 优先形成稳定评测流程。

2. 业务对稳定性要求高时,必须建设在线评测

如果应用面向大量用户,或直接影响业务转化、客服体验、运营效率,那么仅靠离线评测不够。团队需要建设在线评测能力,至少包括:

  • 关键请求采样;
  • 负反馈采集;
  • 错误日志聚合;
  • 核心指标监控;
  • 异常告警;
  • 人工复核入口。

3. 数据敏感场景要优先考虑私有化或自建评测

如果业务数据包含客户信息、财务信息、医疗信息或企业内部资料,评测系统需要支持数据隔离、权限控制和审计。此时可以优先考虑自建评测环境,或采用支持私有化部署的评测方案。

无论采用哪种部署方式,都应确保:

  • 评测数据不泄露;
  • 模型输出不越权;
  • 评测人员权限分级;
  • 日志可追溯;
  • 敏感字段可脱敏。

4. 需要横向比较多个模型时,优先静态基准

如果目标是选择模型供应商、比较不同版本或评估不同路线,静态基准更重要。因为它能提供更统一的比较条件。

但需要注意,横向比较不能只看总分,还要看:

  • 各能力项分布;
  • 稳定性;
  • 长尾问题表现;
  • 安全边界;
  • 输出格式遵循能力;
  • 成本与延迟约束。

5. 需要持续优化时,优先在线评测

如果系统已经进入运营阶段,重点应从“选型比较”转向“持续优化”。此时需要在线评测形成闭环:

采集数据 → 发现问题 → 分类归因 → 修复策略 → 灰度验证 → 持续观察。

这种闭环比单次评测更有长期价值。


九、迁移与使用注意事项

当团队从一种评测方式转向另一种方式,或者同时建设多套评测体系时,需要特别注意以下问题。

1. 指标口径必须统一

很多评测系统失败,并不是因为模型不行,而是因为不同团队对“正确”的定义不同。例如:

  • 答案只要语义接近就算正确;
  • 必须字段完全一致;
  • 工具调用成功但结果错误;
  • 最终回答正确但过程违规;
  • 用户点赞但业务未完成。

因此,建设评测系统前必须先统一指标口径。


2. 静态评测集需要防止污染

如果评测集被模型训练数据覆盖,分数会虚高。为降低风险,可以采取:

  • 定期更新评测集;
  • 保留隐藏评测集;
  • 对关键题目做变体改写;
  • 隔离训练数据与评测数据;
  • 使用新场景补充评测。

3. 在线评测需要处理采样偏差

生产流量并不天然适合评测。有些请求可能重复、无意义、恶意攻击或极端异常。如果直接全部纳入评测,会导致指标失真。

建议采用:

  • 分层采样;
  • 按业务类型采样;
  • 按用户类型采样;
  • 按风险等级采样;
  • 对异常样本单独标记;
  • 对高风险样本全量复核。

4. 自动评分不能完全替代人工评分

自动评分效率高,但容易受规则限制。对于以下场景,人工复核仍然必要:

  • 高风险内容;
  • 复杂多轮对话;
  • 业务主观判断;
  • 创造性内容;
  • 工具调用异常;
  • 涉及权限与合规的问题。

更合理的做法是自动评分先筛选,再对低置信度、高风险或争议样本进行人工复核。


5. 智能体评测必须关注过程日志

如果只记录最终答案,很多智能体问题无法定位。建议至少记录:

  • 用户输入;
  • 上下文摘要;
  • 工具名称;
  • 工具参数;
  • 工具返回码;
  • 中间模型输出;
  • 重试次数;
  • 终止原因;
  • 最终输出;
  • 用户反馈。

示意性结构如下:

  1. event = {
  2. "session_id": "...",
  3. "user_input": "...",
  4. "plan": "...",
  5. "tool_calls": [
  6. {"tool": "search", "params": {...}, "result": "..."}
  7. ],
  8. "final_answer": "...",
  9. "latency_ms": 1234,
  10. "risk_flags": []
  11. }

这类日志是智能体在线评测的基础。


6. 评测系统要支持版本对比

模型、提示词、检索策略、工具接口都可能变化。如果每次变更后无法比较,就无法判断问题来源。

评测系统应支持:

  • 模型版本对比;
  • 提示词版本对比;
  • 检索策略对比;
  • 工具实现对比;
  • 灰度实验对比;
  • 历史趋势查看。

7. 成本与延迟也是评测对象

很多评测只关注效果,但生产系统必须考虑成本和性能。一个模型可能回答更好,但延迟更高、费用更高,未必适合高频场景。

因此,评测指标中应包含:

  • 平均响应时间;
  • 超时率;
  • 单位请求资源消耗;
  • 调用次数;
  • 重试成本;
  • 人工复核成本;
  • 业务收益变化。

十、总结

大语言模型评测并不是简单地“跑几个基准分数”,而是一套围绕能力、业务、安全和运营的系统工程。通用静态基准与在线评测分别解决不同阶段的问题:

  • 通用静态基准适合模型选型、版本对比和上线前能力验证;
  • 在线评测适合生产监控、质量漂移发现、智能体链路观察和持续业务优化;
  • 对于智能体应用,二者都需要结合,因为智能体任务同时依赖模型能力、工具稳定性、权限控制、流程设计和真实流量表现。

从选型角度看,如果团队处于早期验证阶段,可优先建设轻量静态基准;如果系统已经上线并面向真实用户,则应逐步建设在线评测和可观测性能力;如果应用涉及高敏感数据或复杂业务流程,则需要同步考虑权限、脱敏、审计和人工复核机制。

最终,合理的评测体系不是选择“静态还是在线”的二选一,而是让两类评测形成互补:用静态基准确认能力边界,用在线评测验证真实价值,通过持续迭代让模型应用从“看起来可用”走向“长期稳定可用”。