可核验产出评测:定义AI数学能力新标尺

作者:渣渣辉2026.11.18 11:14浏览量:0

简介:当两个被测对象的答题条件不一致时,列与列之间的分数不宜直接比较。本文从一次联合评测的对比说起,定义“可核验产出评测”:以可机器检查的证明、程序与构造结果为依据,评测过程可追溯。文章拆解其四条轨道、判定流程与尝试次数设计,并说明它揭示了AI数学能力的哪些边界。

引言:不同尝试次数下的同一道题

在一场面向前沿大模型的数学评测中,两个被测对象的成绩放在一起时出现了一个容易被忽略的细节:一个被测对象在部分题上的成绩是38.3%和1.1%,另一个被测对象则是每题尝试1次,而得到38.3%和1.1%的被测对象每题尝试3次。也就是说,同一张榜单上的两列,答题条件并不相同。

由此自然会追问:尝试次数不同意味着允许模型对同一问题反复作答,再从中选取通过的结果,还是要求一次作答就给出正确产出?如果条件不统一,两列分数就不能直接横向比较。进一步的问题才是真正的关键:各栏分数背后,模型究竟交出了什么?这篇文章回答两个问题:这场评测所代表的“可核验产出评测”是什么;它如何把“分数”还原成可检查的证据。

一、定义:什么是可核验产出评测

定义:可核验产出评测是一类面向大模型数学与算法能力的评测方式。模型针对每道题提交的不是一句话答案,而是证明、程序、构造对象等具体产出。这些产出先由自动化检查器判定:要么由形式证明内核做类型检查,要么在实例集合上实际运行。判分过程全程留痕,任何第三方都可以从榜单得分一路追溯到具体的提交内容。

前面提到的联合评测就是典型代表。它由研究团队与高校、科研机构共同完成,并采用上述定义中的核心机制。这类评测可以有三种理解角度:

  • 技术视角:评测对象从“答案”变为“证据”。模型必须提交一份能被机器逐条检查的材料。
  • 业务视角:分数直接对应可信度。高得分意味着“更多产出被验证为正确”,而不是“回答看起来像对的”。
  • 使用视角:证据链完整。每一分都能回溯到具体题目、具体提交和具体判定结果。

评测共设100道经专家评审的题目,分为定理、Solver(求解器)、构造、猜想四条轨道,完整报告共52页。评测要解决的问题有三类:

  1. 区分“会做”和“碰巧做对”。传统问答式数学评测以最终答案是否匹配来判分。但数学题多为客观题,蒙对的概率真实存在;大模型又擅长模仿常见解法,有时会用看似合理的步骤“绕”到正确答案。
  2. 保证评测本身可重复。只比对答案时,一次正确作答无法证明模型稳定掌握该方法。可核验产出把“结果”固化为可检查对象,他人拿到同一份提交就能得到同一判定。
  3. 提供可供审阅的证据。题目在模型训练截止后发布、由专家评审、保留不公开题目等方式可以缓解题目泄漏,但分数本身仍是黑盒。可核验产出让评测者直接查看模型交出了什么。

二、背景与价值:为什么需要它

数学是少数“对错可被严格定义”的领域,这决定了数学能力评测可以比普通问答走得更远。

传统评测的局限。 早期数学基准主要收集考试题和竞赛题,以答案是否正确评分。随着主流模型在这类基准上不断刷新成绩,两个问题逐渐显现:

  • 题目来源多为公开的互联网文本,训练数据与之高度重叠,模型可能记住了答案,而不是学会了推理。
  • 常见问题趋于饱和,不同模型之间的差距缩小,榜单对能力差异的区分度下降。

“答题条件”尚未统一。 大模型可以被允许使用代码解释器、多次采样、生成多个候选再择优等。单次作答与多次尝试衡量的是不同性质的能力:前者更接近“可靠输出一次正确结果”的能力,后者更接近“在多次探索中识别正确答案”的能力。如果各被测对象的尝试次数、上下文长度、是否允许调用外部工具都不一致,横向排名就失去了严格意义。

数学研究本身。 证明是否成立取决于形式推导,算法是否正确取决于在输入上的运行结果。可核验产出评测正是把数学研究的这一特性搬进了评测:评测的不是“说得像不像”,而是“对不对、能不能跑、能不能复算”。它的价值主要有三点:

  • 抗猜测:猜不出可类型检查的证明项,也写不出能通过多组实例的程序。
  • 可审计:评测报告可以公开题目、模型提交和判定结果,形成可复核的证据链。
  • 可执行:企业可以把评测流程嵌入模型选型与迭代,例如把题库托管在对象存储上,把批量推理任务编排在容器平台上,并把提交与判定结果写入日志服务留档。依托百度智能云等主流云平台提供的通用云产品,这类流程能够重复运行,便于追溯。

三、核心组成:四条轨道与专家评审

四条轨道分别检验不同维度,判定方式也各不相同。

1. 定理轨:形式化证明

模型需要用一种交互式定理证明语言(一类可机器检查的证明系统)写出完整的证明项,由内核(kernel)做类型检查。

  • 内核是什么:内核是核验形式证明的核心,负责检查证明是否符合形式系统的规则。只要内核判定通过,证明在该系统中就是成立的。
  • 它的严格之处:数学论文中“显然”“容易验证”的地方,需要逐步展开;自然语言中略过的条件,在这里也必须交代清楚。例如“对任意n成立”,需要补上量词和论域,“大于”需要明确在哪个序关系上定义。漏掉的前提或偷换过的假设,会在类型检查阶段被直接发现。

2. Solver轨:可执行程序

模型需要提交一段能反复运行的程序。任务检查器在一组实例上运行它,再根据运行结果判分。

这一轨考察解法能否被写成可复用流程,而不是在一个具体例子上得出某个数值。单独撞对一个实例提供的证据很有限:程序可能依赖硬编码的样例、只对特定输入有效,或者恰好绕过了边界条件。在一组实例上稳定通过,才说明该解法被正确实现。

3. 构造轨:数学对象

模型需要给出具体的数学对象,如例子、反例或算法构造。判定时会检查它是否满足题目要求的性质,例如反例是否真的违反命题,构造是否真的满足全部约束。能“说”出一个反例不难,能“给出”一个经检验成立的反例才构成证据。

4. 猜想轨:可检验的规律

模型需要从数据中观察、归纳,并提出可供验证的规律。这一轨最接近“提出假设”的科研动作,判定往往依赖专家评审或对猜想的形式化验证。

5. 共同的评测基础

  • 专家评审:题目由领域专家审核,以保证表述准确、判定方式明确。
  • 完整题集:100道专家评审题覆盖四条轨道。完整版题集不公开,用于防泄漏。
  • 尝试次数:这是贯穿整个评测的规则。报告中同一被测对象的单次成绩与多次成绩分别列示,正是因为它对结果影响显著。

四、工作原理:从提交到分数

示意流程如下:

  1. 选择被测对象,并统一尝试次数、上下文长度等条件。
  2. 被测对象按轨道作答,输出证明项、程序、构造对象或猜想及支撑材料。
  3. 自动检查器判定:定理轨交给内核做类型检查;Solver轨在实例集合上运行程序;其余轨道按约定方式校验。
  4. 记录每题的提交与判定结果,形成从榜单可追溯到提交的证据链。
  5. 汇总为各轨道得分与总分。

示意性伪代码如下:

  1. 输入:题目集合 P,每题尝试次数 K,评测规则集 R
  2. 结果 = []
  3. for 题 in P:
  4. 通过 = False
  5. for i in range(K): # K=1 即单次作答
  6. 提交 = 调用被测对象(题, 上下文=R.上下文设置)
  7. 存档(题, i, 提交) # 保存原始产出,保证可追溯
  8. if R.判定器(题, 提交): # 各轨道判定器不同
  9. 通过 = True
  10. break
  11. 结果.追加(通过)
  12. 报告 = {
  13. "严格通过率": 通过题数 / 题目总数, # K 固定,如每题 1 次
  14. "pass@K": K 次中至少一次通过的题目占比,
  15. "分轨道统计": 按定理/Solver/构造/猜想分别统计,
  16. "答题条件": 尝试次数、上下文长度、工具支持
  17. }

报告中把“每题1次”和“每题3次”的成绩分开列示,也是出于同样的考虑:允许更多尝试会放大“在多次探索中找到正确答案”的成分,而单次作答更接近真实使用中“一次输出就要可信”的要求。

五、它揭示了AI数学能力的哪些边界

可核验产出评测的意义不只在于排名,更在于把AI在数学研究各环节的能力,切分到可以被分别观察的位置上。

1. 可靠性边界:探索能力与稳定能力并不同步

  • 现象:不同尝试次数下,同一被测对象的成绩可以同时出现38.3%和1.1%。把同一道题视为相互独立、各次答对概率相同的尝试,3次至少答对一次的概率约为 (1-(1-p)^3)。由此估算,单次答对率 (p) 大约为15%。
  • 含义:模型相当一部分成功依赖多次采样后再挑选,而不是稳定输出正确结果。
  • 对比要求:不同答题条件下得到的数字,需要在同一规则下重新运行才能比较。

2. 严谨性边界:数学基础与形式表达能力是两种能力

内核会暴露两类错误:

  • 数学错误:推理本身站不住。
  • 形式化错误:模型清楚每一步怎么推,但不知道如何把条件和结论写成证明系统能接受的形式。

自然语言中一句“显然可知”就能略过的地方,在形式化语言里必须逐层交代。所以,对形式化语言不够熟悉的被测对象,可能因为“表达”失分,而不是“数学”不行。这提示我们:形式化轨的成绩同时受数学能力与形式表达能力影响,解读时应拆开来看。

3. 算法实现边界:找到解法和写出解法是两回事

  • Solver轨的要求:解法必须被写成可在多组实例上稳定运行的程序。
  • 发现的问题:模型有时能“看出”解法,却把它写错,或在边界情形、特殊情况上出错。
  • 能力含义:数学研究的落地往往依赖算法实现,而这一环仍是薄弱环节。只在单个实例上碰对,几乎无法说明问题。

4. 评测方法本身的边界

  • 样本规模:100道题分四条轨道,单轨题量有限,小样本下方差较大。
  • 局限:分数只能说明“哪些环节已经可验证地过关”,不能说明模型具备完整的科研能力。
  • 补充方向:文献理解、问题提出、长期迭代等能力,需要更贴近真实研究流程的评测来考察。

六、与相近概念的区别

概念 评测对象 典型判定方式 与可核验产出评测的关系
传统数学题基准 最终答案、选项 答案匹配 易混淆,可能蒙对,也难区分单次与多次作答
pass@K 模型采样结果 多次采样中至少一次正确 同评测的尝试次数规则之一,强调“多次探索”的能力
人类竞赛评测 选手的书面解答 人工阅卷,通常一轮 同为“限定条件下的能力测量”,但人类题目多为开放式作答
软件工程中的形式化验证 系统或代码 内核与模型检查工具 共享“内核+类型检查”技术,但用于验证已有系统,不用于给模型打分
AI辅助数学研究 研究者的工作流 专家评审、发表 评测是研究工具的能力采样,真实研究是长期、交互的过程

这里简单解释pass@K:让模型对同一题作答K次,只要有一次产出通过检查,该题即记为通过。它是衡量“多次探索”能力的有用工具,但不能替代单次作答下的严格通过率。

七、典型应用场景

  1. 模型选型:企业评估模型的数学与逻辑推理能力时,可参照此类评测的设计思路,如自动判定、保留题、统一答题条件。避免只凭单次演示下的零散结果做决定。
  2. 评测体系搭建:把需求转化为四条轨道:

    • 定理:高风险逻辑校验;
    • Solver:可执行算法;
    • 构造:约束满足;
    • 猜想:数据规律发现。

    再按“判定器+存档+汇总”落地。

  3. 可信交付:在金融风控规则、协议实现等对正确性敏感的场景中,形式化验证的思路同样适用。结合自动化的证明检查与实例测试,可以降低人为疏漏。
  4. 算法与形式化工具能力评估:需要选型证明助手或代码生成工具的团队,可用构造轨和定理轨的结果作为参考,了解模型在“表达约束”和“完成形式证明”上的强弱。
  5. 科研辅助:评测结果能帮助研究者判断模型更适合承担哪类任务,如提出候选构造、生成猜想、起草证明框架,而最终判断仍由研究者完成。

八、使用注意事项

  1. 统一答题条件:比较不同模型时,尝试次数、上下文长度、是否允许调用外部工具等都要保持一致,并在报告中写明。
  2. 固定判定器版本:内核与检查器的版本会影响判定结果,评测时应记录版本,保证可复现。
  3. 管理题库与防泄漏:公开题与保留题需分开管理,定期更新题目,防止模型在公开题上“背答案”。
  4. 关注方差与置信度:题量不大时,单次评测结果波动可能较大,宜多次评测,并结合分轨道结果分析。
  5. 安全隔离:Solver轨会在评测环境中实际运行被测对象提交的程序,应在资源受限的隔离环境中执行,限制运行时间、内存与网络访问。
  6. 保护数据与隐私:出题、评审、提交与判定过程涉及多环节数据流转,敏感数据应做好访问控制、加密与审计。
  7. 云上落地:在百度智能云等主流云平台上,可以用通用云产品搭建评测流程:用对象存储存放题库与提交,用容器平台承载检查器,用日志服务保留判定记录,用监控告警跟踪批量任务的运行状况。

九、总结

回到定义本身:可核验产出评测是把模型的数学与算法能力,转化为可机器检查、可追溯的证明、程序与构造结果,再按统一规则打分的评测方式。它把“分数”还原成“证据”,让评测从榜单排名走向可复核的能力刻画。

在尝试次数不一致时,38.3%与1.1%并列的榜单提醒我们:先对齐答题条件,再讨论强弱。而内核对条件补全的严格要求、检查器对可运行性的要求,也把AI当前的数学能力边界标注得很清楚:模型能提出候选答案,却未必能稳定、可复现地交出正确结果;能“说”出解法,却未必能“写”对实现;在形式化表达这一环上,仍有不少失分来自“说不清楚”,而非“想不明白”。

对开发者和企业来说,这类评测的价值不在名次,而在提供了一种“可被验证”的能力标准。它适用于模型选型、评测体系搭建与可信交付等场景,但也不是万能的:它能判断产出是否正确,无法判断方法是否新颖、研究是否有长期价值。理解这一点,才能既不低估模型的进步,也不高估它在数学研究中的位置。