简介:当两个被测对象的答题条件不一致时,列与列之间的分数不宜直接比较。本文从一次联合评测的对比说起,定义“可核验产出评测”:以可机器检查的证明、程序与构造结果为依据,评测过程可追溯。文章拆解其四条轨道、判定流程与尝试次数设计,并说明它揭示了AI数学能力的哪些边界。
在一场面向前沿大模型的数学评测中,两个被测对象的成绩放在一起时出现了一个容易被忽略的细节:一个被测对象在部分题上的成绩是38.3%和1.1%,另一个被测对象则是每题尝试1次,而得到38.3%和1.1%的被测对象每题尝试3次。也就是说,同一张榜单上的两列,答题条件并不相同。
由此自然会追问:尝试次数不同意味着允许模型对同一问题反复作答,再从中选取通过的结果,还是要求一次作答就给出正确产出?如果条件不统一,两列分数就不能直接横向比较。进一步的问题才是真正的关键:各栏分数背后,模型究竟交出了什么?这篇文章回答两个问题:这场评测所代表的“可核验产出评测”是什么;它如何把“分数”还原成可检查的证据。
定义:可核验产出评测是一类面向大模型数学与算法能力的评测方式。模型针对每道题提交的不是一句话答案,而是证明、程序、构造对象等具体产出。这些产出先由自动化检查器判定:要么由形式证明内核做类型检查,要么在实例集合上实际运行。判分过程全程留痕,任何第三方都可以从榜单得分一路追溯到具体的提交内容。
前面提到的联合评测就是典型代表。它由研究团队与高校、科研机构共同完成,并采用上述定义中的核心机制。这类评测可以有三种理解角度:
评测共设100道经专家评审的题目,分为定理、Solver(求解器)、构造、猜想四条轨道,完整报告共52页。评测要解决的问题有三类:
数学是少数“对错可被严格定义”的领域,这决定了数学能力评测可以比普通问答走得更远。
传统评测的局限。 早期数学基准主要收集考试题和竞赛题,以答案是否正确评分。随着主流模型在这类基准上不断刷新成绩,两个问题逐渐显现:
“答题条件”尚未统一。 大模型可以被允许使用代码解释器、多次采样、生成多个候选再择优等。单次作答与多次尝试衡量的是不同性质的能力:前者更接近“可靠输出一次正确结果”的能力,后者更接近“在多次探索中识别正确答案”的能力。如果各被测对象的尝试次数、上下文长度、是否允许调用外部工具都不一致,横向排名就失去了严格意义。
数学研究本身。 证明是否成立取决于形式推导,算法是否正确取决于在输入上的运行结果。可核验产出评测正是把数学研究的这一特性搬进了评测:评测的不是“说得像不像”,而是“对不对、能不能跑、能不能复算”。它的价值主要有三点:
四条轨道分别检验不同维度,判定方式也各不相同。
模型需要用一种交互式定理证明语言(一类可机器检查的证明系统)写出完整的证明项,由内核(kernel)做类型检查。
模型需要提交一段能反复运行的程序。任务检查器在一组实例上运行它,再根据运行结果判分。
这一轨考察解法能否被写成可复用流程,而不是在一个具体例子上得出某个数值。单独撞对一个实例提供的证据很有限:程序可能依赖硬编码的样例、只对特定输入有效,或者恰好绕过了边界条件。在一组实例上稳定通过,才说明该解法被正确实现。
模型需要给出具体的数学对象,如例子、反例或算法构造。判定时会检查它是否满足题目要求的性质,例如反例是否真的违反命题,构造是否真的满足全部约束。能“说”出一个反例不难,能“给出”一个经检验成立的反例才构成证据。
模型需要从数据中观察、归纳,并提出可供验证的规律。这一轨最接近“提出假设”的科研动作,判定往往依赖专家评审或对猜想的形式化验证。
示意流程如下:
示意性伪代码如下:
输入:题目集合 P,每题尝试次数 K,评测规则集 R结果 = []for 题 in P:通过 = Falsefor i in range(K): # K=1 即单次作答提交 = 调用被测对象(题, 上下文=R.上下文设置)存档(题, i, 提交) # 保存原始产出,保证可追溯if R.判定器(题, 提交): # 各轨道判定器不同通过 = Truebreak结果.追加(通过)报告 = {"严格通过率": 通过题数 / 题目总数, # K 固定,如每题 1 次"pass@K": K 次中至少一次通过的题目占比,"分轨道统计": 按定理/Solver/构造/猜想分别统计,"答题条件": 尝试次数、上下文长度、工具支持}
报告中把“每题1次”和“每题3次”的成绩分开列示,也是出于同样的考虑:允许更多尝试会放大“在多次探索中找到正确答案”的成分,而单次作答更接近真实使用中“一次输出就要可信”的要求。
可核验产出评测的意义不只在于排名,更在于把AI在数学研究各环节的能力,切分到可以被分别观察的位置上。
内核会暴露两类错误:
自然语言中一句“显然可知”就能略过的地方,在形式化语言里必须逐层交代。所以,对形式化语言不够熟悉的被测对象,可能因为“表达”失分,而不是“数学”不行。这提示我们:形式化轨的成绩同时受数学能力与形式表达能力影响,解读时应拆开来看。
| 概念 | 评测对象 | 典型判定方式 | 与可核验产出评测的关系 |
|---|---|---|---|
| 传统数学题基准 | 最终答案、选项 | 答案匹配 | 易混淆,可能蒙对,也难区分单次与多次作答 |
| pass@K | 模型采样结果 | 多次采样中至少一次正确 | 同评测的尝试次数规则之一,强调“多次探索”的能力 |
| 人类竞赛评测 | 选手的书面解答 | 人工阅卷,通常一轮 | 同为“限定条件下的能力测量”,但人类题目多为开放式作答 |
| 软件工程中的形式化验证 | 系统或代码 | 内核与模型检查工具 | 共享“内核+类型检查”技术,但用于验证已有系统,不用于给模型打分 |
| AI辅助数学研究 | 研究者的工作流 | 专家评审、发表 | 评测是研究工具的能力采样,真实研究是长期、交互的过程 |
这里简单解释pass@K:让模型对同一题作答K次,只要有一次产出通过检查,该题即记为通过。它是衡量“多次探索”能力的有用工具,但不能替代单次作答下的严格通过率。
评测体系搭建:把需求转化为四条轨道:
再按“判定器+存档+汇总”落地。
回到定义本身:可核验产出评测是把模型的数学与算法能力,转化为可机器检查、可追溯的证明、程序与构造结果,再按统一规则打分的评测方式。它把“分数”还原成“证据”,让评测从榜单排名走向可复核的能力刻画。
在尝试次数不一致时,38.3%与1.1%并列的榜单提醒我们:先对齐答题条件,再讨论强弱。而内核对条件补全的严格要求、检查器对可运行性的要求,也把AI当前的数学能力边界标注得很清楚:模型能提出候选答案,却未必能稳定、可复现地交出正确结果;能“说”出解法,却未必能“写”对实现;在形式化表达这一环上,仍有不少失分来自“说不清楚”,而非“想不明白”。
对开发者和企业来说,这类评测的价值不在名次,而在提供了一种“可被验证”的能力标准。它适用于模型选型、评测体系搭建与可信交付等场景,但也不是万能的:它能判断产出是否正确,无法判断方法是否新颖、研究是否有长期价值。理解这一点,才能既不低估模型的进步,也不高估它在数学研究中的位置。