模型数学证明评测指南:答对不等于会证明

作者:快去debug2026.11.16 10:48浏览量:0

简介:模型给出正确数值,证明未必成立。本文提供四项能力的判定规则、八项评测指标、三次运行记录模板和最小评测流程,并附选型清单。按步骤可完成一轮评测,并据指标确定人工复核范围。

一、评测范围与题集

本文面向需要判断模型数学证明是否可信的评测人员和选型人员。评测对象是可通过对话界面或接口调用的前沿通用模型,不讨论参数规模,也不做排名。文中用”模型A””模型B””模型C”指代被测模型。

不做排名有两个原因。模型版本更新快,排名结论容易过期。排名结果也难复现,读者无法核对数据来源。评测结果只适用于本次题集和运行条件。

题集覆盖代数、几何、数论、组合、概率和分析六个方向。每道题都要求给出可逐步检查的完整论证,而不只是一个数值。题集应包含易、中、难三档题目,各方向的题量尽量接近。尽量使用未公开的新题,或对公开题目做实质改写,以减少模型见过原题的影响。

二、会算题与会证明的差别

模型对常见题型通常能给出完整步骤。问题主要出在两类情况上。

第一类是前提遗漏。例如题目要求证明某数列对所有正整数 n 成立,模型验证 n=1 到 n=10 后直接写出”由归纳法可得”。但归纳步引用的条件可能没有覆盖题目给出的全部条件。判定方法是逐条核对归纳步中引用的每个条件,确认它们都来自题目或已证结论。

第二类是错误传递。第二步把一个符号写反,后续每一步都会沿着错误结论推进,最后得到形式完整但不成立的结论。这类错误看上去很合理,需要把结论代回原条件逐一检查才能发现。

因此,判断标准是每一步能否追溯到定义、定理或题目条件。文字流畅和结构完整都不能代替这项检查。

三、四项核心能力及判定方法

四项能力各计 0 至 2 分。

3.1 题意解析

模型作答前应先复述题目,覆盖五项要素:

  1. 已知条件
  2. 目标结论
  3. 变量取值范围
  4. 边界情况
  5. 量词与存在性要求,包括存在性、唯一性、最优性和穷尽性

判定规则如下:

  • 五项全部覆盖,记 2 分。
  • 缺少一项,且缺的不是第 2 项或第 5 项,记 1 分。
  • 缺少第 2 项或第 5 项,记 0 分。

第 2 项和第 5 项设为必选,是因为漏掉它们会让解答针对错误的问题。即使后续推理正确,结论也无法回答题目。

正例:题目要求”求所有满足条件的正整数对”。模型复述了已知条件、目标结论、取值范围和边界情况,并说明需要证明所给解已穷尽全部情况。该题得 2 分。

反例:同一题中,模型只给出一组解,也没有说明是否已穷尽。第 5 项缺失,该题得 0 分。

3.2 解题规划

复杂题需要先选定方法。以几何题为例,若需要构造辅助线,模型应先说明选哪条辅助线及理由。若模型直接展开坐标计算,计算量会迅速增加,中途出现矛盾时也难以定位原因。

判定有两条标准:

  • 前段是否列出了中间目标。
  • 遇到障碍后,模型是否明确放弃已被证伪的路径,而不是继续在该路径上补充细节。

两条都满足记 2 分,满足一条记 1 分,都不满足记 0 分。记录字段为:题号、中间目标是否列出、路径放弃是否明确。

3.3 多步推理稳定性

同一道题运行三次。三次运行的条件必须一致:模型版本号、提示词、采样参数(temperature 和 seed,若接口支持)、工具开关都要相同。每次运行的版本、参数和时间都要记录。

判定规则如下:

  • 三次结论一致,且每次证明都有效,记 2 分。
  • 结论一致,但某次推导有断点;或结论相同而推导路线不同,记 1 分。此时应分别检查每条路线,不能只看结论是否相同。
  • 三次结论不一致,记 0 分,表示该题不稳定。不采用多数票决定正确答案,每次运行仍要单独检查最终结论和证明有效性。

运行记录模板如下。接口不支持的参数填写”不支持”。

题号 运行次序 模型版本 提示词版本 temperature seed 工具开关 运行时间 最终结论 证明状态(有效/断点/错误) 异常备注
1
2
3

3.4 自我验证

自我验证包括三类检查:

  • 代入检查:把结果代回原条件。例如模型断言方程 x²−5x+6=0 的根为 2 和 3,代入后两式都为零,检查通过。
  • 边界检查:检验极端取值或特殊值下结论是否仍成立。例如模型断言对所有实数 x 都有 √(x²)=x,取 x=−1 即可发现不成立。
  • 反例检查:主动构造可能推翻结论的情况。例如对”所有素数都是奇数”的断言,取 2 即可推翻。

判定规则如下:

  • 完成至少两类检查,检查均通过,且最终结论正确,记 2 分。
  • 完成至少两类检查,其中有检查发现问题,经修正后结论正确;或只完成一类检查且结论正确,记 1 分。
  • 未完成任何检查,或检查后结论仍错误,记 0 分。

四、八项评测指标

下表阈值为初始建议值。试跑一轮后,应按本组题目的难度分布调整。分母为零的指标记为不适用,不计入汇总。

序号 指标 定义 采集字段 复核阈值
1 题意覆盖率 题意解析得分之和 ÷(2 × 题数) 题号、五项覆盖标记 单题得 0 分必须复核;整体低于 0.9 时扩大抽查
2 规划完整率 解题规划得分之和 ÷(2 × 题数) 中间目标标记、路径放弃标记 整体低于 0.7 时复核全部规划段
3 证明有效率 经逐步检查判定为有效的运行数 ÷ 总运行数 每次运行的证明状态 低于 0.8 时复核全部证明
4 前提遗漏率 出现前提遗漏的运行数 ÷ 总运行数 每次运行的前提核对记录 任一运行出现遗漏,复核该题全部运行
5 三次结论一致率 三次结论完全相同的题数 ÷ 题数 三次最终结论 低于 0.9 时复核不一致的题
6 路线一致率 三次推导路线相同的题数 ÷ 题数 每次运行的方法摘要 低于 0.7 时逐条检查路线差异
7 自我验证完成率 完成至少两类检查的运行数 ÷ 总运行数 三类检查的完成与结果标记 低于 0.9 时补充检查
8 错误自检率 初版证明有误且自检中被发现的运行数 ÷ 初版证明有误的运行数 初版错误标记、自检发现标记 低于 0.5 时不采信自检结论,全部人工复核

第 8 项需要人工先判定初版证明是否有误,因此评分者要在自检前完成初版标注。

五、最小评测流程

  1. 确定题集。覆盖六个方向,每个方向按易、中、难分档,尽量使用未公开的新题。
  2. 固定运行条件。记录模型版本、提示词版本、temperature、seed 和工具开关。同一题的三次运行条件必须完全一致。
  3. 每题运行三次。完整保存每次输出,不做删改。
  4. 为每次输出打分。依据 3.1 和 3.2,对题意解析与解题规划评分。
  5. 逐步检查证明。每一步都要追溯到定义、定理或题目条件,并完成代入、边界、反例三类检查。依据 3.3 和 3.4 评分。
  6. 双人独立评分。两名评分者独立完成第 4、5 步,并计算评分一致率。一致率低于 0.8 时,先统一评分口径,再由第三人裁定分歧项。
  7. 计算八项指标。对照第四节的阈值确定复核范围,输出复核清单。
  8. 形成报告。报告列出模型版本、运行时间、参数、题集构成、八项指标和复核清单。报告不作排名,结论只适用于本次题集和运行条件。

六、选型清单

检查项 通过标准 复核动作
运行条件是否完整记录 版本、提示词、采样参数、工具开关齐全 缺失则该模型结果不纳入比较
题意覆盖 无 0 分题 0 分题逐题人工复核
证明有效率 不低于 0.8 低于 0.8 时复核全部证明
前提遗漏 无遗漏 有遗漏则复核该题全部运行
三次结论一致率 不低于 0.9 不一致的题单独复核
自我验证 完成率不低于 0.9,错误自检率不低于 0.5 不达标时,自检结论不替代人工核对
结论适用范围 只限本次题集和运行条件 不据此推广为通用排名或能力保证