简介:模型给出正确数值,证明未必成立。本文提供四项能力的判定规则、八项评测指标、三次运行记录模板和最小评测流程,并附选型清单。按步骤可完成一轮评测,并据指标确定人工复核范围。
本文面向需要判断模型数学证明是否可信的评测人员和选型人员。评测对象是可通过对话界面或接口调用的前沿通用模型,不讨论参数规模,也不做排名。文中用”模型A””模型B””模型C”指代被测模型。
不做排名有两个原因。模型版本更新快,排名结论容易过期。排名结果也难复现,读者无法核对数据来源。评测结果只适用于本次题集和运行条件。
题集覆盖代数、几何、数论、组合、概率和分析六个方向。每道题都要求给出可逐步检查的完整论证,而不只是一个数值。题集应包含易、中、难三档题目,各方向的题量尽量接近。尽量使用未公开的新题,或对公开题目做实质改写,以减少模型见过原题的影响。
模型对常见题型通常能给出完整步骤。问题主要出在两类情况上。
第一类是前提遗漏。例如题目要求证明某数列对所有正整数 n 成立,模型验证 n=1 到 n=10 后直接写出”由归纳法可得”。但归纳步引用的条件可能没有覆盖题目给出的全部条件。判定方法是逐条核对归纳步中引用的每个条件,确认它们都来自题目或已证结论。
第二类是错误传递。第二步把一个符号写反,后续每一步都会沿着错误结论推进,最后得到形式完整但不成立的结论。这类错误看上去很合理,需要把结论代回原条件逐一检查才能发现。
因此,判断标准是每一步能否追溯到定义、定理或题目条件。文字流畅和结构完整都不能代替这项检查。
四项能力各计 0 至 2 分。
模型作答前应先复述题目,覆盖五项要素:
判定规则如下:
第 2 项和第 5 项设为必选,是因为漏掉它们会让解答针对错误的问题。即使后续推理正确,结论也无法回答题目。
正例:题目要求”求所有满足条件的正整数对”。模型复述了已知条件、目标结论、取值范围和边界情况,并说明需要证明所给解已穷尽全部情况。该题得 2 分。
反例:同一题中,模型只给出一组解,也没有说明是否已穷尽。第 5 项缺失,该题得 0 分。
复杂题需要先选定方法。以几何题为例,若需要构造辅助线,模型应先说明选哪条辅助线及理由。若模型直接展开坐标计算,计算量会迅速增加,中途出现矛盾时也难以定位原因。
判定有两条标准:
两条都满足记 2 分,满足一条记 1 分,都不满足记 0 分。记录字段为:题号、中间目标是否列出、路径放弃是否明确。
同一道题运行三次。三次运行的条件必须一致:模型版本号、提示词、采样参数(temperature 和 seed,若接口支持)、工具开关都要相同。每次运行的版本、参数和时间都要记录。
判定规则如下:
运行记录模板如下。接口不支持的参数填写”不支持”。
| 题号 | 运行次序 | 模型版本 | 提示词版本 | temperature | seed | 工具开关 | 运行时间 | 最终结论 | 证明状态(有效/断点/错误) | 异常备注 |
|---|---|---|---|---|---|---|---|---|---|---|
| 1 | ||||||||||
| 2 | ||||||||||
| 3 |
自我验证包括三类检查:
判定规则如下:
下表阈值为初始建议值。试跑一轮后,应按本组题目的难度分布调整。分母为零的指标记为不适用,不计入汇总。
| 序号 | 指标 | 定义 | 采集字段 | 复核阈值 |
|---|---|---|---|---|
| 1 | 题意覆盖率 | 题意解析得分之和 ÷(2 × 题数) | 题号、五项覆盖标记 | 单题得 0 分必须复核;整体低于 0.9 时扩大抽查 |
| 2 | 规划完整率 | 解题规划得分之和 ÷(2 × 题数) | 中间目标标记、路径放弃标记 | 整体低于 0.7 时复核全部规划段 |
| 3 | 证明有效率 | 经逐步检查判定为有效的运行数 ÷ 总运行数 | 每次运行的证明状态 | 低于 0.8 时复核全部证明 |
| 4 | 前提遗漏率 | 出现前提遗漏的运行数 ÷ 总运行数 | 每次运行的前提核对记录 | 任一运行出现遗漏,复核该题全部运行 |
| 5 | 三次结论一致率 | 三次结论完全相同的题数 ÷ 题数 | 三次最终结论 | 低于 0.9 时复核不一致的题 |
| 6 | 路线一致率 | 三次推导路线相同的题数 ÷ 题数 | 每次运行的方法摘要 | 低于 0.7 时逐条检查路线差异 |
| 7 | 自我验证完成率 | 完成至少两类检查的运行数 ÷ 总运行数 | 三类检查的完成与结果标记 | 低于 0.9 时补充检查 |
| 8 | 错误自检率 | 初版证明有误且自检中被发现的运行数 ÷ 初版证明有误的运行数 | 初版错误标记、自检发现标记 | 低于 0.5 时不采信自检结论,全部人工复核 |
第 8 项需要人工先判定初版证明是否有误,因此评分者要在自检前完成初版标注。
| 检查项 | 通过标准 | 复核动作 |
|---|---|---|
| 运行条件是否完整记录 | 版本、提示词、采样参数、工具开关齐全 | 缺失则该模型结果不纳入比较 |
| 题意覆盖 | 无 0 分题 | 0 分题逐题人工复核 |
| 证明有效率 | 不低于 0.8 | 低于 0.8 时复核全部证明 |
| 前提遗漏 | 无遗漏 | 有遗漏则复核该题全部运行 |
| 三次结论一致率 | 不低于 0.9 | 不一致的题单独复核 |
| 自我验证 | 完成率不低于 0.9,错误自检率不低于 0.5 | 不达标时,自检结论不替代人工核对 |
| 结论适用范围 | 只限本次题集和运行条件 | 不据此推广为通用排名或能力保证 |