简介：当前多模态评测普遍存在“高分低能”现象：模型在标准化榜单上表现优异，一旦进入真实场景——如手写涂改、跨行作答、错误拼写的小学试卷判分——能力便显著衰减。本文以端到端试卷判分为切入点，分析现有评测基准的局限性，解读以真实试卷构建的多任务评测框架的设计逻辑与核心指标，并探讨如何更客观地衡量多模态模型在复杂真实场景中的推理、定位与判定能力。读者将理解“整页全对”为何成为关键指标，以及如何借鉴该思路构建更可靠的教育 AI 能力评估体系。
过去几年，多模态模型在各类公开榜单上的分数持续攀升，视觉问答、文档解析、OCR 等任务的准确率动辄超过 90%。但工程落地时，教育、医疗、财务等领域的开发者却频繁反馈：模型在真实输入上表现远不如榜单数字那样可靠。这种“榜单与现场”之间的鸿沟，已成为多模态能力评估中最突出的问题之一。
造成这一现象的原因可以从三个层面理解。
第一，训练数据与评测数据同源化。 大量公开评测集在构造方式、数据分布、标注习惯上与训练语料高度重叠。当模型在相似分布上反复优化后，评测分数更多反映的是“记忆与适配能力”，而非泛化推理能力。真实场景中的噪声、布局变化、书写风格差异，往往超出训练分布的覆盖范围。
第二，评测任务过度原子化。 传统基准通常将能力拆分为孤立的子任务：识别一段文本、回答一个选择题、定位一个区域。单项任务简单清晰，但无法模拟真实工作流中“多步骤串联”的要求。以试卷判分为例，教师面对的不是单张裁切好的手写区域，而是一整页包含题目、作答、批注、涂改的复杂画面。模型需要先理解版面结构，再定位答题区域，识别手写内容，结合题目语义进行正误判断，最后给出分数。任何一个环节的累积误差，都会导致判分结果错误。原子化评测显然无法暴露这种链路级风险。
第三，评测指标过于宽松。 常见指标如 Accuracy、F1 往往按小题或按字符统计，允许部分错误被整体平均所掩盖。例如一页 20 道题，模型判对 19 道，单题准确率 95%，看上去很优秀；但实际教学中，整页只要有一处严重误判，教师就需要人工复核全部结果，系统信任度大幅下降。因此，单题准确率并不能等价于“可用性”。
要理解什么样的评测才能真正反映多模态模型能力，需要先深入真实试卷判分场景的特殊性。与标准文档理解任务相比，真实学生试卷至少包含以下几类典型挑战：
1. 手写体识别与变形处理。 真实作答中存在大量连笔、不规范笔顺、字符粘连、跨行书写、涂改液覆盖、橡皮擦残留等情况。同一学生不同时段的书写状态不同，不同学段学生的书写成熟度差异极大。模型不能依赖规整字体或固定模板，必须具备对形变字符的鲁棒性。
2. 版面结构高度不固定。 试卷的题号排列、答题区位置、分栏方式、图形插入位置在不同学科、不同命题老师之间存在显著差异。同一页中可能同时存在横线填空、括号选择、空白简答、图形标注等多种作答形态。模型需要先完成版面语义解析，再将其与具体题目和作答区域建立对应关系。
3. 判分依赖语义推理，而非简单文字匹配。 数学应用题中，学生可能写出与参考答案不同的解题路径，即使最终结果正确，中间的步骤表示可能完全异构。语文简答题中，同一含义可能有多种表达方式。模型必须理解学科知识和题目意图，才能在“不标准”的作答中判定对错。这要求评测不仅覆盖感知层能力，还要覆盖认知层推理。
4. 错误作答与不完整作答占比高。 真实试卷中并非所有作答区域都有答案。空白、半途放弃、错误解题过程，都需要模型做出正确判定——空白应判为零分，错误步骤应识别并给出扣分。若模型只训练在“正确答案”数据上，面对错误作答时会倾向于“强行匹配”或误判，这是实际部署中最常见的失败模式之一。
针对上述复杂性，业界开始探索新的评测范式。其核心思路是：不再将试卷判分拆解为独立子任务分别打分，而是以“整页端到端判分”为主线，同时派生出结构解析、定位查询、手写裁切识别等辅助任务，形成一个多任务、多层级的评测体系。
一个典型的构建流程可以概括为以下步骤：
原始试卷页面采集│├── 图像质量筛选与敏感信息遮蔽│├── 层级标注：页面 → 大题 → 小题 → 答题区域│├── 判分标签生成：参考答案 + 判分候选 + 人工核验│└── 多任务实例派生：├── 整页判分任务├── 结构解析任务├── 定位查询任务└── 手写区域识别任务
这种设计有三个关键点值得关注。
第一，用真实数据构造，保留原始噪声。 评测数据来源为真实拍摄的小学多学科试卷页面，覆盖语文、数学、英语。拍摄条件不统一，存在光照差异、倾斜、模糊等自然噪声。手写内容保留涂改、拼写错误、跨行作答等真实状态。这种数据分布与训练集的人工构造分布有本质区别，能更有效地检测模型的泛化能力。
第二，“页面—大题—小题—答题区域”的层级关联标注。 单一维度的标注无法支撑端到端评测。层级标注使得模型输出可以被追溯：模型需要先输出对页面结构的解析结果，再定位到具体小题的作答区域，最后给出判分结果。评测时可以在不同层级分别度量误差来源，帮助定位模型具体在哪一环节出现短板。
第三，判分标签经过人机协同生成。 参考答案可由大模型辅助生成，但必须经过人工核验。对于歧义较大的简答题，设置多阶段质检和争议处理机制，确保标签本身具备足够的可信度。高噪声场景下，如果标签本身不可靠，评测结果就没有参考价值。
在传统评测中，按小题统计的准确率容易让模型“看起来不错”，但不足以反映真实可用性。本文讨论的评测框架引入了 PageScoreAccuracy 指标——要求页面内所有可正常判分的作答单元全部判对，整页才能计为正确。即便只有一处误判，该页也不计入正确页数。
这一指标的设计逻辑与真实业务需求高度一致。教育场景中，判分系统的价值在于降低人工复核成本。如果整页 20 题中只有 1 题判错，从准确率数字看模型表现优异，但教师必须逐页审视系统输出才能确保无误。此时系统的实际人力节省效果趋近于零。相反，如果系统能够保证“整页完全正确”，教师只需抽查少量异常页面即可。
实测中，不同模型在该指标上的表现差异显著。从目前已公开的评测结果来看，即使综合能力较强的大模型，整页判分全对率也仅在 50% 上下，部分模型低于 40%。这意味着在真实上海量的试卷判分任务中，有近一半页面需要人工介入处理。单题准确率无法暴露这一严重的落地瓶颈。
“整页全对”指标的另一个价值在于，它天然考虑了多步骤任务的错误累积效应。假设每个站点的单步准确率为 ( p )，整页需要处理 ( n ) 个单元，则整页全对的理论上限约为 ( p^n )。当 ( p=0.95 )、( n=20 ) 时，整页全对率只有约 35.8%。这一简单的数学关系揭示了多步骤链路中，单点能力的微小下降会被迅速放大为系统级不可用。因此，面向真实业务的多模态评测必须从“单点指标”转向“端到端指标”。
结合上述分析，教育 AI 的落地评估应从三个维度重新审视模型能力。
1. 从“能识别”转向“能判分”。 OCR 准确率高不等于判分能力强。判分需要模型在识别手写内容的基础上，结合题目语义、学科知识、作答规范进行综合推理。评估时应以判分结果为导向，而不是以中间识别环节的指标为唯一依据。
2. 从“单题正确率”转向“整页通过率”。 对真实业务流程而言，整页通过率更能反映系统可用性。开发者可以在内部构建类似的端到端评测集，以整页为最小评估单元，统计完全正确页面的占比。这一指标应与业务上可接受的人工复核比例直接挂钩。
3. 从“静态评测”转向“持续回归”。 模型版本迭代频繁，训练数据持续更新。教育场景中，新题型、新书写风格、新学科内容不断出现。评测需要构建可持续扩展的数据集与自动化流程，以周或月为周期进行回归验证，及时发现新版本在特定场景下的能力退化。
多模态模型评测的失真，根本原因在于“实验室任务”与“真实工作流”之间的错位。当评测集过度干净、任务过度原子化、指标过度宽松，模型的高分就失去了对真实业务能力的指示意义。试卷判分场景提供了一个极具代表性的分析样本：它具备天然的噪声分布、层级化结构、语义推理需求和端到端链路特征，能够有效暴露模型在感知、推理、定位、判定等环节的累积误差。
构建以整页判分通过率为核心的多任务评测框架，是迈向更真实、更可信的多模态能力评估的重要一步。对开发者而言，理解这一评估思路背后的逻辑，比单纯关注某个榜单数字更加关键。在未来，随着教育 AI 应用从演示走向规模化落地，评测基准的“真实性密度”将直接决定模型工程优化的方向是否正确。