多模态评测新标尺：当模型面对“无法用文字描述”的视觉任务

一、问题的提出：模型真的“看懂”了吗

多模态大模型在图文问答、文档理解、图表分析等任务上进展迅速，榜单分数屡创新高。但一个容易被忽略的问题是：这些分数里，有多少来自视觉能力，又有多少来自语言推理的补位？

设想一个判据：如果一个视觉问题可以被完整地翻译成一段不丢信息的文字描述，那么它本质上就退化成了文本题。模型完全可以绕开像素，仅凭强大的语言先验与常识推理“通关”。它看起来会“看”，实际上是在走语言捷径——沿着训练语料中习得的语义关联一路推导，而非从图像中真正提取空间与形状信息。

真正考验视觉能力的，是那些无法被语言完整承载的任务：比较两个物体的细微位置差异、追踪一条被遮挡的路径、在脑中旋转一个形状、从若干样例中归纳出视觉模式。这些能力没有“语言扶梯”可乘，模型必须直接在感知层面完成计算。

业界已有类似观察被公开讨论：模型可以在高难度数学竞赛中取得优异成绩，却会在看似简单的小学几何题上出错；它能生成惊艳的图像，却说不清楚一个杯子为什么不会飘在空中。这类“能力倒挂”现象提示我们，语言层面的强通用性并不自动等价于视觉层面的世界理解。

正是在这一背景下，以视觉为中心的评测集设计成为必要补充：把语言依赖压到最低，让答案只能由视觉信息本身得出，从而测出模型“看懂世界”的真实水位。

二、评测体系的双轨思路

在讨论具体题型之前，先明确评测的定位。业界常见的评估体系可以划分为两条轨道：

• AGI 追踪赛道：关注模型能力的前沿演进，用于观察通用智能的进展节奏与能力边界，指标不追求直接的经济产出，而追求对“能力天花板”的刻画。
• 专业对齐赛道：关注模型在真实业务场景中的实用价值与经济性，强调任务分布贴近生产环境、评价标准贴近交付质量。

视觉中心评测集属于前者——它不是为某个业务场景选型服务的，而是用来回答“模型的感知能力到底走到哪一步”这一基础问题。这一定位决定了它的设计取向：刻意削弱语言线索、刻意提高视觉信息密度、刻意选择对人类幼儿直觉但对模型反直觉的题型。

展望未来一到两年，世界模型与视觉多模态被普遍认为是下一轮突破的高概率方向。在这一时间窗口抛出关键问题与配套“考卷”，比在能力成熟后再补评测更有价值——评测本身就是对技术路线的引导。

三、评测集设计原则：如何剥离语言依赖

设计一套真正测视觉的评测集，难点不在于题目有多难，而在于如何保证难度来自视觉而非语言。可遵循以下几条原则。

3.1 答案必须由视觉信息唯一确定

题干应尽量短，避免出现需要常识补全、需要外部知识检索、或需要多步语义推理才能确定答案的表述。理想状态下，题干只说明“要做什么”，而不提示“怎么得到”。

3.2 抑制“文字可还原性”

对每道题做一次自检：能否用一段文字把图像内容完整描述出来，且描述后不看图也能作答？如果能，这道题就存在语言捷径，应重新设计或剔除。

3.3 控制猜测空间

选项数量与干扰项设计要保证随机猜测的期望分数足够低。对于连线、匹配类题目，应让干扰项在语义上同样“合理”，避免模型靠排除法蒙对。

3.4 提供人类基线

评测集应配套人类基线，且基线要分层——例如按不同年龄段儿童与成人分别统计。这样得到的不只是“模型得了几分”，而是“模型相当于什么水平”的可解释结论。这也是该类评测最有传播价值的部分：把模型与儿童放在同一张试卷上，能力差距一目了然。

3.5 任务类型覆盖视觉核心能力

建议至少覆盖以下维度，且每个维度都要有足够的题目量以降低方差：

• 视觉追踪：沿路径、连线、遮挡关系追踪目标
• 空间关系比较：相对位置、前后遮挡、包含关系
• 心理旋转与空间想象：图形旋转、折叠、展开
• 模式归纳：从视觉样例中总结规律并外推
• 细粒度属性辨识：颜色、形状、数量的精确判别

四、典型题型剖析：连线追踪为何成为分水岭

在已公开的对比实验中，一类“看似幼稚”的题目表现出极强的区分度：三件物品各自沿一条曲线连到不同颜色的目标容器，要求判断每条线的终点。正确答案由路径本身唯一决定，题干不提供任何语义提示。

人类（包括低龄儿童）的解法几乎是本能的：从起点出发，用手指或视线沿线走到终点，遇到交叉处依靠连续性判断。而部分顶尖模型的表现却是：输出一大段“逐段追踪”的推理文字，逐段描述线条走向，最后仍把两条路径接反。

这一现象值得从机制层面解读：

1. 语言先验压过感知证据。模型在生成推理链时，倾向于产出“看起来合理”的描述，而不是真正对像素做逐点计算。描述越流畅，越容易掩盖感知错误。
2. 交叉点处的信息整合失败。路径交叉要求模型在同一位置同时保持多条轨迹的身份绑定，这是典型的目标持续追踪问题，对注意力机制的要求远高于单目标识别。
3. 错误不可自检。纯语言任务中，模型可以通过前后逻辑一致性发现矛盾；而视觉追踪的错误在文本层面往往自洽，模型缺乏“回看图像验证”的机制。

由此可以提炼一个更一般的判断：当任务要求模型维持多个视觉对象的身份并在变换中保持绑定关系时，当前模型的失分率显著上升。这类任务正是评估视觉能力的高价值题型。

五、从小试卷到大评测：分层设计的工程考量

一套可用的评测集不应只有“难”这一维度，而应具备分层结构，便于定位能力瓶颈。

• 入门层（Mini 集）：题量小、题型直观，用于快速筛查与横向对比，适合在模型迭代早期做回归检测。其价值在于低成本、高区分度——如果模型连这一层都过不了，后续复杂任务的表现不值得细看。
• 核心层：覆盖前述五类视觉能力，每类均衡采样，用于给出能力画像而非单一总分。
• 压力层：引入组合任务（如追踪+旋转+计数），用于探测能力上限与失效模式。

在工程实现上，建议注意以下几点：

# 评测流水线的关键控制点（示意）
eval_config = {
    "prompt_template": "minimal",      # 题干最小化，禁止提示解题步骤
    "max_output_tokens": 512,          # 限制冗长推理链，暴露真实感知结果
    "answer_format": "structured",     # 结构化输出，便于自动判分
    "human_baseline": {"age_groups": [3, 6, 10, 12, "adult"]},
    "shuffle_options": True,           # 打乱选项，抑制位置先验
    "report": ["per_capability", "per_age_baseline", "error_taxonomy"],
}

其中“限制输出长度”常被忽视但很重要：不限制时，模型会用长篇推理稀释错误；限制后，感知层面的短板更容易被稳定观测。“错误分类统计”同样关键——把错误归入追踪失败、绑定丢失、属性混淆等类别，比一个总分更有诊断价值。

六、对开发者与企业的实践建议

这类评测结论如何转化为可操作的工程判断？

第一，不要用语言类榜单代替视觉选型。 在需要空间判断、路径规划、图文一致性校验的业务中（如界面理解、图纸核对、流程截屏分析），应以视觉中心任务做补充测试，避免选到“语言强、感知弱”的模型。

第二，在提示设计中主动抑制语言捷径。 对视觉任务，减少“请一步步分析”这类鼓励长推理的指令，改为要求直接给出结构化答案；必要时要求模型先输出关键坐标或区域，再给出结论，迫使它落到像素层面。

推荐提示结构：
1) 先输出你观察到的关键视觉元素及其位置（不超过 3 条）
2) 再输出最终答案（单行结构化格式）
3) 不要复述题干，不要展开语义联想

第三，把视觉能力纳入回归测试。 模型升级或切换供应商时，视觉任务的性能波动往往大于语言任务，且不易被常规文本评测发现。建议维护一个小规模、固定版本的视觉冒烟测试集。

第四，对高风险视觉环节保留人工复核。 在追踪、计数、细粒度属性判别这类模型已知薄弱环节上，自动化结果应设置置信度门槛与抽样复核机制。

七、结语

多模态评测的真正难点，不是把题目出得更难，而是把“语言”从题目里拿走，让视觉能力无处躲藏。当模型无法依靠文字推理蒙混过关时，我们才能看清它在追踪、比较、空间想象与模式归纳上的真实水位。

对开发者而言，这意味着选型与调优都需要一套以视觉为中心的补充评测方法；对企业而言，这意味着在视觉相关业务中要更谨慎地设定自动化边界。评测集的价值也正在于此：它不仅给出分数，更标出了能力边界的位置——而边界之内如何工程化落地、边界之外如何设计人机协作，才是接下来真正值得投入的部分。