简介：当前大模型在文本推理上表现突出，但视觉理解能力仍存在明显短板。本文围绕“语言可描述问题”与“视觉中心问题”两类评估方式展开对比，分析模型为何会在简单视觉任务中失效，并从评估设计、能力差异、适用场景与选型建议等角度给出系统判断，帮助开发者和技术负责人在多模态能力评估与模型选择时避免陷入基准分数陷阱。
过去一年，大模型在语言与文本推理任务上的进展有目共睹。论文写作、复杂题目求解、竞赛级推理等场景中，模型表现不断刷新上限。然而，一个容易被忽视的问题是：当任务无法用自然语言完整描述时，模型是否仍然具备可靠的理解能力？
这个问题并非理论层面的担忧。在实际应用中，越来越多的场景要求模型直接处理视觉信息，例如工业质检中的缺陷识别、自动驾驶中的空间关系判断、文档图像中的结构解析等。如果模型的“理解”实际上依赖语言推理的旁路，而非真正的视觉感知，那么在这些场景中就会出现系统性的失效。
一个关键判断标准是：如果一个视觉问题可以完全用文字描述而不丢失信息，那么它本质上已经退化为文本题。 模型可以依靠强大的语言推理能力通过测试，表面上看起来具备视觉能力，实际上是在走语言捷径。真正的视觉能力，需要在没有语言扶梯的情况下完成比较、追踪、空间想象和模式归纳。
这一观察与业界多位研究者的判断一致。通用人工智能领域的代表性人物曾指出，模型可以在国际数学奥林匹克中取得优异成绩，却会在小学几何题上出错；能够生成视觉上惊艳的图像，却不理解物体为何不会悬浮在空中。这种“高分低能”的错位，正是当前多模态评估需要直面的核心问题。
为了厘清问题，有必要先定义本文对比的两个对象。
语言可降级评估：指那些虽然以图像或视频形式呈现，但所有解题所需信息都可以无损地转述为自然语言的评估任务。例如，给出一张包含文字的截图，要求模型回答其中某个数据是多少。这类任务在信息论意义上并不真正依赖视觉通道，语言通道足以承载全部有效信息。
视觉中心评估：指解题所需的关键信息无法用自然语言完整描述，必须依赖视觉感知本身来提取和处理的任务。例如，判断三条交叉线分别连接到哪个端点、比较两个不规则区域的面积大小、在遮挡场景中追踪物体运动轨迹等。这类任务的核心特征是：语言描述会造成不可逆的信息损失。
两者的本质区别不在于“是否包含图像”，而在于视觉通道是否承担不可替代的信息处理职能。这一区分直接决定了评估结果的有效性：用语言可降级任务评估视觉能力，得到的是语言推理与视觉感知的混合分数，无法准确反映模型的真实视觉水平。
在一项直接对比实验中，研究者将20道视觉中心任务组成小型测试集，分别交给不同年龄段的儿童和当前主流多模态模型完成。题目的语言要求被严格控制——指令足够简单，答案必须来自视觉信息本身。
结果呈现出显著的断层：
用一个具体题目可以直观说明这一差距。题目内容是：三件物品沿三条线分别连接到三个不同颜色的垃圾桶，要求判断每件物品对应哪个垃圾桶。正确答案为A连蓝色、B连黄色、C连绿色。然而，某领先多模态模型的回答是A连绿色、B连黄色、C连蓝色——模型在追踪线条时出现了交叉混淆。
人类解决这类问题的方式近乎本能：从端点出发，沿线追踪到终点。3岁幼儿即可完成，而顶尖模型却在线条交叉处丢失了追踪目标。这说明当前多模态模型在细粒度空间追踪和视觉连续性感知方面存在基础性缺陷，远未达到人类幼儿的水平。
这种差异不能简单归因于“训练数据不足”。线条追踪是视觉系统的基础功能之一，在人类视觉发育早期就已具备。模型在这类任务上的失败，反映的是当前视觉编码与推理架构在底层能力上的短板，而非单纯的数据覆盖问题。
从技术角度分析，模型在视觉中心任务上表现不佳的原因可以从以下几个维度理解。
信息编码损失：当前主流多模态模型的视觉处理流程通常是将图像切分为若干离散块，再通过编码器转换为向量表示。这一过程本质上是一种有损压缩。对于需要精确空间关系判断的任务——如线条追踪中的连续性判断——离散化和向量化会造成关键拓扑信息的丢失。语言可降级任务因为信息冗余度较高，即使存在编码损失，语言通道仍可补偿；而视觉中心任务对信息保真度的要求更高，编码损失直接导致无法完成追踪。
注意力机制的局限：Transformer架构中的注意力机制擅长捕捉全局语义关联，但在处理精细空间结构时存在固有困难。线条交叉处的局部邻接关系、路径的逐步推进逻辑，需要的是序列化的、逐步推进的追踪能力，而标准注意力机制更倾向于一次性地聚合全局信息。这种机制上的错配，使得模型在回答视觉追踪问题时容易“跳步”或“短路”。
语言先验的干扰：当模型在训练过程中大量接触图文配对数据时，会形成强语言先验。面对视觉问题时，模型可能倾向于激活与图像内容语义相似但空间关系不匹配的语言模式，而非忠实地执行视觉追踪。这解释了为什么模型会给出“A连绿色”这类看似合理但视觉上错误的答案——语言层面的统计规律覆盖了视觉层面的真实信息。
尽管语言可降级评估与视觉中心评估在信息需求上存在本质区别，但两者并非完全割裂。
首先，两者共享同一套模型基础设施。无论是语言任务还是视觉任务，当前主流方案都基于统一的多模态架构，视觉编码器与语言模型通过跨模态对齐层连接。这意味着语言能力的提升可能间接改善部分视觉任务的语义理解，反之亦然。
其次，实际应用中的任务往往是混合型的。许多真实场景既包含可语言化的语义信息，也包含不可语言化的视觉细节。例如，分析一张产品结构图，既需要理解图中的文字标注，也需要判断部件之间的空间关系。因此，评估体系不能只依赖单一类型的任务，而应覆盖从语言依赖到视觉依赖的连续谱系。
第三，两类任务的评估方法论可以相互借鉴。语言可降级评估在标准化、可复现性和规模扩展方面积累了成熟经验，这些方法论可以迁移到视觉中心评估的设计中。反过来，视觉中心评估对“信息通道不可替代性”的严格要求，也为语言评估提供了重新审视任务有效性的视角。
以下从多个关键维度对两类评估范式进行系统对比：
| 对比维度 | 语言可降级评估 | 视觉中心评估 |
|---|---|---|
| 信息通道 | 语言通道可承载全部有效信息 | 视觉通道不可替代 |
| 评估目标 | 混合能力（语言+视觉） | 纯视觉理解能力 |
| 模型得分风险 | 语言推理可掩盖视觉短板 | 无法通过语言捷径绕过 |
| 任务设计难度 | 较低，图文配对数据充足 | 较高，需严格控制语言信息量 |
| 对架构缺陷的敏感度 | 较低 | 较高，直接暴露编码损失与注意力局限 |
| 与实际视觉应用的关联 | 间接 | 直接对应空间推理、追踪、比较等核心能力 |
| 适合的评估阶段 | 初筛、综合能力快速判断 | 深度诊断、视觉专项能力验证 |
基于上述对比，不同需求场景下的评估策略应有明确侧重。
模型综合能力初筛阶段：如果目标是快速了解模型在多模态任务上的整体水平，语言可降级评估仍然具备效率优势。这类任务易于批量构造、自动评分，适合大规模横向比较。但评估结果需要明确标注“综合多模态能力”，不应被解读为纯视觉能力得分。
视觉专项能力诊断阶段：当应用场景明确依赖空间推理、目标追踪、视觉比较等能力时，必须引入视觉中心评估。例如，机器人导航中的障碍物判断、工业检测中的缺陷定位、医学影像中的结构分析等，都需要模型具备真正可靠的视觉底层能力。在这些场景中，单纯的语言可降级评估得分不具备参考价值。
生产环境模型选型：建议采用“双轨评估”策略。第一轨使用语言可降级评估快速圈定候选模型范围，第二轨使用视觉中心评估对候选模型进行专项验证。尤其在模型需要直接输出视觉判断结果、且错误代价较高的场景中，第二轨的权重应显著提升。
持续能力追踪：视觉能力不应被视为静态属性。随着模型迭代，视觉中心评估的结果变化比综合分数变化更能反映底层架构的实质性进展。建议将视觉中心评估作为长期追踪的固定环节，而非一次性验证。
对于正在使用或计划引入多模态模型的团队，以下注意事项值得关注。
避免单一基准依赖：不要仅依据某一个综合基准分数做出选型决策。应明确该基准中语言可降级任务与视觉中心任务的比例，并分别查看两类子任务的得分。综合分数可能完全掩盖视觉专项能力的不足。
评估任务与业务场景的对齐校验：在正式接入前，建议从实际业务数据中抽取少量样本，人工标注后构建内部微评估集。重点验证模型在业务特定视觉模式上的表现，而非仅依赖公开基准结论。
关注推理过程中的可解释性：对于视觉判断类任务，尽量要求模型输出判断依据或中间步骤。这有助于发现模型是否真正执行了视觉追踪，还是基于语言先验进行了猜测。纯粹的黑盒输出在高风险场景中不可接受。
架构升级的兼容性评估：如果后续计划升级多模态模型版本或更换底层架构，需要重新执行视觉中心评估。语言可降级任务的得分提升并不保证视觉中心任务同步改善，架构变化可能带来视觉能力的非单调变化。
当前多模态模型的视觉能力评估存在一个核心矛盾：语言能力的快速发展可能掩盖视觉理解的实质缺陷。通过区分语言可降级评估与视觉中心评估，可以更准确地诊断模型在真实视觉任务中的表现边界。
对比结果表明，大多数当前模型在视觉中心任务上的表现仍低于3岁儿童基线，在细粒度空间追踪、连续性判断等基础能力上存在明显不足。这意味着，在需要可靠视觉判断的应用场景中，仅凭综合多模态分数进行选型存在显著风险。
对于开发者和技术决策者而言，核心启示是：评估方式决定了你能看到什么。 使用语言可降级任务评估视觉能力，看到的是语言能力的高分投影；只有使用视觉中心任务，才能暴露真实的视觉短板。建立双轨评估体系，将视觉专项能力作为关键场景的硬性门槛，是当下更稳妥的工程实践选择。