简介:语言推理能力突飞猛进的当下,大模型真的"看懂"世界了吗?BabyVision评测集通过视觉中心任务剥离语言捷径,将模型与儿童做同一张试卷,暴露出多模态模型在视觉追踪、空间想象、模式归纳等基础能力上的短板。本文从定义、评测设计原理、核心能力与评估价值等角度,系统解读这一视觉理解评测体系。
BabyVision是一类专门用于评估多模态大模型视觉理解能力的评测集(Benchmark)。它的核心命题是:当一个问题无法仅依靠文字描述完整传达、必须依赖图像本身的信息才能解答时,模型是否还具备真正的”看图能力”。
要理解这一定义,需要先厘清一个关键区分。当前许多所谓的多模态测试题,实际上存在”语言捷径”:如果一个视觉问题可以被完整地转述为纯文本且信息不丢失,那么模型的回答本质上依赖的是语言推理能力,而非视觉感知能力。模型可以凭借强大的文本推理”蒙对”答案,看起来像是看懂了图片,实则根本没有调用视觉通路。BabyVision的设计目标正是切断这条语言扶梯,迫使模型在没有文字辅助的情况下,纯粹依靠对图像的感知来完成任务。
从分类学上看,这类评测集属于”通用能力追踪型”(AGI Tracking)评估体系中的多模态分支,与面向职业场景、衡量实用价值的评估赛道相互独立。前者关注的是模型能力边界的演进趋势,后者关注的是落地价值,两者共同构成双轨评估框架。
过去一年,大模型在语言与文本推理领域进展显著:能够撰写论文、解答难题,甚至在顶级学术竞赛类题目上刷新成绩。但与之形成反差的是,当问题”不能用语言说清楚”时,模型的表现往往大幅下滑。有研究者曾形象地指出:模型可以在高难度的数学竞赛中取得优异成绩,却可能在小学几何题上出错;能生成观感惊艳的图像,却不理解杯子为什么不会飘在空中——这背后反映的是物理直觉与视觉常识的缺失。
传统评测数据集的构建方式,决定了它们天然偏向”语言可描述”的题目:出题者先有文字化的问题,再配图验证。这种方式产出的题目,语言推理足以解出大半。长此以往,评测结果会高估模型的视觉能力,导致研发方向被误导。视觉中心评测集通过反向构建流程来解决这一问题:先确定任务必须依赖的视觉能力,再设计无法用语言绕行的问题。
评测需要参照系。BabyVision采用了一个朴素而有力的参照:人类儿童。儿童在识字之前的认知过程几乎完全依赖视觉:比较、追踪、空间想象、模式归纳。如果一个大模型在同样题目上的表现不如幼儿,说明其视觉理解尚未建立基础。这一参照使”模型是否真正看懂”从哲学争论变成可量化的对照实验。
视觉中心任务并非单一题型,而是覆盖多项基础视觉能力的组合,主要包括四类:
该评测集先构造规模较小的子集(可视为Mini版本),选取约20道严格控制语言依赖的视觉中心任务。每道题的要求用极简文字表述,但答案必须且只能由图像信息得出——即题目文本本身不含任何解题线索。
研究团队将同一套题目分别交给不同年龄段的人类儿童(如3岁、6岁、10岁、12岁)与当时的顶尖多模态模型作答,形成年龄分段的正确率基线。这使评测结果可以直接映射到人类视觉认知的发展阶段:模型得分落在3岁基线以下,意味着其视觉理解尚处于”学前”水平;越过某一年龄线,则代表具备相应阶段的能力。
以一道连线类题目为例:图中三件物品分别沿若干条相互交叉的线条连接到不同颜色的垃圾桶,要求判断每件物品连向哪个桶。正确解法是视觉追踪——从物品出发沿线走至终点的本能动作,幼儿的真实作答痕迹也印证了这一点。而受测模型虽然生成了看似严谨的逐步追踪推理,最终却把两条路径接反。这一现象说明:文本推理链不能弥补视觉感知的缺失,语言输出只是结果的外衣,底层表征才是能力的根本。
公开的结果呈现出几个显著特征:
这些结论对整个行业具有警示意义:在语言竞赛指标上你追我赶的同时,视觉地基仍然薄弱,而视觉理解恰恰被认为是通向”世界模型”(World Model)的关键前提。
BabyVision所代表的视觉中心评测理念,其核心价值在于用”无法用语言绕行”的题目还原视觉理解的本来面目,并以儿童认知发展为标尺,给出了一个直观、可量化的能力坐标。它揭示的事实是:当前大模型的视觉理解普遍仍处”学前阶段”,语言推理的繁荣掩盖了视觉地基的空缺。展望新一轮多模态与世界模型的技术浪潮,”先测真能力、再谈大突破”应成为模型研发与技术选型的基本共识。对于开发者而言,理解并善用这类评测集,是判断模型虚实、规划技术路线的必要工具。