多模态大模型如何习得空间推理能力：从“精确几何”到“想象式3D场景”

一、问题的提出：单视角很强，多视角就“翻车”

多模态大语言模型（MLLM）在单图理解任务上已经相当成熟：图像描述、视觉问答、文档理解等场景中，模型的表现甚至在某些基准上超过人类。但只要把任务从“一张图”换成“同一场景的多张图”，模型的表现就会明显下滑。

一个典型的测试是这样的：给模型同一间屋子的四张不同角度照片，然后提问“床在这张照片里位于椅子的左边还是右边”“门后面是什么”。人类完成这类任务几乎不费力——看一眼几张照片，大脑会自动把椅子、桌子、门对应起来，在脑中拼出一个大致房间轮廓，然后据此回答方向问题。而当前先进的多模态模型却经常答错。

这个差距的根源不在于“识别”，而在于“整合”。单张图片的信息是现成的，模型只需识别图中有什么；多视角推理则要求模型先意识到这几张照片描述的是同一个空间，再把它们在心里“拼”起来，建立物体之间的相对位置关系，最后才能回答空间问题。这是一个多阶段的推理过程，而非一次简单的特征匹配。

二、两条主流路线的局限

针对多视角空间推理，过去的研究主要尝试了两条路径。

路线一：把更精细的几何信息直接喂给模型

第一种思路是增强输入中的几何信号，例如把每个图像小块对应的3D坐标编码进模型输入，或者在图像上叠加鸟瞰图标记点，帮助模型对齐不同视角中的相同内容。这类方法的出发点是“信息不足”，因此不断叠加像素级的几何细节。

但问题在于：几何坐标是精确的，推理却未必因此变好。模型接收了大量低层几何信号，却没有被引导去构建“场景级”的空间结构。换句话说，它拿到了砖块，但没学会盖房子。过多的像素级几何细节反而可能稀释语义信息，让模型难以把注意力集中在物体关系上。

路线二：外挂3D几何基础模型作为“助手”

第二种思路是引入专门的3D重建基础模型（如近年提出的若干从多图直接估计深度、相机位姿的几何基础模型），把其提取的几何特征与模型自身的图像特征融合，相当于给大模型配一个随时提供参考数据的“3D助手”。

这条路线在工程上更可行，但也存在明显短板：外挂模型输出的是几何估计结果，而非可推理的场景表征；两个特征空间的对齐本身就需要额外训练；更重要的是，几何基础模型的误差会直接传导给下游推理，且模型仍然没有显式地“在脑中拼出场景”这一步。

两条路线都试过之后，效果只是略微提升，距离人类水平仍有明显差距。这促使研究者反思一个更根本的问题：人类真的是靠记住每个像素的精确坐标来理解3D空间的吗？

三、认知科学的启示：人类的空间表征是“粗糙但够用”的

认知科学给出的答案是否定的。人脑并不维护一个像素级精确的3D模型，而是构建一种粗略的、以物体为中心的空间表征：我们知道床在房间哪一侧、门大致在哪个方向、桌子与椅子相邻，但不会记住每个点的精确坐标。这种表征是“不靠谱”的，却足以支撑日常空间推理。

这带来一个关键洞察：空间推理的瓶颈可能不在于几何精度，而在于是否具备一个可操作的中间场景表征。如果模型能从多视角输入中先构建一个粗略但结构化的3D场景“心象”，再基于这个心象回答问题，那么推理过程就更接近人类的做法。

四、想象式3D场景：一种反常规的中间表征

基于上述分析，一种新的方法思路是：不让模型学习更精确的几何坐标，而是让它先在心里“想象”出一个粗糙的3D场景，再回答问题。可称之为“想象式3D场景”路线。

其核心流程可以概括为三个阶段：

1. 视角聚合：模型接收多张视角图像，识别出它们属于同一场景，并提取各视角中的物体及其语义属性。
2. 场景想象：模型生成一个粗略的场景级表征——不是精确的深度图或点云，而是一个结构化的“心理草图”，描述有哪些物体、它们大致在空间的什么方位、彼此之间是什么关系。
3. 基于想象的推理：模型在这个想象出的场景上进行空间关系查询，例如判断“床在椅子的左侧”“门后是走廊”，并生成自然语言答案。

这一设计的关键在于：中间表征是语义化、结构化的，而非像素级几何化的。它允许模型在信息不完整的情况下做出合理推断，也更贴合大模型擅长的符号化推理能力。

一个概念性的伪代码示意如下：

输入: 多视角图像 I_1 ... I_n, 问题 Q
1. 对每个视角提取物体集合 O_i = { (类别, 属性, 粗略方位) }
2. 跨视角对齐: 合并同一物体的多视角观测 -> 场景物体表 S
3. 场景想象: 推断物体间相对关系 R = { (A, 左/右/前/后/相邻, B) }
4. 在 (S, R) 上解析问题 Q 的空间约束
5. 输出答案 A

需要强调的是，这里的“想象”不是生成逼真图像，而是生成可被语言模型直接消费的结构化场景描述。这避免了引入额外的生成模型带来的误差与复杂度，也让推理过程更可解释。

五、工程落地要点与实践建议

若要在实际系统中实现类似能力，以下几个工程要点值得关注。

1. 视角对齐是第一步，也是容易忽略的一步

模型必须先判断多张图是否属于同一场景。实践中可以通过场景级语义相似度、相机位姿粗估计或显式的“同场景”分类头来完成。对齐失败时，后续所有推理都会失效，因此建议把对齐置信度作为可输出的中间信号，用于兜底与降级。

2. 中间表征要“够粗”，但不能“太粗”

场景想象需要保留足够的物体级信息（类别、属性、大致方位），但不必追求精确坐标。表征过细会退化为几何回归问题，表征过粗则无法支撑方向判断。建议以物体为节点、以相对关系为边构建场景图，并允许边带有置信度。

3. 训练信号的设计

可以采用多任务监督：物体识别、跨视角物体匹配、相对方位预测、最终问答。其中相对方位预测是关键中间任务，它为“场景想象”提供了直接的监督信号。数据构造上，可利用带相机位姿与标注的场景数据集自动生成相对关系标签。

4. 与几何基础模型的协同而非替代

想象式表征并不排斥几何先验。可以将几何基础模型输出的深度与位姿作为弱监督或辅助输入，用于提升视角对齐与方位估计的稳定性，但最终推理仍在结构化的场景表征上进行。这样既利用了几何信息，又避免了被像素级细节主导。

5. 评估要分层

端到端问答准确率不足以定位问题。建议分三层评估：视角对齐准确率、场景表征中物体与关系的一致性、以及最终空间问题回答准确率。分层评估能帮助判断瓶颈在感知、表征还是推理阶段。

六、小结

多视角空间推理的难点，不在于几何精度不够，而在于模型缺少一个可操作的场景级中间表征。把精确几何坐标硬塞给模型，或外挂几何基础模型，都是在“输入侧”做加法，却没有解决“表征侧”的缺失。想象式3D场景的思路，是把推理的中间态显式化、结构化，让模型先拼出一个粗略但够用的空间心象，再据此作答。这一路线与人类认知方式更接近，也为多模态模型的空间能力提升提供了一条值得工程化探索的方向。