空间推理新范式：让多模态模型先“想象”再回答

一、问题提出：多模态模型为何难以理解空间？

近年来，多模态大语言模型（MLLM）在图文理解、视觉问答、视频描述等任务上取得了显著进展，模型能够根据输入的图像或视频生成流畅的自然语言回应。然而，当面对涉及物体间相对位置、前后遮挡关系、三维几何结构甚至多视角一致性判断的任务时，这些模型的表现往往令人失望。例如：

• 给定一张室内照片，模型能准确说出“沙发上有一个抱枕”，但当被问到“从门的视角看，抱枕是否会被台灯遮挡”时，模型常常给出自相矛盾的答案。
• 在面对一组从不同角度拍摄的同一物体照片时，模型难以判断哪些视角属于同一物体，更无法推演出物体的完整三维轮廓。

这种“视觉理解”与“空间推理”之间的鸿沟，暴露了当前主流多模态模型的一个根本性局限：它们虽然在像素级特征编码上极为擅长，却缺乏一种类似人类大脑中“三维世界模型”的结构化表示能力。人类在回答空间问题时，往往不是简单地扫描像素，而是在脑海中快速构建一个虚拟的三维场景副本，然后在这个副本中进行视角变换、遮挡判断和路径规划。而现有模型要么只处理单视角特征，要么被喂入大量原始点云或深度图信息，却始终没有学会像人一样“先在脑中搭建场景，再基于场景回答问题”。

二、透视现有技术路线的三重困境

为了探寻问题根源，将当前多模态模型处理空间信息的常见方案归纳为三类，每一类都存在结构性局限。

第一类：基于单视角特征的语言映射。 绝大多数MLLM将图像通过视觉编码器转换为一组token序列，然后直接送入语言模型与文本token一起进行自回归生成。这种方式本质上是在“二维平面”上进行特征交互，模型从未显式地感知到物体之间的深度差异、远近关系或三维几何约束。即使输入是多个视角的图像，模型也只是将它们机械拼接，无法在空间上对齐这些视角。其结果是，模型能描述“看到什么”，却无法回答“物体在三维空间中如何排列”。

第二类：直接输入点云或深度图。 有些工作尝试将三维点云作为额外输入通道，期望模型能从三维数据中自动习得空间推理能力。然而，点云数据是稀疏、无序且高维的，直接将它们编码为token会带来巨大的计算开销，且模型往往陷入对底层几何细节（如局部曲率、点密度变化）的过度关注，忽略了更高层的语义关系——比如“杯子在书本的左边”这种抽象的空间谓词。这类模型即使能精确定位每个点的坐标，也未必能回答“如果把杯子向右平移10厘米，它还会挡住书本吗”这类涉及空间变换的问题。

第三类：隐式空间注意力机制。 一些模型尝试通过改进注意力结构，让模型在计算注意力时考虑到token之间的位置关系或深度信息。但这种改进仍是隐式的、局部的，模型从未在一个显式的中间表示上完成“场景构建”，因此缺乏全局的空间一致性。多个视角之间的信息融合常常出现矛盾，模型甚至会在一次回答中同时说出“物体在左边”和“物体在右边”这两种冲突描述。

综上，这三类方案共通的问题在于：模型没有经历一个“构建三维场景表示”的中间推理过程，而是试图从像素或点直接跳到语言输出。这类似于让一个人从未见过三维物体，却要求他描述一个物体的背面长什么样——即使给了他无数张正面照片，他也无法推导出来。

三、方法核心：在回答之前“先拼出场景”

受到人类空间认知机制的启发，该研究提出了一种全新的训练范式，其核心思想非常直观：让多模态模型在输出最终答案之前，先用一个显式的三维场景表示中继层，将输入的二维视觉信息“重建成”一个结构化的场景描述，然后基于这个场景表示进行推理和回答。

整个流程可以拆分为三个关键阶段：

阶段一：多视角输入编码与特征提取

模型首先接收一幅或多幅图像（实际部署中可以是来自不同角度或不同时间的多张照片）。与标准视觉编码器不同，本文方法在特征提取阶段引入了视角感知的位置编码机制——每个视觉token不仅包含其内容特征，还携带了其来源图像对应的视角参数（水平角和俯仰角）。这一设计使模型在后期的场景融合阶段，能够自然地根据视角信息将不同图像的特征“投射”到同一个三维坐标系下。

阶段二：显式三维场景表示生成

这是整个流程的核心创新所在。模型摒弃了直接输出文本的做法，而是先通过一个解码器生成一个结构化的三维场景表示，称之为“场景草图”（Scene Sketch）。需要注意的是，这里的“场景草图”并非逐点重建的高密度点云，而是一种稀疏的、语义化的三维表示：它由一组具有空间坐标和语义标签的物体级token构成。比如，面对一张客厅照片，模型需要先输出一个包含“沙发”、“茶几”、“电视”、“落地灯”等物体实例的位置、朝向和大致尺寸信息的结构化描述，以JSON或类似格式组织。

这种表示的巧妙之处在于，它是一种介于像素和语言之间的中间形态——既保留了空间几何信息，又具备语义抽象能力。通过训练，模型学会了将一个二维图像集合“翻译”成一个紧凑且一致的三维场景描述。在此过程中，模型被迫去理解遮挡关系、相对位置以及物体间的空间配置，而不是简单地复制或拼接像素。

阶段三：基于场景表示的问答推理

在完成场景草图生成后，模型将其注入到后续的推理过程中，与原始文本指令一起作为输入。此时，语言模型并非直接阅读原始图像token，而是基于这一结构化场景表示进行空间推理。由于场景表示本身已经包含了三维位置信息和物体间空间关系，模型回答问题的过程就转化为“读取”这份场景图并对其中结构进行逻辑推断。

例如，当问题为“桌上最大的物品是什么？它在窗户的哪一侧？”时，模型只需从场景草图中找到对应桌子和物体的空间坐标并进行比较，而无需回到低层级像素特征中反复寻找。这个阶段充分释放了语言模型天然具备的逻辑推理能力，同时避免了视觉特征与空间关系混杂带来的干扰。

四、训练策略与实现要点

要让模型学会上述“先拼场景再回答”的复杂技能，研究者设计了两个阶段的训练流程。

预训练阶段：场景重建自监督学习。 第一阶段的目标是让模型具备“从多视角图像生成场景草图”的能力。该阶段采用了跨视角一致性损失函数：对于同一场景的多个视角输入，模型生成的场景草图必须在空间上对齐——即不管从哪个视角出发，生成的车物体位置应彼此一致。这种损失设计利用了多视角间的几何约束，促使模型学到真正的三维空间理解，而不是针对单张图像的过拟合。

指令微调阶段：空间问答任务对齐。 第二阶段则侧重于场景草图与语言问答之间的衔接。研究者构造了大量的空间问答数据对，每条数据包含若干图像、一个空间推理相关问题以及期望的中文或英文答案。在微调过程中，模型需要同时完成两项任务：第一步从图像生成场景草图，第二步基于场景草图和问题生成答案。由于场景草图占据中间位置，反向传播的梯度会同时流向视觉编码器和语言解码器，从而使整个模型协同优化。

在实现层面，研究者采用了标准的Transformer架构作为基底，其中视觉编码器与语言解码器共享一个特征空间。场景草图通过一组结构化的token序列来表示，每个物体实例对应一个固定长度的token子序列，包含类别标识、三维坐标（归一化）、朝向角以及尺寸向量。这种离散化的表示方式保证了它能无缝集成到现有的大语言模型框架中，无需修改模型的前向传播逻辑。

五、实验结果与性能分析

该研究在多个公开的空间理解基准上进行了评估，覆盖了室内场景问答、遥感图像路径规划、多视角物体识别以及遮挡关系推理等任务。结果显示，该方法在所有任务上均优于现有的多模态基准模型，尤其在与三维空间关系高度相关的子任务上提升明显。

其中最具启示性的发现在于：当移除“场景草图生成”这一中间步骤（即退化为标准MLLM的端到端训练模式）时，模型性能大幅下降，在涉及远近距离比较、视角变换判断的任务上准确率接近随机水平。这证实了引入显式中间表示的必要性——模型并不是简单地因为“参数更多”或“数据更大”而变强，而是因为获得了正确的推理路径。

此外，研究者还进行了消融实验，考察场景草图的不同编码方式对性能的影响。结果显示，与使用高密度点云表示相比，稀疏的物体级token表示在空间问答任务上效果更优，且推理成本显著更低。这表明，对于语言模型而言，适度的语义抽象比原始的几何精确更重要——这与人类在空间推理时使用“符号化空间地图”而非“像素级三维复制”的认知方式高度一致。

六、深思与启示：空间推理的下一站

该研究对多模态智能的发展提供了一个值得深思的路径选择。它揭示了一个被当前大模型热潮所掩盖的真相：扩展模型参数量或数据规模，并不能自动赋予模型人类式的空间推理能力，而是必须显式地为其设计正确的中间表征和推理结构。

从更广阔的角度看，“先构建场景，再回答”这一范式不仅适用于空间推理。它可以推广到更一般的结构化推理场景——比如因果推理中先构建事件图、数学推理中先构建方程表达式。这种“中间产物驱动推理”的理念，可能成为下一代多模态大模型设计的一条重要原则。

当然，该方案也存在局限性。当前场景草图仅能表示静态物体，对于动态场景（如人移动、物体被搬运后的场景变化）尚缺乏建模能力。此外，场景草图的类别数量受限于预定义物体类别集合，对开放世界中的未知物体表达能力有限。未来工作可望在动态场景表示、开放集物体识别以及场景草图与其他推理形式（如符号逻辑）的融合方面取得突破。

结语

“教会AI在回答之前先拼出3D场景”这一理念，看似是一小步的技术改进，实则涉及人工智能认识论的深层转变：从“识别像素”走向“构建世界模型”。当模型能够在一个结构化的三维空间中自由地旋转视角、比较距离、预测遮挡时，它才真正迈出了从感知智能到认知智能的关键一步。对于开发者而言，这一范式也提供了一个重要的工程启发：在构建复杂的多模态应用时，不应只关注输入端到输出端的映射质量，更应思考如何在中间链路中嵌入符合任务本质的“世界表示”。