先想象再作答：让多模态模型学会三维空间推理

一、问题背景：单视角很强，多视角就“失灵”

多模态大语言模型（MLLM）指的是能够同时接受图像、视频与文本输入，并用自然语言完成描述、问答、推理等任务的模型。在单张图片的理解上，这类模型的表现已经相当成熟：识别物体、判断属性、描述场景关系，很多任务上甚至接近或超过人类水平。

但一旦把任务换成多视角空间推理，表现就会明显下滑。典型的场景是：给模型同一间屋子从四个角度拍摄的照片，然后提问“床后面是什么”。单张照片里的信息是“现成”的，模型只需完成感知与识别；而多视角任务要求模型多做一步——先意识到这几张图描述的是同一个三维空间，再把它们在“心里”拼合起来，建立物体之间的相对位置关系，最后才能作答。这一步恰恰是当前模型的短板。

二、两条传统路线的局限

围绕这个问题，过去的研究大致走了两条路，但效果都只是略微提升，距离人类水平仍有明显差距。

路线一：注入更精细的几何信息。 例如把每个图像块对应的三维坐标直接编码进模型输入，或者在图像上叠加鸟瞰图标记点，帮助模型对齐不同视角中的相同内容。这种做法相当于把几何答案“喂”给模型，问题是像素级几何细节噪声大、维度高，模型很难从中提炼出“空间结构”这一层语义，反而容易被细节干扰。

路线二：引入三维几何基础模型作为“外援”。 这类基础模型能够从多张图片直接估计深度、相机位姿等几何信息，研究者将其提取的几何特征与模型自身的图像特征融合，相当于给模型配了一个随时提供参考数据的“三维助手”。问题在于，外部几何特征与语言模型的语义空间并不天然对齐，融合过程容易引入冗余与冲突，模型仍然没有学会“如何自己完成拼合”。

两条路的共同误区在于：它们都试图让模型掌握更精确的几何坐标，却忽略了人类空间推理的本质——人并不需要精确坐标，而是先形成一个粗略的、拓扑正确的三维心理表征，再在此基础上回答具体问题。

三、核心思路：先“想象”一个粗糙三维场景

沿着上述观察，一种反常规的思路是：不让模型学习更精确的几何，而是让它先在内部“想象”出一个粗糙的三维场景，再基于这个想象结果回答问题。可以把这个过程拆成三个阶段。

阶段一：视角关联。 模型先判断多张输入图像是否属于同一场景，并估计各视角之间的大致相对关系（前后、左右、环绕顺序）。这一阶段不追求精确位姿，只要求拓扑正确。

阶段二：场景想象。 在隐空间或中间表示中构建一个粗略的三维场景表征，例如以物体为单位的关系图，节点是物体，边表示“在……后面”“在……左侧”“在……上方”等相对关系。这个表征是稀疏的、语义化的，而非稠密的几何场。

阶段三：基于想象的推理。 回答问题时，模型在这个内部场景表征上做关系查询与路径推理，而不是直接在原始像素上做匹配。由于表征已经是三维一致的，跨视角的问题就能被稳定回答。

用伪代码示意这一流程：

def imagine_then_answer(images, question):
    # 1. 视角关联：判断是否同一场景，估计粗略相对关系
    view_graph = link_views(images)          # 输出视角间拓扑关系
    # 2. 场景想象：构建物体级三维关系图
    scene = build_scene_graph(images, view_graph)  # 节点=物体, 边=相对关系
    # 3. 基于想象的推理：在关系图上查询
    answer = reason_on_graph(scene, question)
    return answer

四、为什么“粗糙”反而更有效

这一设计的关键在于降低了对几何精度的依赖，同时提升了语义一致性。

• 鲁棒性更好。 粗略关系图对深度估计误差、相机位姿误差不敏感，个别视角的噪声不会破坏整体结构。
• 与语言空间更对齐。 物体级关系天然是语义化的，容易与语言模型的表示衔接，避免了稠密几何特征与文本特征之间的鸿沟。
• 可解释性更强。 中间的关系图可以被检查、调试与纠错，开发者能够定位是“视角关联错了”还是“关系判断错了”，而不是面对一个黑箱。
• 计算成本可控。 稀疏关系图的构建与查询成本远低于稠密三维重建，更适合在线推理场景。

五、工程落地要点

对开发者而言，落地这一思路有几个实践建议。

1. 中间表征的选择。 关系图是较易实现的起点，也可采用“物体槽位 + 相对位置标签”的混合表示。关键是保证表征稀疏、语义化、可增量更新。

2. 视角关联的兜底策略。 实际输入未必都是同一场景，需要先做场景一致性判定；对不一致的输入应显式拒答或分组处理，避免错误拼合。

3. 训练信号的构造。 可用合成的多视角数据构造“关系图—问答”配对监督，也可用现有多视角数据集自动生成关系标签。训练目标应同时覆盖视角关联、关系预测与基于图的问答三个子任务。

4. 与现有链路的集成。 这一框架可作为多模态模型的前置推理模块：先产出场景关系图，再交由语言模型完成最终生成。在云上部署时，可将关系图构建做成独立服务，配合对象存储存放多视角图像、消息队列解耦推理请求、日志与监控服务观测各阶段耗时与失败率，便于水平扩展与灰度迭代。

5. 评测设计。 除端到端问答准确率外，应单独评测视角关联准确率与关系预测准确率，以便定位瓶颈；同时关注跨场景泛化与长视角序列下的稳定性。

六、小结

多视角空间推理的难点，不在于几何精度不够，而在于模型没有形成三维一致的心理表征。让模型“先想象一个粗糙的三维场景，再回答问题”，把任务从像素级几何匹配转为语义级关系推理，是一条兼顾鲁棒性、可解释性与工程成本的可行路径。对构建空间理解能力的团队来说，值得将其作为多模态推理链路中的一个标准组件来设计与验证。