几何先验与隐式想象之辩：多模态模型空间推理的两条路线

一、对比背景：多视角空间推理为何成为瓶颈

多模态大语言模型（MLLM）在单图理解任务上已经相当成熟：看图说话、单图视觉问答、文档图像识别等场景的表现甚至接近或超过人类基线。但当任务从”一张图里有什么”切换到”同一空间的多个视角之间是什么关系”时，模型的表现会出现明显滑坡。

典型任务形态是：给定同一房间从四个角度拍摄的照片，提问”床的后面是什么””椅子在桌子的哪一侧”。要答对这类问题，模型至少需要完成三步隐式操作：第一，判断多张图像属于同一物理空间；第二，建立跨视角的物体对应关系；第三，在内部构建物体间的相对方位表征并据此推理。单图任务只需第一步之前的感知与识别，而多视角任务考验的是”拼装”能力。

围绕如何补上这块能力，当前研究与实践大致分成两条路线。本文对比的两类方案即：

• 方案 A：显式几何先验注入路线——把像素级或patch级的 3D 坐标、深度、相机位姿等几何信息，以编码或标注的形式直接喂给模型；
• 方案 B：隐式场景想象路线——不让模型记忆精确坐标，而是要求模型先在内部”想象”出一个粗糙的 3D 场景表征，再基于该表征回答问题。原始材料中讨论的 Imagine3D-LLM 即属于这一路线的代表性思路。

两条路线的分歧点不在于”要不要 3D 信息”，而在于几何信息以什么形态、在什么阶段、由谁承担建模责任。

二、对象定义：两类路线分别在做什么

方案 A：显式几何先验注入

这类方案的核心动作是”外部算好、模型接收”。常见实现包括：

1. 将每个图像块（patch）对应的 3D 坐标直接编码进模型输入嵌入，使模型在 token 层面就带有空间位置标签；
2. 在图像上叠加鸟瞰图标记点、深度图或相机位姿可视化，让不同视角中相同内容更容易被对齐；
3. 引入专门的 3D 几何基础模型（能够从多张图片估计深度与相机位置的模型类别）作为”外援”，将其提取的几何特征与模型自身的图像特征做融合，相当于在推理时旁边常驻一个几何参考源。

其技术假设是：模型空间推理失败的原因是”缺数据”，只要几何信息足够精细，对齐和推理能力就会自然涌现。

方案 B：隐式场景想象重建

这类方案的核心动作是”模型自己先建构、再作答”。以 Imagine3D-LLM 的思路为例，它不追求让模型记住每个像素的精确坐标，而是要求模型在生成答案之前，先在内部形成一个粗糙的、示意性的 3D 场景表征——物体在哪里、彼此大致什么方位——然后在这个”心理草图”上做方向判断。

其技术假设来自认知科学的观察：人类并不靠逐像素坐标做空间推理，而是靠稀疏、粗糙但结构化的场景表征。因此对模型而言，建模责任应从”精确几何回归”转移到”结构化场景想象的中间表征学习”上。

三、相同点分析：两条路线的共同目标

尽管实现路径相反，两类方案在以下方面高度一致：

1. 问题定位相同：都承认当前 MLLM 在多视角一致性、跨视角物体对应、相对方位推理上存在系统性短板，且单图能力的提升无法自动迁移。
2. 都承认几何信息有用：分歧不在是否使用 3D 线索，而在使用方式——一个外挂精确化，一个内化为粗糙表征。
3. 都依赖多视角数据管线：训练与评测都需要同一场景的多角度图像及配套问答标注，数据构建成本同源。
4. 都面临泛化考验：在训练分布外的场景布局、遮挡关系、视角稀疏度下，两类方案都需要额外验证，不能假设提升必然迁移。

四、核心差异分析

4.1 技术架构与依赖组件

方案 A 的系统边界更宽：除了 MLLM 本体，还需要几何编码模块或外部几何基础模型，且二者之间存在特征对齐层。整条链路的组件耦合度高，几何模块的输出质量直接决定上游输入的信噪比。方案 B 的系统边界更窄：几何建模被收进模型内部的中间表征学习过程，外部依赖少，但相应地，模型自身要承担更多表征学习压力，对训练目标设计与中间监督信号的要求更高。

4.2 功能能力与使用限制

方案 A 的优势在于几何线索”可解释、可检查”：坐标、深度、位姿都是显式量，出错时容易定位是几何估计环节还是推理环节的问题。局限在于精细几何与语义推理之间存在鸿沟——像素级坐标对齐并不等于模型理解了”床后面”这种以物体为参照的方位语义，原始材料中”效果只是略微提升”的现象正说明这一点。方案 B 的优势在于中间表征更贴近问答所需的语义粒度，粗糙但结构化；局限在于”想象”过程缺乏显式监督，表征质量难以直接度量，容易出现想象结果与真实布局偏离却无法察觉的情况。

4.3 接入方式与改造成本

方案 A 的接入通常表现为输入侧改造：增加几何特征通道、扩展输入编码维度、或在预处理阶段生成标注图。改动集中在数据管线与输入层，对模型主体结构改动相对可控，但需要维护一套几何预处理链路。方案 B 的接入更多表现为训练目标改造：需要在答案生成前引入中间场景表征的生成或对齐步骤，涉及训练流程与损失设计，属于”训练侧深水区”改动，推理侧则相对轻量。

4.4 性能与稳定性（通用维度）

在通用意义上，方案 A 因引入额外几何模块，推理链路更长，延迟与显存开销的增量更明显，且几何模块的估计误差会作为系统性噪声传导至下游。方案 B 在推理阶段若不显式输出中间表征，链路开销接近原生模型，但训练阶段的不稳定性风险更高——中间表征缺乏强监督时，训练收敛与效果复现的难度更大。两者均不应假设在未验证的场景下具备稳定收益。

4.5 运维与成本结构

方案 A 的成本重心在”管线运维”：几何预处理服务、特征版本兼容、外部几何模型升级带来的输入分布漂移，都需要持续投入。方案 B 的成本重心在”训练与评测”：中间表征的质量评估需要设计额外指标与消融实验，迭代周期更长，人力成本更集中。二者都不存在显著更低的总体拥有成本，只是成本分布位置不同。

4.6 可解释性与调试友好度

方案 A 在故障归因上更友好，几何中间产物可直接可视化核查。方案 B 的中间表征若以隐向量形式存在，调试需要借助探针或辅助解码手段，排查成本更高；但若将想象出的粗粒度场景以结构化形式外化输出，则可解释性会显著改善，这也是该路线工程化时的常见折中。

五、对比表格

对比维度	方案 A：显式几何先验注入	方案 B：隐式场景想象重建
核心思路	外部计算精确几何，编码进模型输入	模型先在内部构建粗糙 3D 表征再作答
系统依赖	需几何编码模块或外部几何基础模型	依赖少，主要靠模型自身与训练目标
改造位置	输入侧与数据管线为主	训练目标与中间表征为主
语义粒度	像素/patch 级，偏精细	物体级、布局级，偏粗糙结构化
可解释性	中间几何量可直接核查	需探针或结构化外化才便于核查
推理开销	链路更长，增量较明显	推理接近原生，训练开销更高
主要风险	几何误差传导、精细与语义脱节	想象偏离真实布局且难以察觉
适用阶段	已有几何管线、需快速验证	具备训练迭代能力、追求语义对齐

六、典型场景选择

1. 已有成熟几何预处理能力、需要快速在多视角问答上做增量验证：方案 A 的接入路径更短，输入侧改造即可上线对比实验，适合作为基线增强手段。
2. 任务以物体级方位问答为主、对精确坐标不敏感：方案 B 的语义粒度更匹配，粗糙场景表征足以支撑”某物在某物哪一侧”的判断。
3. 推理延迟敏感、部署资源受限：若方案 B 不显式输出中间表征，推理侧开销更接近原生模型，但需接受训练侧投入。
4. 需要故障可归因、便于线上排查：方案 A 的显式中间量更利于定位问题环节，适合对稳定性与可观测性要求高的生产系统。
5. 训练资源有限、缺乏中间监督设计能力：方案 B 的实施门槛更高，此时优先评估方案 A 或两者组合的可行性。

七、选型建议

选型应围绕三个条件化判断展开，而非比较哪条路线”更强”：

• 若团队的核心约束是上线速度与可解释性，且已有几何处理链路，可优先评估方案 A，将其作为增强输入的低风险起点；
• 若核心约束是语义对齐质量，且具备训练目标设计与消融评估能力，方案 B 的中间表征思路更值得投入；
• 若两者条件均部分满足，可考虑组合路径：以方案 A 的几何线索作为辅助监督，约束方案 B 的想象表征不偏离真实布局，从而兼顾可解释性与语义粒度。

需要强调的是，原始材料所反映的关键结论是：单纯堆叠精细几何并未带来与人类相当的空间推理能力，这说明”几何精度”不是唯一变量，”表征形态与任务语义的匹配度”同样关键。选型时不应把几何精度当作唯一评价标尺。

八、迁移与使用注意事项

1. 数据管线兼容性：从方案 B 转向方案 A 时，需补齐几何预处理与特征对齐链路，历史多视角数据的相机参数、深度标注完整性需先行核查。
2. 接口与特征版本：外部几何模块升级会导致输入特征分布漂移，需建立特征版本管理与回归评测机制，避免”模块升级、效果回退”。
3. 评测口径统一：两类方案的收益都应在同一多视角问答基准上对比，且需包含训练分布外场景，避免仅在易例上观察到提升。
4. 稳定性与回退预案：方案 A 的推理链路更长，需为几何模块故障设计降级路径；方案 B 的中间表征异常难以直接观测，建议外化关键中间结果用于监控。
5. 成本重估：迁移不只是模型改动，还包含预处理服务、训练迭代周期与评测体系的重构成本，应纳入总体评估。

九、总结

显式几何先验注入与隐式场景想象重建，代表了对”模型该如何获得空间感”的两种回答：前者把建模责任外置为精确几何，后者把责任内化为粗糙但结构化的场景表征。前者胜在可解释、接入路径清晰，代价是几何精度与语义推理之间存在断层；后者胜在语义粒度匹配，代价是训练与评估门槛更高、中间表征难以直接度量。决策的关键不在于二者孰优，而在于团队当前的管线能力、训练投入与任务语义粒度三者如何匹配，以及是否愿意用组合路径在可解释性与语义对齐之间取得折中。