简介：视觉语言模型通常依赖文字链回答空间问题，缺少对视觉中间状态的模拟能力。本文从这一局限出发，探讨如何为模型引入内部世界模型，使其在回答前先在特征空间推演画面变化。文章将解析其训练范式、模型结构、实验结果与工程启示，帮助开发者理解如何提升多模态模型在旋转、状态追踪等任务上的表现。
视觉语言模型是一类能够同时理解图像与文本输入的模型。用户可以给它一张图片，再用自然语言提出问题，模型会以文本形式返回答案。这种能力在图像描述、图文问答、文档理解等场景中表现突出，但一旦问题涉及空间变换、物体旋转、运动轨迹或多步状态更新，模型的表现往往明显下降。
原因并不复杂。当前主流视觉语言模型的推理过程，主要依赖文字链完成。也就是说，当模型遇到“将某个图形顺时针旋转90度两次后会是哪一个选项”这类问题时，它通常会一步步写出推理文字：第一次旋转后哪个边朝上、第二次旋转后哪些位置发生变化。这个过程的输入是图像和文本，中间推理完全交给语言序列，输出也只是文本。
这种机制存在一个结构性缺陷：语言并不适合承载空间状态的连续变化。人类在解决旋转、折叠、路径规划等问题时，往往会在脑海中形成图形或示意图，借助视觉中间表征完成推理。认知科学中已有大量研究表明，可视化中间产物对空间变换、状态追踪等任务有显著帮助。相比之下，纯文字推理不仅信息密度低，还极易在多次状态更新中累积误差。
由此带来的结果非常直观：模型在没有视觉想象能力时，很容易在多步旋转任务中失去方向，甚至连随机猜测都难以拉开差距。这并非单纯的参数规模问题，而是训练目标与任务结构之间的不匹配。
为了更具体地说明问题，可以把空间推演拆成两类能力。第一类是状态表示，即模型需要知道当前图形处于什么姿态、哪些位置被占据、哪些朝向发生变化。第二类是状态转移，即模型需要根据动作规则，更新前一个状态得到下一个状态。
在文字链中，状态表示只能依靠离散词汇完成。例如模型写出“上面变为右面”“底部朝向观察者”等描述。这类描述看似清晰，但在多次旋转、镜像、组合动作之后，语言表达极易出现歧义。更重要的是，文字推理每步都依赖上一步的自然语言输出。如果某一步描述不够精确，后续推理就会在错误基础上继续叠加。
第二类状态转移同样不擅长用自然语言表达。旋转矩阵、对称操作、路径约束等内容本质上具有结构性和数值性，而语言模型更擅长处理序列化、符号化知识。让模型仅凭语言规则推演变换过程，相当于绕开了它真正应当学习的视觉状态更新机制。
在传统训练流程中，这种短板很难被自动修复。因为监督信号大多只作用于最终文本答案。只要模型输出结果正确，训练过程并不会检查它在中间步骤是否形成了正确的视觉状态。如果训练集中包含大量空间推理题目，模型可能学会某些表层规律，但并没有真正建立起可泛化的内部模拟机制。
要解决上述问题，不能只增加训练数据，也不能仅仅更换更大的骨干网络。更本质的做法，是让视觉语言模型具备一个“内部世界模型”。所谓世界模型，可以理解为一个能够根据当前状态和动作，预测下一时刻状态变化的模块。它不依赖外部环境反馈，而是在模型内部完成前向推演。
在视觉语言模型中引入世界模型，目标是让模型在回答之前，先对视觉状态进行若干步模拟。例如在旋转任务中，模型不是直接写出答案，而是先在图像特征空间中执行旋转操作，获得每一步的中间视觉表征，再基于最终表征生成答案。这种设计与人类解决空间问题时“在脑海中转一下图形”的过程非常接近。
这一思路带来几个直接好处。第一，中间状态不再依赖自然语言描述，而是以连续向量形式存在，信息损失更小。第二，每一步状态迁移都由同一可学习模块完成，结构上更适合处理多步推演。第三，最终答案的生成可以建立在经过模拟后的视觉特征之上，减少语言推理误差带来的级联影响。
实现这一目标的关键，是训练范式的调整。模型不仅需要学会给出正确答案，还要学会预测正确画面。也就是说，训练目标中需要增加视觉状态预测任务，而不仅仅是文本生成任务。这样才能强制模型在内部形成符合物理规则或几何规则的状态迁移能力。
传统视觉语言模型的微调通常使用监督微调方式。输入为图像与问题，输出为文字答案，损失函数只约束最终文本序列。这种训练方式简单高效，但无法约束中间视觉状态。模型可以在没有形成正确空间推演的情况下，碰巧学到某些答案分布。
如果希望模型获得内部模拟能力，就需要引入更明确的训练信号。一种有效方式，是在训练时同时要求模型预测变换后的视觉特征或画面表示。具体来说，给定初始图像和动作序列，模型需要输出最终状态对应的视觉特征。这个特征可以与真实变换后的图像特征进行对齐，例如使用回归损失或对比损失。
另一种辅助策略，是让模型在训练过程中生成中间画面，并将这些中间画面与真实中间状态进行比较。即使真实中间画面在数据集中不存在，也可以通过程序化方式生成。在旋转、平移、遮挡等可控任务中，这类中间状态通常可以自动标注。
通过这种方式，模型的训练目标从“只关心答案对不对”扩展为“还要检查画面推演对不对”。这类似于教学过程中，老师不仅检查学生最后计算结果，还要求学生画出辅助图、写出关键中间步骤，并检查这些中间过程是否正确。
这种训练调整是模型能力提升的核心原因。它迫使图像编码器、推理模块和文本解码器共同优化，使得模型在回答前能够形成更可靠的视觉表征。最终回答问题的不再是“纯语言推理结果”，而是“在内部模拟完成后得到的视觉状态结果”。
引入内部世界模型后，视觉语言模型的结构可以分成三个主要部分。第一部分是视觉编码器，用于将输入图像映射为向量表示。第二部分是世界模型模块，用于在向量空间中执行动作推演。第三部分是语言解码器，根据推演后的视觉表征生成答案。
世界模型模块接收当前视觉向量与动作向量，输出更新后的视觉向量。动作向量可以来自自然语言动作描述，也可以来自程序化任务定义。通过多层迭代，模型可以在不接触新图像的情况下，连续完成多次变换模拟。每一轮模拟只在前一轮输出的向量基础上继续计算。
在训练时，该模块需要同时受两个约束。一方面，更新后的视觉向量要与真实变换后的图像编码尽量一致。另一方面，最终生成答案要尽量接近正确答案。这两个约束共同作用，保证模型不仅推演正确，还能把推演结果有效传递到语言生成阶段。
这种设计具有较好的通用性。虽然当前研究主要集中在二维旋转、状态追踪等可控任务上，但类似结构也可以扩展到视频预测、物体操作、路径规划等场景。只要能够定义清晰的动作空间与状态空间，就可能利用世界模型模块提升模型的推演能力。
在相关研究涉及的二维旋转任务中，普通视觉语言模型的表现明显受限于纯文字推理机制。即使经过专门监督微调，模型在分布内测试集上的准确率也只有不到一半。考虑到该任务选项数量有限，这个结果说明模型并未真正掌握空间旋转规律。
当模型引入内部世界模型后，同样任务上的准确率提升至接近九成。这个变化幅度意味着模型不仅能够处理训练集中见过的旋转组合，还具备了一定的泛化能力。更关键的是，这种提升并不是依靠增大参数量或增加训练数据规模获得的，而是来自训练目标与模型结构的调整。
这一实验现象传递出一个重要信息：多模态模型的空间推理能力，不只是“数据量问题”或“规模问题”，更是“训练信号设计问题”。当训练过程没有要求模型预测视觉中间状态时，模型很难自发形成稳定的空间推演能力。
从工程角度看，这种性能跃迁为后续多模态模型训练提供了一条可行路径。开发者可以在不更换骨干网络的前提下，通过增加视觉状态预测任务和轻量模拟模块，使模型在特定任务上获得显著提升。这类方法在自动化质检、机器人路径规划、增强现实内容生成等方向都具有潜在应用价值。
这次实验背后的思路，对更广泛的多模态模型研发也有借鉴意义。其一，视觉任务不应只依赖文本解码结果监督。对于需要空间想象、状态追踪和连续变化的场景，增加视觉级监督信号往往比单纯优化文本损失更有效。其二，模型的推理过程并不一定要完全通过自然语言展开。在某些任务上，让向量空间内部完成推演，再由语言模块负责输出，可以显著降低信息损失。其三，世界模型模块并非只能用于仿真环境，在条件可控的数据集上同样可以训练，关键在于能否构造出可监督的状态转移样本。
工程实现中，研发团队可以将内部模拟模块作为可插拔结构，与现有视觉编码器和语言解码器结合。训练阶段使用程序化生成的中间状态进行监督，推理阶段则直接复用该模块进行多步迭代。这种方式不要求修改模型外部接口，也不会增加推理依赖外部模拟器的复杂度。
需要强调的是，内部世界模型并不是万能的。它更适合动作规则明确、状态空间可表示的任务。在开放场景中，如何定义动作、如何构造训练信号，仍然是需要解决的问题。但至少在空间推理、几何变换和多步状态追踪这类任务中，它的价值已经得到验证。
未来，视觉语言模型可能不再只是一个“看图说话”的系统，而会逐渐具备更强的内部模拟能力。它可以在回答前先在特征空间中推演不同动作的后果，再选择最合理的结果输出。这样的能力升级，对于提升多模态人工智能在真实物理世界和复杂交互环境中的可靠性至关重要。