多模态推理模型的视觉原语与Token压缩实践

一、背景：从“能看图”到“会看图思考”

多模态大模型的第一阶段目标通常是“能看图”——把图像编码成向量，与文本特征对齐，完成图像描述、视觉问答等任务。这一阶段的典型做法是：视觉编码器输出大量patch级特征，经投影层映射到语言模型的嵌入空间，再由语言模型生成答案。问题在于，一张常规分辨率图片往往产生数百乃至上千个视觉Token，占据了上下文窗口的大部分预算，导致推理成本高、长文档与多图场景难以承载。

第二阶段的目标则是“会看图思考”：模型不仅识别图像内容，还能将视觉信息纳入推理链条，边看边想、反复核对细节。这一转变带来两个核心工程问题：第一，视觉信息如何以“可推理”的形式进入思维链；第二，如何在保留关键细节的前提下把视觉Token压到足够少。本文围绕这两个问题，讨论一种以“视觉原语”为核心的模型设计思路，并给出可复用的工程实践建议。

二、核心概念：什么是视觉原语

“视觉原语”指从图像中抽取的、具有语义独立性的最小描述单元，例如物体、属性、空间关系、数量、动作状态等。它与原始像素patch的区别在于：patch是感知层的碎片，原语是语义层的构件。

将视觉原语融入思维链，意味着模型在推理过程中不再只是“引用一整张图的特征”，而是显式地操作这些语义单元。例如面对一张包含多个物体的场景图，模型可以先枚举原语（“左侧有一个红色容器”“右侧有两个小型设备”），再基于原语做计数、比较与因果推断。这样做有三个好处：

1. 可解释性：推理链条中的每一步都对应可命名的视觉事实，便于调试与审计。
2. 可复用性：同一批原语可被多次引用，避免重复编码。
3. 可压缩性：原语比patch更抽象，天然具有更高的信息密度。

需要强调的是，原语的粒度设计是取舍问题。粒度过粗会丢失细节，粒度过细则退化为patch，压缩收益消失。实践中通常采用分层原语：粗粒度描述整体布局，细粒度描述关键区域，按推理需要动态展开。

三、架构设计：编码、压缩与推理三阶段

一个可落地的多模态推理模型通常分为三个阶段。

3.1 视觉编码与特征提取

视觉编码器负责把图像转成特征序列。常见做法是采用ViT类结构，输出patch特征，再叠加位置信息。此阶段的关键指标是空间保真度：分辨率越高，细节越完整，但Token数也越多。工程上一般先做动态分辨率切分，把大图拆成若干子图分别编码，再在后续阶段合并。

3.2 视觉Token压缩

压缩是整套设计的核心。常见手段包括：

• 池化与合并：对相邻patch特征做平均或注意力加权合并，降低序列长度。
• 查询式压缩：引入一组可学习的压缩查询，通过交叉注意力从patch序列中抽取固定数量的摘要Token。
• 原语抽取：在压缩后的特征上做语义分组，生成结构化原语表示。

下面是一个查询式压缩的示意性实现（伪代码，仅表达结构，不代表任何具体产品的接口）：

# 示意：查询式视觉Token压缩
def compress_visual_tokens(patch_feats, queries, cross_attn, ffN):
    # patch_feats: [num_patches, hidden]
    # queries:     [num_queries, hidden]
    summary = cross_attn(query=queries, key=patch_feats, value=patch_feats)
    summary = ffN(summary)
    return summary  # [num_queries, hidden]

其中num_queries远小于num_patches，从而实现数量级的压缩。压缩比的选择需要与下游任务匹配：检索类任务对细粒度敏感，压缩比应保守；计数、比较类任务更依赖原语结构，可适当激进。

3.3 思维链中的原语操作

压缩后的原语Token与文本Token进入同一序列，由语言模型统一处理。推理时，模型可以生成形如“原语A存在”“原语A与B相邻”的中间陈述，再基于这些陈述继续推导。为了让这一机制稳定工作，训练数据中需要包含带原语标注的推理轨迹，使模型学会“先看再想”的顺序。

四、训练流程与数据构造

4.1 阶段划分

典型训练分为三步：视觉-语言对齐预训练、多模态指令微调、推理能力强化。第一步让视觉特征与文本空间对齐；第二步注入任务格式与指令遵循能力；第三步通过带推理轨迹的数据提升原语操作与多步推断的稳定性。

4.2 数据构造要点

• 原语标注数据：对图像中的物体、属性、关系做结构化标注，转写为自然语言陈述。
• 推理轨迹数据：将人工或模型生成的解题过程拆分为“观察—原语化—推断”三段，保证链条完整。
• 负样本：构造原语缺失、原语错误、顺序颠倒的样本，提升模型对视觉事实的校验能力。

数据质量比数量更关键。实践中应对轨迹做一致性校验：同一图像的不同轨迹若在原语层面冲突，应剔除或标注歧义。

五、评估方法

评估应覆盖三个层面：

1. 感知层：图像描述、视觉问答的准确率，检验基础识别能力。
2. 推理层：计数、比较、空间关系、多步推断任务，检验原语操作是否有效。
3. 效率层：视觉Token数量、首Token延迟、单样本推理成本，检验压缩收益。

需要提醒的是，压缩率与准确率并非单调关系。评估时应绘制“压缩比—准确率”曲线，选取拐点作为默认配置，并为高精度场景保留低压缩档位。

六、工程落地注意事项

第一，压缩不是越狠越好。 对文档理解、图表读取等任务，过度压缩会丢失文字与刻度信息。建议按任务类型分级配置压缩档位，并在请求层面暴露选择能力。

第二，原语表示需要版本管理。 原语的粒度与命名体系一旦变更，会影响训练数据与线上推理的一致性。应将原语Schema纳入版本控制，变更时同步回归测试。

第三，注意多图与长上下文场景。 多图输入时，原语应带图像来源标识，避免跨图混淆；长上下文下应对原语做去重与摘要，防止序列膨胀。

第四，建立可观测性。 记录每次请求的视觉Token数、压缩比、原语数量与推理步数，便于定位准确率下降是感知问题还是压缩问题。

第五，安全与合规。 视觉输入可能包含敏感信息，压缩与原语化过程应在受控环境中完成，日志中避免留存原始图像内容。

七、小结

将视觉原语融入思维链，本质是把“感知”与“推理”之间的接口从稠密特征改为结构化语义单元，从而在可解释性与压缩效率上同时获益。工程落地的关键在于三点：合理的原语粒度设计、与任务匹配的压缩策略、以及覆盖感知、推理、效率三个层面的评估体系。对于希望在自有系统中构建多模态推理能力的团队，建议从查询式压缩加分层原语的最小方案起步，先用小规模数据验证“压缩比—准确率”曲线，再逐步扩展任务覆盖范围，避免一次性追求过高压缩率而牺牲可用性。