视觉原语与坐标描述之争：多模态模型定位能力的技术路线对比

一、对比背景：从“感知鸿沟”到“指代鸿沟”

多模态大模型在图像识别领域取得显著进展后，开发者发现一个关键瓶颈：模型虽然能够“看见”图像内容，但在执行密集计数、复杂物体定位等任务时，逻辑推理仍频繁出错。早期研究将问题归因于视觉编码器的分辨率不足，即“感知鸿沟”。然而，在提升图像分辨率后，问题并未彻底解决。后续研究进一步指出，模型在推理阶段仍习惯用自然语言描述图像中的物体，而自然语言本身存在歧义——例如“左边的那个红色物体”这种描述，在不同语境下可能指向不同目标，由此形成了“指代鸿沟”。为了消除这一歧义，业界提出了“视觉原语”的概念，即使用特殊标记符号在连续的视觉空间中精确定位物体，避免自然语言带来的语义模糊。

本文对比的两条技术路线分别是：

• 方案A：显式视觉原语路线——在推理过程中，模型直接生成包含特殊标记的文本序列，如“<|point|>[坐标]”的显式调用方式；
• 方案B：隐式坐标预测路线——模型不输出显式特殊标记，而是通过自然语言描述并附带坐标信息，将定位能力内化到训练后的权重中。

二、对象定义：两种技术路线的核心逻辑

显式视觉原语路线的出发点是将视觉定位视为一种“可编程”的标记语言。模型在训练阶段学习使用一组特殊Token（如多边形、点、框的起始与结束标记），在推理时，这些Token被插入到输出序列中，直接指向图像中的具体区域。其优势在于推理过程透明，开发者可以明确追踪模型“看”到了哪里。

隐式坐标预测路线则放弃了显式标记的生成，转而让模型在描述物体时直接输出坐标系中的数值。例如在思维链中呈现“物体A位于(112, 84)”这样的文本。这种方式的训练数据更加丰富——任何带有检测框或分割掩码的标注数据都可转化为坐标文本，而不需要额外设计特殊Token体系。

三、相同点分析：共享的技术底座

两条路线在底层架构上高度一致。它们都采用视觉编码器加语言模型的整体框架，都依赖于大规模的图文对齐预训练，都需要在推理阶段通过自回归方式生成文本序列。在任务目标上，两者都致力于解决“模型能看见但说不清”的问题，即在像素空间与语义空间之间建立精确映射。此外，二者在训练数据来源上也有重叠——都可以使用检测框、分割掩码等标注数据进行监督学习，区别仅在于监督信号的编码方式不同。

四、核心差异分析

1. 架构设计层面

显式视觉原语路线在词表扩展上做了额外工作。开发者需要为每一种视觉原语类型分配专门的Token编号，并确保这些Token在预训练阶段不被意外使用。这相当于在语言模型中嵌入了一套“视觉指令集”，推理时模型输出这些Token，再经后处理层将其映射为坐标或区域。

隐式坐标预测路线则无需修改词表。模型将坐标视为普通文本数字序列，完全依靠语言模型的文本生成能力来输出数值。因此，该路线的架构更为简洁，没有额外的后处理逻辑，但要求模型在数值预测上有更高的精度和稳定性。

2. 训练与数据适配层面

显式路线在训练时需要构建包含特殊Token的监督数据。由于这些Token在常规图文数据中几乎不会出现，需要专门设计数据增强策略——例如在训练时随机替换部分自然语言描述为视觉原语标记。这一过程增加了数据工程复杂度。

隐式路线则可以利用海量现成的检测标注数据。只需将边界框坐标格式化为文本即可，无需定义新Token。这使得训练数据来源更广，但也带来了坐标精度控制的挑战——模型可能输出格式错误的坐标，或在小数点位数、坐标范围上产生漂移。

3. 推理表现与可解释性层面

显式路线在推理时的优势是透明可控。开发者可以直接看到模型在哪一步、针对哪个区域使用了视觉原语，定位失败时也容易定位是标记生成错误还是后续映射逻辑出错。

隐式路线在推理时通常表现为思维链中自然夹杂坐标数值，整体流畅性更好，但可解释性下降。开发者只能从最终的坐标数值推断模型行为，无法知道模型为何选择该坐标，也难以干预推理过程中的定位决策。

4. 实际部署中的“隐藏偏差”

一个值得注意的现象是：宣称采用显式视觉原语路线的模型，在实际推理输出中却很少看到特殊标记。这可能意味着模型在后续训练阶段将显式标记“蒸馏”成了内部参数——即不再需要输出特殊Token，而是直接预测坐标。这种从显式到隐式的演化，实际上反映了模型内化视觉定位能力的自动过程。

五、对比总结表

对比维度	显式视觉原语路线	隐式坐标预测路线
词表扩展	需要新增特殊Token	无需改动，直接用数字文本
架构复杂度	较高，需额外后处理	较低，纯文本生成
训练数据工程	需专门构建含标记的监督数据	可复用常规检测标注
推理透明度	高，可精确追踪定位过程	低，仅见最终坐标值
输出流畅性	略显生硬，标记打断文本	自然连贯，数值嵌入描述
容错能力	标记缺失或错位时易崩溃	数值漂移时可部分容忍
迁移难度	需同步迁移标记解析逻辑	只需关注数值格式化规则
适用场景	需要严格监管定位过程的场景	追求推理流畅性与泛化性的场景

六、典型场景选择建议

对于以下场景，可优先考虑隐式坐标预测路线：

• 开放域视觉问答：用户问题不固定，模型需要灵活地在描述中穿插空间信息；
• 长文档图文混排理解：图像与文字交错出现，特殊标记可能干扰文本阅读顺序；
• 低延迟交互应用：显式标记的生成和解析都会增加额外延迟。

对于以下场景，显式视觉原语路线仍有其独特价值：

• 高精度测量任务：需要严格保证坐标落在像素边界内时，显式标记可强制约束输出格式；
• 审计与追溯需求：需要对模型的定位过程进行逐层检查；
• 多轮交互修正：用户可能反复指定不同区域，显式标记更便于维护上下文状态。

七、选型建议与风险提示

在技术选型时，首先应评估团队的数据工程能力。如果已拥有大量带标注的检测数据集，且希望快速启动，隐式坐标预测路线是低门槛选择；如果团队具备较强的NLP基础设施，且愿意为任务定制Token体系，可以尝试显式路线。

其次，需考虑模型的部署形态。如果模型运行在资源受限的边缘设备上，隐式路线占用更少的词表空间和解析模块，更具优势；如果是云端大模型服务，显式路线的额外开销则可接受。

最后，需警惕“标准漂移”问题。目前行业对视觉原语的定义尚未统一，不同实现间的Token体系和编码规则差异较大，迁移时需重建标注流程。而隐式坐标方案则依赖模型对数值语义的理解能力，不同训练策略可能导致模型输出格式不一致。

八、迁移与使用注意事项

若从显式路线迁移至隐式路线，需重点检查：

• 原有的坐标后处理脚本是否兼容无标记输出的文本；
• 训练数据中是否干净，避免潜在的特殊Token残留干扰；
• 模型在边界框覆盖小物体时的表现是否退化。

若从隐式路线迁移至显式路线，则需关注：

• 新增Token后，预训练词向量的初始化方式；
• 推理时如何避免标记被截断或部分生成；
• 需要设计兜底逻辑——当模型漏生成标记时，是否退回坐标文本解析。

九、总结

显式视觉原语与隐式坐标预测并非互斥方案，而更像是同一目标的两种实现阶段。显式路线强调“过程可控”，隐式路线追求“结果稳定”。实践中，很多模型最终会以混合形态呈现——训练阶段对显式标记进行大规模监督，推理阶段则通过隐式方式输出坐标。理解这一演化趋势，有助于开发者在面对实际多模态模型时，更准确地判断其定位能力边界，避免被单一技术路线的宣传表述所误导。