简介：本文围绕多模态模型中的“视觉原语”方案与直接坐标描述方案展开对比，解析二者在指代精度、训练依赖、推理可解释性与工程接入上的差异。读者可据此判断何种场景更适合显式特殊标记，何种场景适合隐式坐标表达，并了解特殊占位符设计背后的权衡与迁移注意事项。
多模态大模型在图像理解任务中，长期面临两类典型瓶颈。第一类是“感知鸿沟”：模型看不清图像细节，导致密集计数、小目标识别等任务失败。第二类是“指代鸿沟”：即便模型看清了图像，它在推理过程中仍然用自然语言描述图像内容，而自然语言本身存在歧义、冗长和边界模糊的问题，在复杂定位、密集计数等任务中容易引发逻辑崩溃。
为解决指代鸿沟，业界出现了两种有代表性的技术路线。一种是在输入输出中引入显式的“视觉原语”特殊标记，用结构化符号在连续视觉空间中精确指向物体；另一种是让模型在思维链中直接输出坐标数值，以隐式方式完成指代。本文对比的对象正是这两类方案：显式视觉原语标记方案与隐式坐标描述方案。需要说明的是，二者并非完全对立，实际系统中往往存在演化和混合关系，本文重点分析其设计逻辑与适用边界。
显式视觉原语标记方案，指在分词器词表中注册一组特殊 token，例如用于表示多边形、点、方块的起止标记，以及用于表示引用关系的标记。模型在训练和推理时，通过这些特殊 token 在图像空间中“锚定”对象，形成无歧义的指针。其核心思想是：让指代动作脱离自然语言，用结构化符号承载空间信息。
隐式坐标描述方案，指模型不依赖专门的特殊 token，而是在思维链或输出中直接以坐标数值描述对象位置，例如以二维点对、矩形范围等形式表达。其核心思想是：坐标本身已经是无歧义的空间表达，无需额外符号层，模型可通过后期训练学会在自然语言推理中嵌入坐标。
两类方案的目标一致：都是为了缓解自然语言指代带来的歧义，提升密集计数、复杂定位、图文混排理解等任务的可靠性。它们都依赖模型具备较强的空间感知能力，都需要在训练数据中提供带有空间标注的监督信号。在工程上，二者都涉及分词器设计、训练数据构造和推理输出解析三个环节，只是显式方案把结构化信息前置到词表层，隐式方案把结构化信息后置到输出层。
显式方案需要在分词器中新增特殊 token，并保证这些 token 在训练中被充分激活。从公开的配置可以看到，词表中存在成对的多边形、点、方块起止标记，以及引用标记，且这些 token 被标记为 special 类型。这意味着它们不参与常规文本分词，而是作为控制符号使用。隐式方案则不需要改动词表，坐标以普通数字 token 形式出现，架构改动更小，但对模型数值推理能力要求更高。
显式方案的优势在于“指针”语义明确：起止标记之间的内容被严格解释为空间描述，不易与自然语言混淆。隐式方案的坐标虽然数值上无歧义，但在自然语言上下文中可能被误读为普通数字，需要模型具备较强的上下文区分能力。因此在密集计数、多目标定位等任务中，显式方案在理论上有更稳定的指代边界。
显式方案下，思维链中应出现特殊标记，便于开发者定位模型是否真的在执行“原语指代”。但实际测试中出现了一个值得注意的现象：思维链并未显示显式原语标记，而是直接以坐标描述物体。这提示显式方案在后期训练中可能发生了“隐式化”——特殊 token 在训练阶段承担监督锚点作用，在推理阶段模型却学会了直接用坐标表达。这种演化会降低可解释性，因为开发者无法从输出中直接判断模型是否遵循了原语协议。
显式方案要求训练数据中构造带特殊标记的序列，数据 pipeline 更复杂，需要保证标记成对出现、嵌套合法。隐式方案的数据构造相对简单，只需提供坐标标注，但模型需要更多样本才能学会在合适位置输出坐标。两者对标注质量的要求都较高，显式方案额外增加了标记规范的一致性成本。
在图文混排场景中，常见做法是使用占位符标记图片在文本流中的位置。从配置看，存在从 0001 到 0442 的占位符序列，这与“单图最多数百 token”的常见约束、以及“最多支持多图”的文档描述之间存在数量对不上的现象。一种合理解释是：占位符并非与图片一一对应，而是与图像切分后的内容片段对应，或与训练时的序列布局有关。这提示显式标记体系在工程落地时，词表规模、占位符编号范围与实际输入约束之间需要仔细对齐，否则容易出现语义漂移。
对使用方而言，显式方案若要求调用方也构造特殊标记，则接入成本较高；若模型内部完成标记构造、对外只暴露自然语言与坐标，则接入成本较低。隐式方案对调用方几乎透明，输出解析只需提取坐标。迁移时需注意：依赖显式标记做后处理的系统，在模型转向隐式坐标后可能解析失败，需要同步调整解析逻辑。
| 对比维度 | 显式视觉原语标记方案 | 隐式坐标描述方案 |
|---|---|---|
| 词表改动 | 需新增特殊 token | 无需改动 |
| 指代边界 | 明确，结构化 | 依赖上下文区分 |
| 可解释性 | 理论高，实际可能隐式化 | 中等，需解析坐标 |
| 数据构造复杂度 | 较高，需标记规范 | 较低，需坐标标注 |
| 推理输出解析 | 需解析标记对 | 需提取数值 |
| 迁移风险 | 标记协议变更影响大 | 相对平滑 |
| 适用任务 | 密集计数、复杂定位 | 通用描述、轻量定位 |
若业务以密集计数、多目标精确定位为主，且团队具备较强的数据构造与输出解析能力，可优先评估显式原语方案，但需验证推理阶段是否真的输出了标记。若业务以通用图文理解、轻量坐标描述为主，且希望降低接入与迁移成本，隐式坐标方案更易落地。若处于两者之间的过渡形态，建议在评测中同时检查思维链是否含标记、坐标是否合理，避免仅凭词表存在特殊 token 就认定能力已生效。
迁移时需重点关注三点：一是输出解析逻辑的兼容性，显式标记消失可能导致后处理失效；二是占位符编号范围与输入约束的一致性，避免因编号错位导致图文对齐错误；三是评测口径的统一，应在相同任务集上对比两种方案的实际表现，而非仅依据设计文档判断。对于追求稳定指代的系统，建议保留坐标校验与回退机制，降低协议演化带来的风险。
显式视觉原语与隐式坐标描述，本质上是把“空间指代”放在词表层还是输出层的不同选择。显式方案结构化程度高、指代边界清晰，但工程链路更重且存在训练后隐式化的可能；隐式方案接入轻、迁移平滑，但对模型数值推理与上下文区分能力要求更高。选型应围绕任务类型、数据能力、解析成本与可解释性需求综合判断，并在真实评测中验证能力是否按预期生效。