简介：本文围绕多模态视觉模型中两种主要识别与推理技术路线展开对比：一种是在模型内部引入专用视觉原语标记，另一种是在思维链中直接使用自然语言坐标描述。文章将分析二者的架构基础、表达能力、调试可观测性、训练复杂度与适用场景，帮助开发者在模型选型、效果评估和二次开发时形成清晰判断。
多模态视觉模型在近两年经历了快速演进。从早期只能完成简单图像分类、图片问答，到现在面向文档解析、复杂图表理解、密集物体计数、工业质检、遥感识别等场景，模型需要处理的视觉信息越来越复杂。与此同时，一个相对隐蔽但影响深远的问题逐渐暴露出来：模型在“看懂图片”之后，如何把视觉信息准确地传递到后续的推理与文本生成环节。
传统多模态模型通常采用“视觉编码器—适配层—大语言模型”的流水线结构。视觉编码器负责把图像转换为视觉特征，适配层把这些特征映射到语言模型的表示空间，随后大语言模型再基于这些表示进行文本输出。这套方案在很多常规任务上表现良好，但在需要精确定位、密集计数、复杂空间关系判断时，容易出现信息模糊的问题。
造成这种模糊的一个重要原因在于，语言模型在思考过程中仍然主要依赖自然语言描述图像。例如，模型可能倾向于输出“画面左上角有一个较小的矩形物体”“靠近右侧边界处有三个圆点”之类的表述。自然语言在描述空间关系时天然具有歧义性，“左上”“较小”“靠近”这些词语很难在不同图像尺度下保持精确语义。当任务要求对多个目标进行一一对应、排序、计数或关系判断时，这种歧义会被放大，最终导致推理链条断裂。
因此，如何让视觉信息在进入语言模型后仍然保持足够的精确性，成为多模态模型设计中的一个关键问题。围绕这一目标，业内出现了两类有代表性的路线：一类是引入专门的视觉原语标记，用结构化方式在连续视觉空间中描述对象；另一类是继续沿用自然语言，但在思维链中显式加入坐标数值，以增强定位能力。两者表面上都试图解决空间指代问题，但实现机制和工程表现存在明显差异。
视觉原语指的是在多模态模型的词表中预先定义一批特殊标记，用来表示图像中的基础几何元素。典型元素包括点、矩形框、多边形以及引用关系等。这些标记不依赖自然语言表达，而是直接指向视觉空间中的一个区域或坐标集合。
例如，在词表层面可以看到类似“<|point|>”“<|/point|>”“<|box|>”“<|/box|>”“<|polygon|>”“<|/polygon|>”这样的特殊符号。它们的作用是让模型在生成推理内容时，用一组无歧义的结构化标记把视觉对象“钉住”。模型可以输出类似“在<|box|>某个区域<|/box|>内存在三个目标”的结构化片段，从而避免使用“画面中部偏左”“稍大一点的矩形”等模糊语言。
视觉原语路线的核心思想是：既然自然语言不适合精确表达空间关系，就在词汇层面引入一套更接近几何表示的原语，让模型可以直接生成面向视觉空间的引用，而不是再经过自然语言中转。
自然语言坐标描述路线不在词表中引入特殊几何标记，而是要求模型在思维链或输出文本中直接写出坐标数值。例如，模型可能输出“目标A位于(123, 456)到(200, 500)之间”“在x=300，y=420附近存在一个遮挡物体”等。
这种方案的优势在于兼容性强。模型仍然使用普通文本 token 进行输出，不需要对解码器、词表或训练框架做特殊改造。下游系统只要能够解析文本中的数字和坐标表达式，就可以还原模型关注的空间位置。对于很多已有自然语言处理链路来说，这种输出更容易被现有工具接收和处理。
不过，自然语言坐标描述也存在天然劣势。坐标数值在文本中容易被截断、四舍五入、格式化不一致，或者在长链条推理中被后续模型忽略或改写。尤其当模型需要处理多个对象、多层嵌套关系时，文本形式的坐标很容易变得冗长且容易冲突。
尽管两种路线在实现方式上不同，但它们的目标存在明显重叠。
首先，二者都试图解决多模态模型中“视觉感知结果”与“语言推理过程”之间的指代鸿沟。视觉编码器可以提取出丰富的空间特征，但如果语言模型无法精确引用这些特征，后续推理就会失真。因此，两种路线的本质都是在视觉与语言之间建立更可靠的对应机制。
其次，二者都强调对空间位置的显式表达。无论是视觉原语中的点、框、多边形，还是自然语言中的坐标数值，都是为了让模型不再仅仅依赖“大概在左上方”“靠近边缘”这类模糊描述。两类方案都承认，单纯依靠自然语言的空间表达在复杂任务中是不够的。
第三，二者都提高了模型的可验证性。传统模型输出一段自然语言描述时，很难判断其空间定位是否准确。而使用结构化的原语或坐标数值后，开发者和评估系统可以更方便地将模型输出与真实标注进行匹配，从而量化空间推理能力。
最后，从训练角度看，两种路线都需要在数据集中补充与空间定位相关的监督信号。视觉原语路线需要构造带有几何标记的训练样本，自然语言坐标路线则需要构建包含位置数值的问答或推理样本。两者都不是仅靠少量提示词就能可靠获得的，而是需要在预训练或微调阶段进行专门设计。
视觉原语路线对模型架构和训练流程的侵入性更高。它需要修改词表，加入特殊 token，并在训练阶段让模型学会在何时生成这些 token、如何结束这些标记、如何与普通文本交替出现。同时，解码逻辑、数据预处理、后处理解析都需要同步适配。
自然语言坐标描述则基本不需要修改模型结构。模型仍然输出普通文本，只要在提示词、训练数据和评估逻辑中要求模型输出坐标即可。这使得该路线在已有模型基础上更容易快速验证。
视觉原语理论上具有更高的空间表达精确性。因为标记可以被定义为固定格式、固定语义的结构化容器，模型只需在容器内部填入坐标即可。解析时也不容易受到表达方式多样性的影响。
自然语言坐标描述的精确性依赖于模型输出的一致性。由于自然语言允许大量等价表达，例如“坐标(10,20)”“x=10，y=20”“在10到20之间”等，模型在不同样本中可能采用不同写法。这种不一致性会给后处理带来额外复杂度，也增加了长文本中坐标错位或重复的风险。
视觉原语路线在调试上有一个明显优势：只要模型生成了正确的标记结构，后续解析程序就能稳定提取空间信息。即使模型在后续推理中出错，开发者也更容易判断错误发生在视觉定位阶段还是语言推理阶段。
自然语言坐标描述路线则更容易受到文本表达噪声影响。当输出序列较长时，模型可能只写出了部分坐标，或者在坐标后续补充了一段自然语言解释，导致解析歧义。调试时往往需要同时检查模型推理语义和坐标格式，增加了定位问题的难度。
视觉原语路线需要构建大量包含几何标记的训练样本。数据构造者需要明确哪些目标应该用点、哪些用框、哪些用多边形，并保证标注方式与模型输出格式一致。这种数据构造在几何关系复杂时尤其繁琐。
自然语言坐标描述的数据构造相对简单，可以从现有视觉问答、目标定位、引用表达式理解等任务中改造而来。不过，如果训练不够充分，模型可能仅学会输出坐标，而忽略坐标和其他推理步骤之间的逻辑关系。
自然语言坐标描述在通用性方面更友好。下游系统通常已经具备文本解析能力，只需增加坐标提取规则即可。对于需要将多模态模型嵌入现有业务系统的团队来说，这种兼容性意味着更低的集成成本。
视觉原语路线则需要下游系统理解新的标记语义。如果系统需要展示、存储或审计模型中间输出，就必须增加对这些特殊 token 的处理逻辑。对于已经建成的内容审核、日志分析、前端渲染等模块，需要额外开发工作。
在用户侧可见的思维链中，自然语言坐标描述通常更易读。即使是非专业用户，也能大致理解“目标位于(100,200)”的含义。而视觉原语标记需要用户了解其定义，否则看起来就像一连串符号，可读性较差。
因此，如果产品需要对终端用户展示推理过程，自然语言坐标方案通常更直接。如果模型输出仅面向机器解析，不强调用户可读性，那么视觉原语的结构化优势可以更好发挥。
| 对比维度 | 视觉原语路线 | 自然语言坐标描述路线 |
|---|---|---|
| 词表与模型结构改造 | 需要增加特殊标记，改动较大 | 基本无需改动，沿用普通文本输出 |
| 空间表达一致性 | 结构化标记，一致性较好 | 受自然语言表达多样性影响，一致性较差 |
| 解析复杂度 | 需定制解析器，但解析结果稳定 | 可用通用文本解析，但需处理多种坐标写法 |
| 调试可观测性 | 容易区分定位错误与推理错误 | 错误定位相对困难，需综合判断 |
| 训练数据构造难度 | 需要专门构造几何原语样本 | 可由坐标问答、定位任务改造，相对灵活 |
| 下游系统集成成本 | 需要新增标记处理逻辑 | 可与现有文本处理链路更平滑衔接 |
| 对用户可读性 | 较低，需了解标记含义 | 较高，坐标数值直观 |
| 适用任务类型 | 密集计数、复杂空间关系、精确引用 | 常规定位、文档解析、快速集成场景 |
在需要处理大量目标、密集排列、相互遮挡或精确边界描述的场景中，视觉原语的结构化优势比较明显。例如工业零件缺陷检测中，需要定位多个微小缺陷并区分它们的位置关系；在遥感图像分析中，需要对建筑物轮廓进行精确提取；在复杂图表理解中，需要引用图中的曲线、柱状区域和图例并一一对应。
这些场景的共同特点是：自然语言描述很难保持稳定，且多个目标之间容易发生指代混淆。使用结构化视觉原语可以降低后续解析和逻辑推理中的歧义。
如果业务系统已经具备较强的自然语言处理能力，或者需要快速上线、快速验证，自然语言坐标方案可能更加合适。例如企业内部文档抽取、票据信息定位、常见图片问答等，任务复杂度相对可控，坐标表达即使有一定歧义，也可以通过后处理规则和业务校验进行修正。
此外，当模型输出需要展示给终端用户，或需要与大量现有文本模型协同工作时，自然语言坐标的直观性和兼容性会带来更低的采用门槛。
选型时不能简单判断“视觉原语一定更好”或“自然语言坐标一定更简单”，而应结合任务复杂度、团队工程能力和下游系统特征进行条件化评估。
如果团队具备较强的模型训练与定制能力，且业务场景对空间精度要求很高，可以考虑视觉原语路线。该路线在模型训练、推理链路和评估体系上需要更大投入，但一旦完成，后续处理稳定性通常更高。
如果团队更关注快速接入，且任务中空间关系复杂度有限，可以优先考虑自然语言坐标描述。通过在提示词、输出格式和少量微调数据中强化坐标表达，可以在较短时间内获得可用效果，同时便于与现有系统集成。
对于既需要稳定空间定位，又希望保持一定用户可读性的方案，还可以考虑混合策略：在内部推理阶段使用更结构化的表示，在对外输出时将其转换为自然语言坐标或可视化标记。这种策略不直接等同于某一类固定路线，但可以在实际系统中平衡可观测性与工程效率。
从自然语言坐标方案切换到视觉原语方案时，并不是简单更换模型即可，需要关注以下方面。
首先是词表与模型版本管理。引入特殊视觉原语标记后，模型权重、词表文件、解码配置需要保持配套。否则可能出现 token 无法识别、解析错位或输出截断等问题。
其次是数据兼容性。历史数据中的自然语言坐标不一定能直接用于训练视觉原语模型。需要根据新的标记格式重新构造监督样本，并对旧数据进行转换或标注修正。
第三是结果解析逻辑调整。旧系统可能已经编写了大量基于文本坐标提取的后处理规则，切换到视觉原语后，这些规则需要重写为标记解析逻辑。同时需要考虑解析失败时的降级策略。
第四是性能与稳定性回归。增加特殊标记后，模型输出长度可能变化，解码过程中的生成顺序和终止行为也可能不同。需要在典型任务上进行回归测试，关注输出截断、标记未闭合、嵌套错误等问题。
最后是团队知识迁移。开发和维护人员需要理解视觉原语标记的含义、输出格式和使用边界，否则在调试复杂 case 时容易误判问题来源。
如果是从视觉原语方案切换到自然语言坐标方案，则需要评估模型在新格式下的空间表达能力是否满足任务要求。部分本来依赖结构化标记完成精确引用的场景，可能在切换后出现定位模糊或推理链条不稳的情况，应在切换前完成充分评测。
多模态视觉模型在解决空间理解任务时，核心难点不只是“能否看到”，而是“能否在推理过程中准确引用看到的内容”。视觉原语路线通过在模型词表中引入点、框、多边形等几何标记，试图从表示层面消除自然语言指代歧义；自然语言坐标描述路线则继续使用普通文本输出坐标，在集成便利性和可读性方面具有优势。
两类方案的差异集中体现在架构侵入性、表达一致性、调试难度、训练数据构造和下游集成成本上。视觉原语更适合高精度空间定位场景，自然语言坐标更适合快速接入和通用场景。实际选型需要结合任务复杂度、团队能力与业务要求进行判断。无论选择哪条路线，都需要在数据、解析、调试和监控层面建立配套工程能力，否则模型本身的定位能力很难稳定转化为业务收益。