简介:本文深入解析某主流实验性多模态大模型引入的“视觉原语”技术。探讨其如何通过特殊标记突破传统自然语言描述带来的指代鸿沟,提升复杂图像识别能力,并分析其在密集计数、复杂定位等场景中的应用价值与选型注意事项。
多模态大模型正从简单的图文理解向高精度空间感知演进。近期开源的某主流实验性多模态大模型引发了广泛关注,其核心亮点之一在于引入了“视觉原语”技术路线。
在多模态模型语境下,视觉原语是指将图像中的空间几何元素(如多边形、点、方块等)映射为模型可直接处理的特殊标记,从而在连续的视觉空间中构建一种“无歧义指针”。它不再依赖自然语言的模糊描述,而是让模型在底层思维链中直接使用结构化的几何坐标进行推理和指代。通过这一技术,模型能够像处理文本词汇一样,精确地“操作”图像中的具体局部区域。
在多模态大模型的发展历程中,业界普遍面临两大瓶颈:感知鸿沟与指代鸿沟。
感知鸿沟是指模型受限于图像分辨率或编码方式,导致“看不清楚”图像细节。随着高分辨率视觉编码器的普及,感知鸿沟得到一定缓解。然而,新的问题随之而来——即便模型看清了图像,但在“思考”和推理时,仍被迫使用自然语言来描述图像内容,这就产生了“指代鸿沟”。
例如,在密集计数或复杂物体定位任务中,如果模型用自然语言描述“左上角有红色的车,右边还有一辆蓝色的车”,这种离散且模糊的表述极易导致逻辑链条崩溃。为了解决指代鸿沟,视觉原语应运而生。它作为连续视觉空间中精确描述物体的机制,避免了自然语言对于识别任务的干扰,确保模型在复杂逻辑推理时拥有稳固的空间锚点。
深入分析该实验性模型的词表配置,可以发现其包含了针对视觉原语设计的特殊token,例如 <|polygon|>、<|point|> 和 <|box|> 及其闭合标签。这些标签分别用于指代图像中的“多边形”、“点”和“方块”区域。这意味着模型在底层架构上将几何形状视为一类基础词汇。
此外,模型还配置了一系列名为 place_holder_mm_span_xxxx 的占位符token(从0001至0442不等)。这些占位符主要用于在图文混排场景中,标记图像或图像局部特征在文本流中的插入位置。这种设计使得模型能够更精细地切分和表征单张图像中的多个局部特征,而不是将整图压缩为一个缺乏空间结构的单一向量。一张图片的视觉信息被拆分为多个span进行表征,大大增强了模型对图像内部复杂结构的感知力。
理论上,模型在处理图像并生成思维链时,应显式输出带有视觉原语标签的中间结果。例如,当模型需要指代某个特定坐标时,思维链中应出现类似 <|point|[[a,b]]|/point|> 的结构化标记。
然而,在实际测试与后期的训练演进中,这种显式的标记调用并不常见。模型往往在思维链中直接使用纯坐标描述,而非显式生成这些特殊标签。这表明模型可能在后期训练或指令微调阶段,将显式的视觉原语调用内化为了隐式的空间坐标推理能力。尽管表现形式有所变化,从特殊token转变为直接的数值坐标描述,但其底层基于空间坐标进行精确指代的核心机制依然在发挥作用。这种隐式表达可能在提升推理效率的同时,降低了思维链的冗余度。
在实际接入与业务选型时,开发者需要重点关注以下几个维度:
实验性多模态大模型通过引入视觉原语机制,为突破多模态理解中的“指代鸿沟”提供了一种创新思路。它将图像从自然语言的模糊描述中解放出来,赋予了模型精确的空间定位与几何表达能力。无论是通过显式的特殊token还是隐式的坐标推理,这一技术路线都显著提升了模型在密集计数、复杂定位等高难度任务中的表现。对于开发者与架构选型人员而言,深刻理解其背后的原理与底层约束,有助于更好地将其引入复杂的视觉认知业务场景中,释放多模态大模型在空间智能领域的潜力。