从“放大镜”到“路标”：合成数据教AI模型学会看图

一、先想清楚：你到底在“教”模型什么

教一个孩子数照片里的猫，有两种方式：

• 方式一：直接告诉答案——“有五只猫”；
• 方式二：指着图说——“这里一只，那里一只，角落里还有一只”。

两者给出的结论相同，但传递的信息完全不同。方式一只有结论本身；方式二在结论之外，还传递了“结论中的每一部分与画面中哪个位置对应”的空间映射。对人类如此，对模型更是如此：训练数据里的每一个“五”，都需要与画面中五个分散的视觉实例建立一一对应，任何一处对应失败，模型输出的数字就会错。

这正是多模态大模型（MLLM，能同时理解图像与文字的大语言模型）训练中最容易被忽视的一点：数据的“信息形态”往往比数据数量更关键。一支研究团队近期的工作把这个问题摆到了台面上——当训练信号里带上“指着哪里”的路标时，模型学到的不只是数数这一件事，而是看图的通用能力，并且会向图表理解、文档阅读、复杂真实场景检索等任务迁移，整体收益超出预期。

二、模型为什么“看不清”图：先补一点背景

要理解这个问题的根源，需要先看MLLM的基本结构：

1. 视觉编码器把图像切成patch，编码为视觉token；
2. 投影层把这些token对齐到语言模型的表示空间；
3. 语言模型在图文token拼接后的序列上做自回归生成。

这条流水线存在三个天然瓶颈：

• 分辨率约束：出于推理成本考虑，输入图像通常会被缩放或切块，小目标在缩放后可能只占一两个patch，细节信息被物理性抹掉；
• 注意力稀释：一张图会产生数百甚至上千个视觉token，小目标的token占比极小，语言模型在长上下文中分配给它们的注意力非常有限；
• 实例切分困难：判断“这是猫”很容易，但要区分“这是第一只猫还是第三只猫”，并在生成过程中维护“数到哪了”的状态，需要把每个实例锚定到具体空间位置——而常规问答式训练信号里，没有任何东西显式提供这种锚定。

所以，模型缺的不是“更多的图”，而是带空间锚定的监督信号。

三、主流方案的得与失：在线自蒸馏 + “放大镜”

过去一年，语言模型圈流行一种叫“在线自蒸馏”的技术：让同一个模型的“开卷版”当老师——老师额外看一份学生看不到的“小抄”，在学生生成答案的过程中实时纠正；训练结束后，学生独立作答也能接近老师水平，小抄则被抛弃，全程不需要引入外部更强的模型。

把这套思路搬到看图任务上，主流做法是：老师看一张放大、裁剪过的图像局部，学生看完整原图。相当于近视的学生做阅读理解，老师悄悄给自己配了放大镜，再口述“重点在哪一段”。

这个方案有效吗？有效，但有明显代价。该研究团队的对比实验显示：

• 在专注细粒度查找的基准上，提升约8.9个百分点；
• 在考察局部放大理解的基准上，提升约14.56个百分点；
• 但在计数问答基准上，成绩从32分跌至21.27分，回退超过10个百分点。

一边学会了聚焦细节，一边忘掉了全局扫描。拆开来看，原因至少有三层：

1. 输入侧特权，输出侧无痕：老师的优势来自学生推理时永远拿不到的输入（裁剪放大图），这部分“知识”无法直接沉淀为学生的行为；
2. 行为偏置：蒸馏信号中反复出现“局部特写式”的作答风格，学生会习得“把注意力收窄到单一显著区域”的习惯；而计数需要的是全图扫描加逐个标记，两种行为模式直接冲突；
3. 训练与推理分布错位：训练时学生始终在全图上模仿“看过局部”的老师，推理时却要独立面对全图，两侧任务分布并不一致。

结论是：“给老师更好的眼睛”这条路，天花板不高，副作用不小。

四、换一个思路：不给更好的眼睛，给“路标”

研究团队的转向很有启发性：既然“小抄”放在输入侧会变成学生甩不掉的拐杖，那能不能把提示改造成输出侧的行为？

其核心做法可以概括为：为图像中每个关键目标生成空间坐标（或包围框），然后把这些“路标”直接写进回答文本。例如教数数时，老师的回答不是干巴巴的“共有3只猫”，而是：

第1只在(142, 305)附近，第2只在(688, 210)附近，第3只在(455, 760)附近。所以共有3只猫。

学生蒸馏到的，就不只是一个数字，而是“先定位、再作答”的完整推理链。推理时不需要任何外部提示——模型自己产出路标，再顺着路标组织答案。这个设计有三个精妙之处：

• 坐标即语言：路标完全用文本token表达，与语言模型的输出空间天然兼容，不改模型结构、不加新模态，蒸馏通路彻底打通；
• 指认与计数同构：每个实例天然对应一个路标，“逐个指认”在行为上就是“逐个计数”，两种能力不再是零和关系；
• 视野不被替换：全图始终是输入，路标只起引导注意力的作用，没有收窄任何视野——这从机制上根除了“放大镜方案”顾此失彼的病根。

更重要的发现是迁移性：训练时只教“指认”这一件事，计数、细粒度查找、文档与图表理解等能力出现了跨任务的正向迁移。这符合一个朴素原则——当你教会模型“证据在哪里”，它同时也学会了“证据是什么”。

五、动手实践：自己构造“路标式”合成数据

这套思路最大的价值在于：数据可以大规模合成，不依赖人工逐图标注。下面是一条可落地的管线。

5.1 数据生产管线

1. 图像来源：开放数据集、业务沉淀图像、渲染合成图；
2. 弱标注器：用现成的检测/分割模型批量产出目标框，按统一空间顺序（从左到右、从上到下）为实例编号；
3. 任务模板：计数问答、定位问答（“X在什么位置”）、指称理解（“(x,y)处是什么”）、区域比较等；
4. 格式组装：把路标以固定格式写入回答文本。

5.2 数据格式示例

{
  "image": "scene_00417.jpg",
  "question": "这张照片里有几只猫？",
  "answer": "第1只在(142, 305)附近，第2只在(688, 210)附近，第3只在(455, 760)附近。共有3只猫。",
  "points": [[142, 305], [688, 210], [455, 760]]
}

坐标建议做归一化，例如统一映射到[0, 1000]的整数区间，与原图分辨率解耦，避免模型记住绝对像素尺度。

5.3 生成脚本（伪代码）

def build_sample(image, detector):
    objs = detector(image)
    objs = [o for o in objs if o.score > 0.6]      # 过滤低置信度，抑制标签噪声
    cats = sort_spatial([o for o in objs if o.label == "cat"])  # 统一从左到右排序
    cot = " ".join(
        f"第{i}只在({x}, {y})附近"                  # 逐实例生成路标
        for i, (x, y) in enumerate(map(center_of, cats), 1)
    )
    return {
        "image": image.path,
        "question": "这张照片里有几只猫？",
        "answer": f"{cot}。共有{len(cats)}只猫。"
    }

5.4 质量控制要点

• 置信度阈值：弱标注器的误检会变成错误监督，宁可少、不可错；
• 排序一致性：回答中路标顺序与编号规则严格一致，否则模型学到的是噪声；
• 去重与均衡：同一场景模板去重；长尾类别做配额，防止模型“只会指常见物”；
• 防泄漏：评测集图像严禁混入训练管线；
• 人工抽检：按比例抽样核对坐标是否真的落在目标上，哪怕1%的抽检也足以暴露系统性偏差。

5.5 训练策略

• 混合配比：路标数据与通用视觉问答数据混合训练，建议从较小比例起步，通过消融实验寻找平衡点；
• 课程设计：先单目标定位，再多目标计数，最后过渡到复杂真实场景；
• 两阶段可选：先做监督微调注入“先定位、再作答”的回答格式，再做自蒸馏对齐，收敛通常更稳。

六、评估：别让下一次“顾此失彼”再发生

这项研究最值得吸取的方法论教训在评估环节：只盯单一基准，会系统性误判一个方案的价值。实践建议如下：

1. 建回归测试集：至少覆盖计数、细粒度查找、指称定位、通用VQA、文档/图表理解五类任务，任何数据配方变更都要全量重跑；
2. 单点涨分不算赢：一个基准上涨、另一个下跌，说明训练信号引入了行为偏置，应回到数据形态层面排查，而不是继续加量；
3. 单独评估定位质量：判断模型输出的坐标是否落在目标框内（或计算IoU），把“指得准”与“答得对”分开度量；
4. 监控格式漂移：观察模型是否学会在合适的时机输出路标，而不是“逢答必指”。

七、工程落地建议

完整链路涉及海量图像与标注的存取、批式清洗任务和GPU训练。工程上，通常把图像与标注放在对象存储、用容器任务调度清洗脚本、训练跑在GPU集群上——这些能力在百度智能云等云平台上都有对应的服务类目，按通用方式接入即可。更关键的是自己做好三件事：数据配方版本化、过滤阈值与超参记录、与训练脚本一并归档，保证任何一个实验结果可复现、可回溯。

八、小结

回到开头的问题：教AI数猫，是直接给答案，还是指着图讲？这项工作给出的完整回答是：

• 只给结论的数据，只能教出会背结论的模型；
• 给出“结论—位置”映射的数据，能教出会找证据的模型；
• 而会找证据的模型，能力会自发迁移到计数之外的一整族任务上。

对开发者的直接启示是：在规划视觉训练数据时，把“空间锚定”当作一等公民来设计，往往比盲目堆量更能改变模型的行为质量。同样的思路还可以自然推广到视频时序定位、文档版面理解、界面元素定位等场景——凡是答案有“落点”的任务，路标都值得一试。