视觉语言模型的“伪定位”：当答案正确但关注点错了

一、问题的提出：答对，不等于看对

在视觉问答任务中，我们通常用“答案是否正确”来评价一个视觉语言模型的好坏。模型接收一张图像和一个自然语言问题，输出一个文本答案。只要答案与标注一致，往往就被认为模型理解了图像内容。

但这种评价方式忽略了一个关键问题：模型可能是“蒙对”的，或者说，它采用了错误的视觉证据，却碰巧得到了正确的文本结论。

一个典型场景是：给模型一张室内照片，问“从女孩的视角看，灯放在哪里”。模型可能回答“左侧”，并给出看似合理的推理过程。但如果把模型在推理时关注的图像区域可视化，会发现它可能根本没用准“女孩”的视线方向，也没有真正定位到“灯”，而是基于某些无关纹理或背景线索做出了判断。

这类现象可以称为“伪定位”：模型的答案与任务标签一致，但模型生成答案时所依赖的视觉区域与人类理解的语义对象不一致。

二、从“答案正确”到“依据可信”

传统视觉问答的评价指标主要关注文本输出的一致性，例如准确率。但准确率高，并不代表模型学到了稳定的视觉语义对齐能力。

为什么会出现这种现象？主要有三个原因：

1. 训练目标偏向文本匹配

大量视觉语言模型的训练数据以“图像—问题—答案”三元组为主。模型在优化过程中，倾向于学习从问题到答案的捷径，而不是真正建立图像区域与语义概念之间的对应关系。只要某些图像特征与答案在统计上相关，模型就可能利用这些特征完成分类或生成，而忽略人类可解释的视觉推理路径。

2. 语言先验过强

视觉问答数据集中存在明显的语言偏差。例如，某些问题中的关键词与答案之间存在强相关。模型即使不看图像，仅凭问题文本也有一定概率得到正确答案。这种语言先验会掩盖视觉理解能力的不足。

3. 注意力可视化不等于真实定位

一些研究尝试用注意力权重解释模型“在看哪里”。但注意力图往往只能说明模型对某些区域赋了较高权重，并不能严格等同于模型真正完成了对象定位与关系判断。权重高的区域可能是背景、边缘或噪声，而不是目标对象本身。

因此，要让模型“诚实”地使用视觉信息，需要引入更显式的定位监督机制，让模型不仅生成答案，还要给出与答案相关的视觉依据。

三、用框标注约束视觉推理

解决伪定位问题的一种可行思路是：在训练或微调阶段，要求模型同时输出答案和对象的位置框。位置框可以用归一化坐标表示，例如 [x1, y1, x2, y2]，分别对应图像中某个对象的左上角和右下角位置。

1. 任务形式改造

原始任务可以形式化为：

输入：图像 I + 问题 Q
输出：答案 A

改造后的任务变为：

输入：图像 I + 问题 Q
输出：答案 A + 对象定位框 B1, B2, ...

其中，每个定位框对应问题中涉及的一个关键对象。例如，问题“从女孩的视角看，灯放在哪里”需要模型定位“女孩”和“灯”两个对象，并基于它们的相对位置关系推导答案。

2. 定位框的语义绑定

仅输出坐标还不够。坐标需要与语义标签绑定，否则模型可能输出任意框，仍然无法保证定位的准确性。

一种方式是在输出序列中使用结构化标记：

<obj>女孩</obj><box>[0.21, 0.35, 0.48, 0.72]</box>
<obj>灯</obj><box>[0.62, 0.18, 0.79, 0.41]</box>
答案：左侧

这样，模型在生成答案之前，必须先显式定位相关对象。后续的答案生成可以基于这些定位结果进行推理，而不是直接从问题文本跳到答案。

3. 推理链与定位链的对齐

更进一步的方案是让模型在推理链中嵌入定位结果。例如：

Step 1: 识别图像中的女孩，位置框为 [0.21, 0.35, 0.48, 0.72]
Step 2: 识别图像中的灯，位置框为 [0.62, 0.18, 0.79, 0.41]
Step 3: 计算两个框的中心点
Step 4: 根据相对位置判断方向
答案：左侧

这种方式将推理过程与视觉定位绑定，使得每个关键步骤都有可验证的视觉依据。如果定位错误，答案即使正确，也能在评估中被识别出来。

四、训练框架与损失设计

要让模型学会这种“定位+推理”的能力，需要在训练时引入对应的监督信号。

1. 数据标注

训练数据需要在原有“图像—问题—答案”的基础上，补充关键对象的位置框。这些框可以来自人工标注，也可以从已有的检测数据中自动关联。例如，当问题中明确提到“女孩”时，可以从检测数据中找到对应的框。

2. 多任务损失

模型训练时可以使用多任务学习框架。一个常见的做法是：

• 文本生成损失：约束模型输出的答案与标准答案一致；
• 定位回归损失：约束模型输出的框坐标与标准框尽可能接近；
• 定位分类损失：约束模型正确识别对象类别。

三者加权组合，例如：

loss = alpha * answer_loss + beta * box_reg_loss + gamma * box_cls_loss

其中 alpha、beta、gamma 是超参数，用于平衡不同任务的收敛速度。

3. 评估指标扩展

评估阶段不能只看答案准确率，还应引入定位准确率。例如，可以计算模型输出框与标准框之间的交并比（IoU），并设定阈值判断定位是否命中。

def compute_iou(box_a, box_b):
    # box: [x1, y1, x2, y2]
    x1 = max(box_a[0], box_b[0])
    y1 = max(box_a[1], box_b[1])
    x2 = min(box_a[2], box_b[2])
    y2 = min(box_a[3], box_b[3])
    inter = max(0, x2 - x1) * max(0, y2 - y1)
    area_a = (box_a[2] - box_a[0]) * (box_a[3] - box_a[1])
    area_b = (box_b[2] - box_b[0]) * (box_b[3] - box_b[1])
    union = area_a + area_b - inter
    return inter / union if union > 0 else 0

当模型答案正确但定位 IoU 低于阈值时，可以将其判定为“伪正确”样本。这类样本在传统指标下被忽略，但恰恰是模型可信度的重要隐患。

五、工程实践中的关键问题

1. 输出格式稳定性

让模型输出结构化文本，如 XML 标签或 JSON，需要保证格式的稳定性。模型偶尔会漏掉闭合标签、输出非法坐标或重复框。此时可以在解码阶段加入约束，例如限制输出序列中 <box> 标签的数量，或使用正则表达式校验坐标范围。

2. 坐标归一化与图像尺寸

模型输出的坐标应当使用相对值，即除以图像宽高，使坐标落在 [0,1] 区间。这样模型不需要感知原始分辨率，也便于在不同尺寸图像之间迁移。

3. 定位与推理的解耦

在实际系统中，定位与推理可以适度解耦。例如，先用检测模块生成候选框，再让语言模型基于候选框进行推理。这种解耦方式可以降低端到端训练的难度，同时提高定位的可控性。但解耦也会带来信息损失，需要根据具体场景权衡。

六、适用场景与收益

引入“定位+推理”的约束机制后，视觉语言模型在以下场景中会更有价值：

• 医疗影像辅助判读：模型不仅给出结论，还标注出可疑区域，便于医生复核。
• 工业质检：模型指出缺陷位置，而不仅仅是判断“合格/不合格”。
• 自动驾驶感知问答：模型在回答“前方是否有障碍物”时，同时给出障碍物位置。
• 内容审核：模型输出违规区域，帮助人工快速定位。

在这些场景中，可解释的视觉依据往往比单一答案更重要。用户需要知道模型“看到了什么”，而不是只听它“说了什么”。

七、局限与后续方向

当前基于框监督的方案也有局限。首先，框标注成本较高，尤其是对复杂场景和细粒度对象。其次，框只能表达对象的粗略位置，无法描述对象的姿态、遮挡关系或局部特征。再者，部分问题不涉及明确的对象定位，例如情感判断或整体场景描述，此时定位约束的适用性会下降。

后续方向可以包括：

• 使用点标注或粗粒度区域标注替代精确框，降低标注成本；
• 引入分割掩码作为更细粒度的定位依据；
• 探索弱监督方式，让模型在不依赖大量框标注的情况下自发学习可解释的定位能力。

八、结语

“答对”是视觉语言模型的基础能力，但不是最终目的。随着多模态系统进入更多关键领域，模型是否“看对了”将越来越重要。让模型在输出答案前先显式定位关键对象，是一种有效且可落地的约束手段。它能让模型的推理过程变得可检查、可验证，也能帮助开发者发现那些隐藏在正确答案背后的视觉理解缺陷。

对开发者而言，构建可信的多模态应用，不应只关注准确率曲线，更应关注模型是否在正确的位置上给出了正确的判断。毕竟，一个“碰巧答对”的模型，在真实场景中往往比一个“承认看不清”的模型更危险。