视觉AI解释迈入新阶段：Tel Aviv团队提出“参考框架×粒度”分类体系

简介：本文深入解读Tel Aviv大学研究团队在AAAI 2025上提出的视觉解释分类框架（RFxG）。该框架针对当前AI视觉模型“能识别、难解释”的痛点，系统性地将用户提问归纳为两大维度与多种粒度，为构建更透明、更可交互的视觉问答系统提供了理论基石与实践路径。文章将拆解其核心思想、技术架构及对AI应用落地的影响。

从“能看见”到“能讲明白”：视觉解释的困境

在人工智能的视觉感知能力突飞猛进的今天，一个看似矛盾的现象愈发突出：模型可以以极高的准确率完成图像分类、目标检测等任务，但当用户追问模型“为什么”时，得到的往往只是一个笼统的热力图，或者一串难以理解的注意力权重。这种“黑箱”状态，在医疗影像辅助诊断、自动驾驶决策、内容审核等高风险场景中，构成了严苛的信任壁垒。

传统的可解释性方法，如基于梯度的类激活映射（CAM）或基于扰动的遮挡测试，本质上是“事后归因”。它们能够指出图像中哪些像素区域对决策贡献最大，却无法回答更高层次的语义问题。例如，一张图片被识别为“跑车”，传统解释只能告诉你“模型主要看了车头的大灯区域”，却无法告诉你“它是因为大灯的流线型造型和进气格栅的比例，才判断这是一辆跑车而非轿车”。这种解释缺乏语义对齐——视觉特征与人类可理解的概念之间没有建立清晰的映射关系。

问题拆解：用户究竟在问什么？

Tel Aviv大学团队的研究起点，是对用户提问模式的系统性观察。他们发现，在实际交互中，用户针对视觉模型的提问虽然千变万化，但归根结底可以压缩为两个核心维度：

第一维度：参考框架（Frame of Reference）。
这一维度回答的是问题的“比较基础”。具体分为两类：

绝对参考框架（Absolute）： 用户只关心目标本身。提问形式如“这是什么？”、“为什么这是跑车？”。解释需要描述目标物体的内在属性，如颜色、形状、纹理、局部结构等。
相对参考框架（Relative）： 用户指定了一个或多个对比对象。提问形式如“为什么这是跑车而不是轿车？”、“为什么这张X光片被标记为异常，而那张是正常的？”。解释必须聚焦于目标物体与参照物体之间的判别性差异，而非描述共有的特征。

第二维度：粒度（Granularity）。
这一维度回答的是解释的“细致程度”。同样一个问题，用户可能期望不同深度的回答：

粗粒度（Coarse）： 关注物体的整体类别或大尺度结构。例如“因为它有四个轮子和一个驾驶舱”。
细粒度（Fine）： 关注特定的局部特征或精确的视觉线索。例如“因为它拥有长车头、低矮的车身姿态以及双门设计，这些是典型高性能跑车的比例特征”。

一个精准的解释，必须同时明确参考框架和粒度。如果用户问的是“为什么是跑车而不是SUV”，而模型回答“因为它速度快”，这就犯了“参考框架”错位的错误——速度并非视觉特征，且跑车与SUV在“速度”这个属性上本身就有重叠。若用户想要的是粗粒度解释，模型却提供了一张高亮到复杂边缘的细粒度热力图，用户体验同样会很差。

核心框架：RFxG——视觉解释的“语法规则”

基于上述观察，研究团队提出了“参考框架×粒度”（Reference Frame × Granularity, RFxG）分类系统。这一框架的核心贡献在于，它将模糊的“解释生成”任务，转化为一个结构化的条件生成问题。

具体而言，RFxG框架由两个关键模块构成：

模块一：查询意图解析器（Query Intent Parser）。
该模块接收用户的自然语言提问，利用轻量级语言模型（或规则引擎）将问题解析为结构化的标签对。例如：

输入：“为什么图片里的动物是哈士奇？”
解析结果：{参考框架: 绝对(Absolute), 粒度: 细粒度(Fine)}
输入：“为什么这个物体是苹果而不是梨？”
解析结果：{参考框架: 相对(Relative), 粒度: 细粒度(Fine)}

模块二：条件解释生成器（Conditional Explanation Generator）。
该模块在接收到意图标签后，不再启用通用的解释通道，而是分别激活不同的解释逻辑：

对于绝对参考框架： 激活“属性描述器”。该描述器负责提取目标区域内的显著语义特征，并用自然语言模板生成“因为该物体具有……特征”的陈述。例如：“因为图像区域显示该物体具有尖锐的轮廓、坚硬的质感以及类似不锈钢的反光表面。”
对于相对参考框架： 激活“对比判别器”。该模块不仅需要提取目标物体的特征，还需要提取参照物体的特征，并计算两者的差异向量。解释生成将围绕差异展开。例如：“因为苹果的底部通常有内凹的萼洼，而梨的底部则更平缓且整体形状更接近锥形。”

值得注意的是，粒度的控制体现在特征选择和语言组织的复杂度上。在粗粒度模式下，生成器倾向于使用高层次的类别概念（如“整体轮廓”、“车身比例”）；在细粒度模式下，生成器则倾向于引用更具区分度的低层次视觉属性（如“某个部件的曲率半径”、“边缘的锯齿状程度”）。

技术落地：从理论框架到工程实践

虽然RFxG目前是一个学术研究框架，但其工程化落地路径已经清晰可见。对于开发者而言，构建一个具备“视解释”能力的系统，可以遵循以下架构思路：

# 伪代码示例：RFxG框架的工程化示意
class VisualExplanationSystem:
    def __init__(self, vision_encoder, concept_bank, llm):
        self.encoder = vision_encoder  # 视觉特征提取器
        self.concepts = concept_bank   # 语义概念特征库（如“流线型”、“锥形”等）
        self.llm = llm                 # 用于生成自然语言解释的大语言模型
    def explain(self, image, query):
        # 步骤一：意图解析
        frame = extract_frame_of_reference(query)  # 输出 'Absolute' 或 'Relative'
        granularity = extract_granularity(query)   # 输出 'Coarse' 或 'Fine'
        # 步骤二：特征提取
        roi = detect_region_of_interest(image)
        target_features = self.encoder.extract(roi)
        explanation_text = ""
        if frame == 'Absolute':
            # 步骤三a：绝对模式 - 提取显著性属性
            salient_concepts = match_concepts(target_features, self.concepts,
                                              level=granularity)
            explanation_text = self.llm.generate(
                f"描述该物体的显著属性，重点包括: {salient_concepts}"
            )
        else:
            # 步骤三b：相对模式 - 提取与对比对象的差异
            reference_roi = detect_reference_region(image, query)
            reference_features = self.encoder.extract(reference_roi)
            diff_concepts = compute_discriminative_features(target_features,
                                                            reference_features)
            explanation_text = self.llm.generate(
                f"对比该物体与参照物，强调不同点，重点包括: {diff_concepts}"
            )
        return explanation_text

上述代码展示了一个最小实现路径。在实际生产中，概念库（Concept Bank） 的构建是关键。它需要涵盖大量可解释的视觉属性（如颜色、纹理、几何形状、材质、部件结构），并通过对比学习或视觉问答的方式与视觉特征进行对齐。

对AI应用生态的启示

RFxG框架的意义不仅在于提升单一模型的解释性，更在于它为多模态人机交互提供了一种标准化的通信协议。

提升调试效率： 开发者可以利用该框架定位模型“为什么错”。例如，当模型在“相对参照”模式下给出了错误的判别特征时，说明模型的视觉特征提取存在盲区，需要补充相应的训练数据。
赋能垂直行业： 在医疗影像场景中，医生可以询问“为什么判定为良性而不是恶性”，系统将基于细粒度差异给出如“良性病灶边缘光滑，而恶性病灶边缘呈毛刺状”的回应，从而辅助医生进行复核。
构建可信AI： 将“解释能力”模块化，有助于企业满足日益严格的算法合规要求，减少因“黑箱决策”带来的业务风险。