视觉Token剪枝的另一种解法：与其删除，不如减少重复计算

什么是视觉Token剪枝

在理解本文的核心技术之前，需要先明确两个基础概念：视觉Token和Token剪枝。

视觉Token是指图像或视频输入多模态大模型后，由视觉编码器将像素信息转换为的一组向量序列。一张普通分辨率的图片通常会被切分成数百个图像块，每个图像块对应一个视觉Token；视频则因帧数增加，Token数量可达数千甚至上万。这些Token与文本Token拼接后，共同进入多层Transformer网络进行注意力计算。

Token剪枝则是过去两年中主流的高效化手段。其核心逻辑是：既然视觉Token数量过多导致计算开销巨大，干脆在送入模型前或模型前几层中剔除一部分不重要的Token，以压缩后续计算量。这种思路一度成为领域共识，各种剪枝策略不断涌现，评判标准通常是谁能在保留Token更少的情况下，让模型性能下降得越少。

然而，这种“删减”方案存在一个结构性缺陷：一旦某个Token被剔除，其所携带的像素级细节、纹理特征或空间关系就永久丢失。如果模型深层网络在后续推理中需要该信息，已无任何手段可以恢复。这好比搬家时将部分箱子提前丢弃，等入住后发现需要的旧物恰好就在其中，却再也找不回来。

另一条路径：保留全部Token，减少重复计算

来自多所高校研究机构的最新论文提出了一种完全不同的思路：一个视觉Token都不丢弃，而是让它们不必在每一层网络中都重复进行同等规模的计算。

这一思路的出发点是对一个基本假设的质疑：视觉Token真的需要在Transformer的每一层都被“重新揉搓”一遍吗？

核心观察：视觉信息的高效表达

研究团队首先进行了关键实验来验证这一假设。他们考察了视觉Token在Transformer各层中的“有效信息维度”。实验结果表明，视觉Token携带的高价值信息，其有效维度远低于Token本身的特征维度。换句话说，在所有视觉Token中，真正对模型最终输出产生关键影响的，往往只占极少数，大约在1%到10%之间。剩余的大量Token虽然在底层视觉特征提取中有效，但在深层网络的语义对齐阶段，它们的贡献微乎其微。

这一发现直接动摇了“剪枝”的逻辑基础。既然大部分Token在深层网络中并不具备独立价值，那么正确的做法不是提前删除它们，而是让它们在浅层完成特征提取后，后续深层计算中不再参与完整注意力操作，从而节省大量浮点运算量。

与剪枝的本质区别

剪枝与这种方法的核心区别在于信息可恢复性：

• 剪枝是在进入模型推理前或推理初期，直接移除Token。被移除的Token及其携带的原始像素信息、低层纹理特征、空间位置编码等全部丢失。即使深层网络需要这些信息，系统也无能为力。
• 保留+跳过计算是让所有Token都完整通过浅层网络（通常为前几层），确保底层视觉特征被充分提取；进入深层后，系统根据Token的重要性评分，只为少数重要Token分配全量注意力计算，其余Token仅以轻量方式（如直接传递或插值合并）参与后续网络层。

这种设计既避免了信息永久丢失的风险，又显著降低了深层网络的计算压力。对于图像中较小的目标、细微的物体边缘、复杂场景中的局部关系等，这些信息虽然对全局语义的贡献不大，但一旦需要，系统仍能随时调用。

技术实现机制

具体而言，该方案的实施分为以下几个环节：

1. 浅层全量计算：视觉Token进入模型后，前若干层（视模型深度而定）执行完整的自注意力与多层感知机运算，保证每个Token的底层视觉特征被充分编码。
2. 重要性评估：在浅层输出阶段，通过对每个Token的得分进行统计，或利用注意力权重的分布特性，计算每个Token对全局语义的贡献度。这一步骤不需要额外的监督信号，可在推理过程中自然完成。
3. 分组处理策略：得分较高的Token（通常占比10%左右）被标记为“关键Token”，在后续所有层中继续参与完整的注意力计算。其余Token则被归入“辅助Token”组，它们在后续层中不再独立参与注意力计算，而是通过聚合或复用上一层的结果进行轻量更新。
4. 动态恢复机制：如果在某一层的输出的检测显示某些辅助Token的重要性上升（例如在深层需要用到之前忽略的局部信息），系统允许这些Token重新加入全量计算。这一机制确保了信息的可访问性始终存在。

整个流程对模型输出结果的影响被控制在极小范围内，因为底层视觉信息已经完整保留。关键在于，绝大多数视觉Token无需在几十层网络中一遍遍重复计算，使得计算成本大幅下降。

典型应用场景

这技术的典型使用场景主要集中在以下几类：

• 高分辨率图像理解：医疗影像分析、卫星遥感图像识别、工业质检等场景中，图像分辨率高且包含大量细小但关键的视觉细节。传统剪枝方法可能误删关键病灶区域或缺陷特征，而保留法能最大限度减少信息损失。
• 长视频理解：视频输入带来的Token数量成倍增长，计算压力尤其突出。对时长较长、场景变化复杂的视频，保留全部Token但降低深层计算量，可以在保持召回率的情况下显著降低推理延迟。
• 多轮图文交互：在视觉问答、视觉对话等场景中，用户可能针对图像中的不同区域进行多轮提问。如果第一轮提问时某些Token被剪掉，第二轮提问可能就无法回答。而保留法确保每一轮都能访问全部图像信息。

与相关概念的区别

与视觉Token剪枝相关的概念还包括 Token合并 和 Token蒸馏。

• Token合并：将相邻或相似的Token合并成单个Token，以减少数量。合并后新Token携带的信息是多个原始Token的混合，细节程度下降。该方法同样存在信息粒度丢失的问题，尤其不适合对局部细节敏感的任务。
• Token蒸馏：通过训练一个小型模型来模仿大型模型的输出，本质上是模型压缩路径。它关注的是整体模型精简，而非输入Token的处理策略。

保留全部Token的方法可以看作是对Token压缩策略的一种矫正：与其在输入端做不可逆的信息筛选，不如在计算过程中做可逆的效率优化。

实际应用注意事项

在实际应用该技术路线时，开发者需要留意以下几点：

• 浅层网络层数的设定：不同深度模型的最佳浅层范围不同，需要通过小规模实验验证，找到性能与效率的平衡点。
• 重要性评估模块的可靠性与延迟：重要性评估本身需要额外计算量，设计不合理可能带来新的瓶颈。应尽量利用注意力机制中已有的权重信息实现近乎零额外开销的评估。
• 兼容性：该方法与其他优化技术（如量化、并行化推理）的组合效果需在部署前充分测试，以免因算子融合限制导致收益打折。

总结

视觉Token的处理并非只有“砍掉”一条路。通过重新审视Token在深层网络中的实际作用，保留全部Token但限制其重复计算，既能避免信息永久丢失的风险，又能有效压缩推理开销。这种思路为多模态大模型的高效化部署提供了新的可选路径，尤其适合对细节敏感、场景复杂、多次交互的视觉理解任务。理解这一区别，有助于开发者在设计系统时做出更具针对性的技术选型。