简介：本文从超长文档OCR面临的计算与显存瓶颈出发，解析一种面向千页级输入的高效注意力机制与缓存管理策略。读者将了解页面门控、视觉Token筛选、无限解码等核心设计，以及这些方法如何在不牺牲解析精度的前提下，将单序列KV Cache峰值显存从数十GB降至GB级、显著提升并发吞吐。文章适合关注长文档理解、多模态模型推理优化与工程落地的开发者和技术决策者阅读。
OCR技术在处理单页或短文档时已经相对成熟，但将输入尺度扩展到数百页乃至数千页时，问题会发生质变。这并非简单的算力叠加可以解决，而是涉及注意力计算复杂度、显存生命周期管理、解码策略设计等多个层面的系统性约束。
以数千页的扫描文档为例，视觉编码器需要为每一页生成视觉Token表示。假设每页产生数百到上千个视觉Token，数千页累积下来的Token规模会达到百万级。如果沿用标准的全注意力机制，每一轮解码都需要在全部历史Token上计算注意力分布，单步推理的计算量随序列长度线性乃至平方级增长。更直接的问题是显存：所有页面的视觉KV缓存如果常驻GPU，数千页规模下会迅速耗尽可用显存。
这两个问题不是孤立的。即使通过某种方式降低了注意力计算成本，只要缓存仍然全部保留在显存中，长文档处理的可行性依然受限；反之，即使缓存管理得当，如果注意力机制本身在每一轮解码时仍需扫描过大的上下文，延迟也会让实际应用难以接受。因此，超长文档OCR需要一个同时覆盖计算效率和显存效率的联合方案。
面对这一挑战，一个直观有效的设计思路来自日常生活中的低技术场景：人工抄写一本厚书。抄写者在绝大多数时间只会注视当前页，只有当出现跨页引用、上下文衔接或前后不一致时，才会有意识地回翻之前若干页进行核对。没有人会在每抄一句话之前把整本书从头翻一遍。
这个行为模式背后隐藏着两个重要原则：第一，相关信息的检索具有强局部性，大部分决策只需要当前页及少量邻近页面；第二，当需要回看时，目标是精确锁定相关区域，而不是重新浏览全部历史内容。
将这一观察映射到模型架构上，可以抽象出一种稀疏参考的注意力策略：模型在每一步解码时，默认只关注当前处理页面所对应的视觉Token；同时保留一个有限的参考窗口，允许模型在需要时从之前的页面中提取少量关键Token。这样，注意力计算不再需要覆盖全部历史Token，而是在一个经过筛选的候选集合上进行。
实现上述策略需要解决两个问题：哪些历史页面有资格进入参考范围，以及从这些页面中如何挑选真正重要的视觉Token。
页面门控负责第一个问题。其基本思路是，在解码过程中为每个历史页面维持一个可学习或启发式更新的相关性评分。评分可以综合页面与当前解码位置的语义关联、时间衰减，以及页面内Token的活跃程度。只有评分超过阈值的页面才被纳入候选参考范围。这样就把原本的全历史检索压缩为一个规模可控的页面子集。
视觉Token筛选负责第二个问题。即使进入候选范围，一个页面内部仍然可能包含大量视觉Token，其中大部分对当前解码步骤并无帮助。Token筛选器以细粒度方式评估候选页面内每个视觉Token的相关性，例如结合注意分数、空间位置、文本先验或局部块重要性，挑选出分数最高的若干Token块参与最终的注意力计算。
两个机制叠加后，模型单步解码时的注意力计算范围从“全部历史Token”缩减为“少量候选页面中的少量Token块”。在理想情况下，计算成本可以近似保持恒定，不再随文档总页数线性膨胀。这对长文档解析的工程化落地具有直接意义。
注意力范围的缩小缓解了单步计算压力，但另一个问题仍然存在：如果所有页面的视觉缓存始终保留在GPU显存中，即使每一步计算只看少数Token，整体显存占用依然会随页数线性增长，最终达到不可接受的水平。
无限解码机制的核心思路是分块处理与缓存复用。整份文档被拆分为若干存在页面重叠的分块，模型按顺序处理每一块。相邻分块的重叠页面具有双重作用：一方面为上文的跨页关联提供缓冲，避免硬性截断带来的上下文断裂；另一方面允许复用已计算过的边界页面视觉KV缓存，减少重复编码开销。
当一个分块处理完毕后，那些对后续分块不再需要的视觉KV缓存会被主动释放。这样，无论文档总长度如何增长，显存中始终只需要维护当前工作分块及其必要边界的缓存。模型相当于一边读取、一边遗忘，把显存从“全量驻留”转换为“滚动维护”。
官方测试数据显示，单序列推理场景下，KV缓存峰值显存占用从约47GB下降至约1.77GB。在16并发条件下，端到端吞吐量从360 TPS提升至1315 TPS。这说明缓存策略的优化不仅降低了单任务资源门槛，也对服务化部署中的并发容量有显著提升。
引入稀疏注意力并不意味着可以放弃解析精度。一个常见担忧是，页面门控和Token筛选可能遗漏重要上下文，导致跨页关联识别失败。因此需要从两个维度评估：一是模型在固定文档长度下的精度是否相对全注意力有明显损失；二是当文档长度增长时，精度是否保持稳定而非快速衰减。
在百页级别文档上，稀疏参考滑动窗口注意力相较全注意力实现了明显的单步解码加速，约为7倍。在更长文档的评测中，解析精度在数百页范围内保持稳定，没有随着输入规模扩大而出现显著滑坡。这表明该策略在降低计算量的同时，成功保留了关键视觉信息的可检索性。
这一现象可以从机制设计上得到解释。虽然模型在每一步只能看到有限的Token子集，但页面门控和Token筛选器本质上是动态可训的检索机制，而非随机的静态丢弃。它让模型在训练中学会将真正影响解码结果的视觉信息排在候选集合前列。因此，只要挑选机制足够准确，稀疏性造成的精度损失就可以被控制在较小范围。
这套方案为多模态模型在长文档场景中的工程落地提供了几个有价值的启示。
首先是注意力范围的显式控制。与其让模型在所有历史Token上做全量注意力，不如设计明确的候选集缩减机制，让计算资源集中到最相关的视觉区域。页面门控和Token筛选的组合可以理解为一种可微分的检索结构，其优势在于支持端到端训练，而非依赖离线的索引构建。
其次是缓存的分段管理。长文档推理不应默认全量缓存常驻显存。把输入切分为有重叠的工作块，并在块间复用边界缓存，能够在不破坏长程语义的前提下显著降低显存压力。这一思路与流式处理、checkpoint复用等通用优化方向是一致的。
最后是系统能力与算法策略的协同。单纯的模型结构改进或单纯的推理引擎优化都难以覆盖长文档场景的全部瓶颈。真正有效的方案往往需要让注意力策略、缓存生命周期和任务调度逻辑共同设计，使模型表达能力和系统资源利用效率在同一个框架下得到优化。
随着扫描书籍、合同档案、研究文献等长文档数字化需求持续增长，千页级OCR解析正在从学术探索走向生产环境。通过稀疏注意力与缓存管理机制的配合，模型可以在有限资源约束下稳定处理超长视觉输入，这也为后续更复杂的多模态文档理解任务提供了可复用的基础能力。