简介：本文深入解析超长文档OCR中KV缓存随页数线性增长的核心瓶颈，介绍稀疏参考滑动窗口注意力与持续解码机制的协同设计，实现峰值缓存降低约96%、支持数千页连续识别。读者将掌握长文档推理的显存优化思路与工程落地要点。
文档识别（OCR）技术在过去几年里经历了从”单页扫描”到”整本解析”的跃迁。早期的OCR系统处理的是零散图片或单页PDF，模型只需关注当前图像即可完成识别。然而，真实业务场景远比这复杂：法律卷宗、学术论文集、企业年报、长篇连载内容，动辄数百甚至数千页。用户期望的不再是逐页上传、逐页解析，而是”一次投喂、连续输出”。
这一需求对模型架构提出了全新挑战。传统的自回归解码在生成每一个token时，都需要缓存此前所有token的Key和Value向量，即KV Cache。对于纯文本模型，这个缓存已经不小；而对于多模态OCR模型，每一页文档还会产生大量视觉token，其KV缓存占用远超文本token。当文档页数从几十页扩展到几千页时，缓存占用呈线性增长，显存很快被耗尽。
以连续识别3000页以上文档为例，若采用标准解码方式——将所有页面的视觉缓存同时保留在显存中——峰值KV缓存占用可达数十GB级别。这个数字甚至超过了不少笔记本电脑的整机内存。模型权重、激活值等其他开销还要另算。显存墙成为超长文档OCR落地的首要障碍。
除此之外，还有一个容易被忽视的问题：计算冗余。当模型识别第3000页的某几行文字时，它真的需要关注第1页到第2999页的全部视觉信息吗？答案显然是否定的。当前正在识别的文本行，与绝大多数历史页面之间并无直接关联。但标准注意力机制并不区分这一点，它会让所有历史token都参与注意力计算，造成大量无效计算。文档越长，这种”陪跑”计算越多，推理速度也就越慢。
因此，超长文档OCR的核心矛盾可以概括为两点：缓存随页数线性增长导致显存爆炸，以及全量注意力导致计算随页数线性增长。要真正实现”一口气读完整套小说”，必须同时解决这两个问题。
面对上述矛盾，一种自然的思路是观察人类是如何处理长文档的。当一个人抄写一本厚书时，他不会同时盯着所有已翻过的页面。他的注意力集中在当前正在抄写的那几行字上，偶尔翻回前几页核对一个术语或引用，但绝大多数历史页面处于”被遗忘”状态。这种局部聚焦、按需回看的策略，正是超长文档OCR优化的灵感来源。
上一代方案已经通过滑动窗口注意力机制大幅降低了推理阶段的KV缓存，但存在一个关键缺陷：在需要回看历史信息时，所有输入页面的视觉信息依旧都要参与注意力计算。也就是说，窗口机制减少了缓存的存储量，却没有减少注意力计算时的候选集。文档越长，算的信息越多，而其中相当一部分与当前识别内容无关。
第二代方案的核心升级在于两点：稀疏参考滑动窗口注意力（Sparse Reference Sliding Window Attention，SR-SWA）和持续解码机制（Continuous Decoding）。前者解决”少算”的问题，后者解决”少存”的问题。两者协同，才实现了峰值KV缓存从数十GB降至不到2GB、一口气处理3600页以上的效果。
滑动窗口注意力的核心思想是：当前token只与最近的W个token进行注意力计算，而不是与所有历史token计算。这样，KV缓存只需要保留最近W个token的Key和Value，缓存大小从O(N)降为O(W)，其中N是总序列长度，W是窗口大小。对于超长文档，W远小于N，缓存占用因此大幅降低。
但滑动窗口有一个明显问题：它假设”最近的信息最重要”，而历史信息可以被完全丢弃。对于OCR任务，这个假设并不总是成立。例如，文档开头定义了一个缩写，后续页面反复使用；或者当前表格的列头在几页之前。如果窗口完全覆盖不到这些信息，识别质量会下降。
SR-SWA在滑动窗口的基础上引入了”稀疏参考”机制。具体来说，模型不再对所有历史页面做全量注意力，而是维护一个稀疏的参考集合。这个集合中的元素不是固定的，而是根据当前识别内容动态选取的——模型会判断当前正在识别的文本行与哪些历史页面或视觉区域相关，只将这些相关页面的视觉信息纳入注意力计算。
这种”按需选取”的策略带来了两个好处。第一，计算量大幅减少。当前token的注意力候选集从”所有历史token”缩小为”窗口内token + 少量相关参考token”，计算复杂度显著降低。第二，缓存管理更高效。由于只需要保留被选中的参考页面的视觉缓存，而不是所有页面的缓存，显存占用进一步下降。
从实现角度看，稀疏参考的选取可以基于多种信号：文本相似度、版面结构关联、关键词匹配等。关键在于，这个选取过程本身要足够轻量，不能引入新的计算瓶颈。SR-SWA的设计目标就是让选取开销远小于全量注意力的节省。
上一代方案已经通过R-SWA（Recurrent Sliding Window Attention）降低了KV缓存，但它的回看机制仍然会让所有输入页面的视觉信息参与注意力计算。换句话说，R-SWA减少了”存”的压力，但没有充分减少”算”的压力。SR-SWA在此基础上增加了稀疏选取步骤，使得回看时只计算相关页面的视觉信息，真正实现了”少算”。
用一个类比来说明：R-SWA像是把书架上的书都保留着，但每次查阅时把整排书都搬到桌上翻一遍；SR-SWA则是先根据当前需要，只从书架上抽出可能相关的几本，再翻这几本。显然后者的效率更高。
在标准自回归解码中，每生成一个token，都需要将当前token的Key和Value追加到KV缓存中，并与缓存中所有历史Key和Value计算注意力。这意味着单步解码的计算量随已生成序列长度线性增长。对于3600页的文档，当识别到最后一页时，单步解码需要处理前面所有页面的缓存，延迟极高。
持续解码机制的目标是：让单步解码开销不随文档变长而增长。其核心思想是将长文档切分为多个逻辑段，每段内部使用滑动窗口注意力，段与段之间通过稀疏参考机制传递必要信息。这样，单步解码时只需要关注当前段内的窗口缓存和少量跨段参考缓存，而无需处理全部历史缓存。
具体来说，持续解码机制维护一个固定大小的”活跃缓存”，其中包含当前窗口内的token以及被稀疏选取的参考token。当文档向前推进时，旧的窗口内容被丢弃，新的token进入窗口。由于活跃缓存大小固定，单步解码的计算量和显存访问量都保持恒定，不会随文档总长度增加而增加。
在实际推理框架中，持续解码需要与KV缓存管理、注意力计算内核紧密配合。例如，在支持连续批处理（continuous batching）的推理引擎中，每个请求的缓存可以独立管理，SR-SWA和持续解码可以作为注意力层的自定义逻辑嵌入。这样，超长文档识别任务可以与其他请求共享GPU资源，而不必为单个长文档预留超大显存。
从社区适配角度看，该方案已经支持主流推理框架的接入，并提供了在线演示环境，方便开发者快速验证效果。围绕它的工具链和部署方案也在持续推进中。
综合SR-SWA和持续解码机制，该方案在超长文档OCR任务上取得了显著效果。以连续识别3600页以上文档为例，峰值KV缓存占用从标准解码的47GB降至1.77GB，减少约96%。这意味着原本需要多卡或超大显存才能运行的任务，现在可以在单张消费级显卡上完成。模型权重等其他开销另算，但KV缓存这一最大变量已经被有效控制。
更重要的是，单步解码开销不再随文档变长而水涨船高。无论文档是100页还是3000页，每一步的解码延迟基本保持稳定。这为交互式超长文档处理提供了可能：用户可以连续上传数百页材料，模型实时输出识别结果，而不会在文档后半段变得明显卡顿。
从技术演进的角度看，这一方案的价值不仅限于OCR。任何需要处理超长多模态序列的任务——如长视频理解、多页图表分析、跨文档问答——都面临类似的KV缓存瓶颈。SR-SWA和持续解码所代表的”稀疏参考 + 固定活跃缓存”思路，为这类问题提供了一种可复用的架构模式。
超长文档OCR的落地，核心挑战在于显存和计算随文档长度线性增长。通过稀疏参考滑动窗口注意力机制，模型能够按需选取相关页面和视觉信息，减少无效计算；通过持续解码机制，单步解码开销与文档总长度解耦，缓存占用保持恒定。两者结合，实现了峰值KV缓存降低约96%、支持数千页连续识别的效果。
未来，这一方向仍有优化空间。例如，稀疏参考的选取策略可以进一步智能化，结合文档结构先验（如章节、标题、表格边界）提升回看精度；持续解码的活跃缓存大小可以根据任务复杂度动态调整，在质量和效率之间取得更优平衡。对于开发者而言，理解这一架构的核心思想——用稀疏性换效率，用固定缓存换可扩展性——比记住具体参数更重要。在长序列推理日益普遍的今天，这类优化思路将成为构建高性能AI系统的基础能力。