长文档OCR解析再进化：稀疏参考如何压低视觉计算成本

在长文档OCR场景中，真正困难的往往不是“识别某一页”，而是“连续识别几百页之后仍然保持稳定”。页数一多，计算图变大，显存占用上升，跨页结构还容易在拼接处断裂。很多团队面对年报、档案、论文合集时，会先把文档拆成小段再分别识别，最后做后处理拼接。这个流程能用，但表格跨页、段落延续、页眉页脚重复、章节边界等位置很容易出错。

要解决这个问题，不能只提升单页识别率，还要重新设计“模型如何记住前面读过的内容”。一种更合理的思路是：让模型在解析当前页时，不必重新关注全部历史页面，而是只参考少量真正相关的视觉信息。这样既能延续上下文，又能把计算成本控制在一个相对平稳的区间。

本文讨论的长文档OCR方案，正是围绕这一目标展开。其核心机制是在文本侧KV Cache控制之外，进一步削减视觉侧的计算开销，使解码过程能够沿着页面顺序持续进行，而不是拆成若干独立任务后再拼接。

从显存瓶颈说起

在基于视觉语言模型的长文档OCR中，每一步解码都可能与历史页面产生关联。如果模型需要在每次生成时访问全部历史页面的视觉Token，计算量和显存占用会随页数近似线性增长。几十页的论文还能承受，但当文档规模达到数百页甚至上千页时，推理成本会迅速超出单卡可用资源。

常见的应对方式是分块处理。将长文档按固定页数切分，例如每32页为一个块，逐块识别，最后再把结果合并。分块能降低峰值显存，但会引入新的问题：跨块位置的段落可能被截断，跨页表格可能被拆成两个独立结构，章节标题与正文之间的关系也可能丢失。

因此，目标应当是“尽量少拆分，尽量连续解析”。也就是说，让模型自然地沿着页面顺序往下读，同时只在必要时回顾前文，而不是每次都将全部历史重新编码。

文本缓存与视觉缓存：两类压力要分开看

长文档OCR的显存压力通常来自两条线。一条是文本侧的KV Cache，记录生成过程中的历史文本状态；另一条是视觉侧的历史视觉Token，记录哪些图像区域曾被作为参考信息。

先前一些长文档解析方案已经通过滑动窗口注意力机制，控制了文本侧KV Cache的持续增长。例如在文本侧只保留当前窗口内的缓存，超过窗口的历史信息被截断。这种方式显著减小了文本缓存的规模，但视觉侧仍可能保留大量参考Token。页数继续增加时，视觉计算反而成为新的瓶颈。

换句话说，文本缓存管住之后，问题转移到了“视觉信息过多”。因此新一代方案的核心是在视觉参考中引入稀疏性：不是所有历史页面、所有区域都与当前页相关，模型应当先筛选，再计算。

稀疏参考滑动窗口注意力机制：两道筛子降低视觉开销

该机制可以概括为两个阶段。第一阶段是页面级筛选，称为Page Gate；第二阶段是视觉信息块级筛选，称为Token Sieve。两者共同作用，让模型在保持跨页感知能力的同时，只对少量远程视觉信息进行实际计算。

页面级筛选：把参考范围收窄到相关页面

当模型解析到第500页时，第1页的页眉、第2页的某张插图，对当前内容的影响通常很小。Page Gate的作用就是据此缩小视觉参考范围。它不要求模型扫描全部499个历史页面，而是先判断哪些页面可能与当前页存在结构或语义关联，再把视觉参考范围限制在这些候选页面上。

这一过程可以理解为动态构建一个小型页面上下文窗口。窗口内既包含当前页附近的内容，也可能包括前文中被判定为重要的页面，例如章节开头、目录页或一个跨页表格的起始页。与其他简单滑动窗口不同，Page Gate不是只按距离取最近若干页，而是结合位置关系与内容相关性进行筛选。

这种页面级筛选的意义在于，它保留了跨页依赖，同时剔除了大量低价值的页级视觉冗余。例如一份年报中，当前第180页可能是财务附注的一部分，它与第179页、第181页高度相关，也可能需要回顾第20页附注说明，但与第3页封面、第10页目录之间几乎不需要视觉级交互。Page Gate让模型可以只关注那些真正有用的页面。

视觉信息块筛选：只让少量远程Token参与计算

页面范围缩小之后，仍然可能包含大量视觉Token。一个页面可能被切分成数十个甚至上百个图像块，仅保留十几页候选页面就可能导致视觉Token规模依旧可观。Token Sieve在此基础上进一步筛选视觉信息块。

Token Sieve会对候选视觉信息块打分，选择少量最相关的远程Token参与当前页的计算。这里所说的Token指的是从页面图像中提取出的视觉表示块，而不仅仅是文字区域。打分依据可以包括位置关系、结构一致性、内容相似性等。得分较低的视觉Token会被排除在本次注意力计算之外，从而显著降低计算复杂度。

这种设计背后的直觉是：即使两个页面相关，也不是页面上的每个区域都同等重要。例如一个跨页表格从第30页延续到第31页，解析第31页时，第30页中的表头区域和表格首行可能非常关键，但第30页的页脚、页码、装饰性图表或另一段无关正文则不必参与视觉计算。通过Token Sieve，模型可以只重点关注那些真正影响理解的历史视觉信息块。

两部分合起来，就构成了稀疏参考滑动窗口注意力机制。它通过Page Gate限制页面范围，通过Token Sieve限制视觉Token数量，使历史参考信息在可控范围内保持有效性，而不是无差别地堆叠全部历史视觉状态。

无限跨度解码：边界页缓存复用

除了注意力层面的稀疏化，长文档解析还需要解决推理过程中的缓存复用问题。对于超长文档，即使单页计算成本已经下降，如果每次到达块边界时都丢弃全部缓存并重新初始化，吞吐仍会下降，结构连续性也难以保证。

无限跨度解码的思路是按页面分块处理，但相邻块之间复用边界页的KV Cache。这样做的核心不是“所有页面都共享一套缓存”，而是在分块边界处保留必要的上下文状态，使下一块开始时不需要从零开始构建跨页依赖。

例如将文档分成若干连续片段时，片段A的最后一页可能包含一个跨页段落的起始，片段B的第一页是其延续。如果片段A处理完毕后只保留文本结果，不保留用于生成过程的缓存状态，片段B就无法利用前面的上下文。而边界页KV Cache复用可以让解析过程“接得上”。

这种方式的另一个优势是显存曲线更平稳。在没有缓存复用的情况下，每个分块开始时显存占用会迅速上升，结束时分块缓存释放后又下降，整条显存曲线呈锯齿状。边界页缓存复用后，单卡推理时，长文档解析的KV Cache峰值可以得到明显控制，例如从数十GB降低到几GB以内，使单序列推理在普通设备上具备更高的可行性。

需要注意的是，“无限跨度”并不等于总耗时恒定。解析跨度可以持续延伸，页面越多，总计算量仍会随页数增加。该设计主要解决的是“峰值显存不可控”和“跨页拼接不可靠”的问题，而不是让大文档免费变快。

实际工程意义：少拼接，持续读

长文档OCR的落地场景中，拼接是最容易引入错误的地方。例如一段正文跨页，前页以逗号结束，后页以新行开始，如果分块边界刚好切在这里，拼接时是否保留换行、是否合并段落、是否重建句子，都可能影响最终结果。表格跨页更是如此，分块识别后需要额外判断表头是否重复、单元格是否完整、列对齐是否一致。

持续解析通过保留跨页上下文，尽量让模型自然处理这些结构。即便完全避免拼接并不现实，但把拼接点减少到少数必要的分块边界，总比每页一拼可靠得多。稀疏参考机制在这里提供的是工程上的可行性：模型可以连续向下读，不必因为显存问题而频繁打断。

在文档解析任务中，很多团队会优先追求单页准确率，但在真实业务里，文档通常是成批出现的。长文档解析系统的稳定性、显存可控性和跨页结构保真度，往往比某几种模板上的高分更关键。特别是年报、档案、合同等强结构文档，解析错误可能直接传导到后续信息抽取和检索环节。

可落地的设计原则

从这套方案中，可以提炼出几条提升长文档OCR可行性的通用原则。

第一，优先识别跨页依赖，而不是依赖后处理修复。若能在解码阶段自然延续表格、段落和层级结构，后续拼接压力会小很多。

第二，将文本缓存和视觉缓存分开管理。文本侧与视觉侧的显存增长规律不同，优化时要分别观察。很多方案只关注文本缓存，视觉侧优化滞后，最后反而成为新瓶颈。

第三，用稀疏性控制历史参考范围。历史页面并非越多越好，选择少量高相关页面和局部视觉信息块，往往能获得更好的计算回报。

第四，在分块边界保留可复用状态。分块不是为了切断上下文，而是为了限制峰值资源占用。边界页的KV Cache复用能够让相邻块之间保持足够的语境连续性。

在具体实现时，可以拆分为三个模块：页面检索模块负责快速判断当前页需要参考哪些历史页面；视觉信息选择模块负责从候选页面中挑出少数高相关视觉Token；解码模块负责在滑动窗口内进行缓存复用和生成。三个模块协同工作，使长文档解析从“逐块识别再拼接”转变为“沿文档持续解码”。

技术名称背后：工程约束驱动的选择

长文档OCR中，面向无穷页数的解析能力始终受硬件资源限制。模型不能无差别地保留所有历史信息，而需要在“保持上下文”和“控制成本”之间动态平衡。稀疏参考滑动窗口注意力机制可以被理解为这种平衡下的一种工程选择：不丢弃全部历史，也不重新扫描全部历史，而是有选择地引用少量关键信息。

这种设计也意味着模型无法仅靠堆叠更多页面数据来直接提升性能。过去一些方案希望通过扩大视觉上下文窗口来提升准确性，但窗口越大，计算和显存压力也越大。稀疏参考机制给出了另一条路：用更聪明的筛选替代更宽的无差别窗口。

对于开发者来说，这种思路同样适用于其他长序列场景，例如视频理解、长代码审查、多页表单识别等。只要任务具备“长序列、局部密集、全局稀疏”的特征，就可以通过分阶段的筛选机制减少无效历史计算。

总结

长文档OCR的核心挑战是在页面规模增长时保持连续性、结构完整性和显存可控性。稀疏参考滑动窗口注意力机制通过页面级筛选和视觉信息块筛选，减少了远程视觉计算开销；无限跨度解码通过边界页缓存复用，降低峰值显存并提高分块处理时的上下文连续性。

这种方案依然遵循一条朴素原则：读第500页时，只需要回看少量相关内容，而不必把前面499页全部重新扫一遍。真正可用的长文档OCR，不是每个页面独立识别的拼合结果，而是一套能沿着文档顺序持续解析、并在关键位置保留跨页记忆的系统设计。