超长文档OCR新突破：稀疏参考滑动窗口与无限解码机制解析

一、超长文档OCR的现实困境

在合同审阅、财报分析、档案数字化、学术文献处理等场景中，OCR系统经常需要一次性处理数百页甚至上千页的扫描文档。传统方案通常将每一页独立送入模型，再把结果拼接起来。这种方式虽然简单，但割裂了跨页的语义关联。例如，一个表格可能横跨两页，一个段落可能在页尾截断、在下一页继续，单独识别每一页容易导致结构信息丢失。

为了保留跨页上下文，更直接的做法是把所有页面的视觉特征拼接成一个超长序列，交给模型统一处理。但这条路很快会遇到三重障碍：

1. 注意力计算成本随序列长度平方级增长。即使采用缓存优化，全注意力在解码每一步仍需要回顾所有历史视觉Token，页面越多，单步解码越慢。
2. 视觉KV Cache显存占用线性累积。几千页的视觉特征全部驻留在GPU显存中，远超单卡容量。
3. 模型上下文长度存在工程上限。即便通过外推或插值扩展，处理数千页文档仍然捉襟见肘。

这些限制并非单纯堆硬件就能解决。显存容量可以增加，但注意力计算的延迟和吞吐量瓶颈会随着文档长度增长而持续恶化。因此，问题的本质是：如何在保持跨页理解能力的同时，让计算和显存开销的增长曲线变得可控。

二、从“抄书”到注意力机制：直观的技术启发

理解这项优化的切入点是一个相当朴素的类比：人工抄写一本厚书。

人在抄写时，目光始终聚焦在当前页。遇到跨页关联的内容——比如前文提到的某个定义、某个编号的引用——才会偶尔翻回去查阅。没有人会每抄一句话之前，都从头到尾重新翻一遍整本书。这种“聚焦当下、按需回顾”的策略，本质上就是一种稀疏参考机制。

把这个直觉映射到Transformer架构上，可以得到两个关键设计原则：

• 当前页永远是注意力最集中的区域，应该保留完整的高分辨率注意力。
• 历史页面中的信息只在必要时被参考，应该采用稀疏化的注意力模式，而不是全量回顾。

基于这个思路，研究者提出了稀疏参考滑动窗口注意力机制。它的核心思想是：在解码的每一步，模型只对当前页面附近的视觉Token进行密集注意力计算，而对远处页面的视觉Token进行稀疏采样或按需检索，作为“参考窗口”。这样一来，单步解码的注意力计算成本不再随总页数线性增长，而是保持在一个近似恒定的范围内。

需要强调的是，这里的“稀疏”不是无差别地丢弃信息。稀疏参考机制的关键在于选择策略——哪些历史Token值得被保留在参考集合中。常见的做法包括：

• 基于空间位置的间隔采样，保证每一页都有若干代表性Token进入参考集；
• 基于注意力得分的动态筛选，优先保留与当前解码状态相关性高的视觉区域；
• 结合文档结构信息（如标题、页眉、表格边界）进行结构化采样。

通过合理的稀疏化，模型可以在几乎不损失跨页语义理解能力的情况下，将注意力复杂度从线性甚至平方级压降到近常数级。

三、无限解码机制：分块、重叠与缓存复用

解决了注意力计算成本的问题，显存管理的问题依然存在。即便每一步只关注少量Token，如果所有页面的视觉KV Cache始终堆积在GPU显存中，几千页的文档依然会突破任何单卡的容量上限。

无限解码机制的提出正是为了应对这一瓶颈。其处理流程可以概括为三个关键词：分块、重叠、释放。

3.1 分块处理

系统将整份文档划分为若干个页面组，每个分块包含固定数量的页面。分块之间设置一定的重叠区域，通常为相邻分块边界的若干页。重叠的作用是保证分块之间的语义连续性——位于分块边界附近的跨页内容（如跨页表格）仍然能够被模型看到完整的上下文。

示意结构如下：

文档: [P1 P2 P3 P4 P5 P6 P7 P8 P9 P10 P11 P12]
分块1: [P1 P2 P3 P4 P5]
分块2:       [P4 P5 P6 P7 P8]
分块3:             [P7 P8 P9 P10 P11]
分块4:                   [P10 P11 P12]

每个分块组内使用完整的注意力机制处理，组与组之间通过重叠页面实现信息衔接。

3.2 缓存复用与释放

分块处理的直接好处是显存占用与文档总页数解耦。当模型处理完一个分块后，该分块中不再被任何后续分块引用的页面，其视觉KV Cache就可以安全释放。

具体而言，在处理分块2时，分块1中不与分块2重叠的页面（即P1、P2、P3）的视觉缓存已不再需要，可以立即释放；而重叠页P4、P5的缓存则被保留，作为分块2的上下文前缀。处理分块3时，同样复用P7、P8的缓存，释放P4、P5、P6的旧缓存。

这样，无论文档有多长，GPU显存中始终只需要维护当前分块加上少量重叠页的视觉缓存工作区。显存占用的理论上限由单个分块的大小决定，而非文档总页数。

3.3 工程效果

根据公开的技术报告数据，这一机制在实际测试中表现显著：

• 单序列推理场景下，KV Cache峰值显存占用从约47GB降至约1.77GB，降幅超过一个数量级；
• 16并发场景下，端到端吞吐量从约360 TPS提升至约1315 TPS，约为原来的3.65倍；
• 在百页级别文档上，与全注意力基线相比，单步解码提速约7倍；
• 在最长300页的评测范围内，解析精度保持稳定，未出现随文档增长而明显退化的情况。

这些数据表明，稀疏参考与分块释放的策略组合，在工程层面实现了精度、显存、吞吐量三者之间较好的平衡。

四、技术演进脉络

这项优化并非凭空出现，而是长文档OCR技术路线的自然延续。此前一代方案已经在开源社区中积累了超过千万次下载，证明了长文档解析方向的实用价值。但上一代方案主要聚焦于长文本生成阶段的缓存优化，而本次工作进一步深入到超长视觉输入的计算与显存管理层面。

这条演进路径反映了一个更广泛的行业趋势：多模态大模型在文本端的上下文扩展已经相对成熟，但视觉端的超长序列处理仍然是一个未被充分解决的问题。视觉Token的数量往往远大于文本Token——一页扫描文档可能产生数百到上千个视觉Token——因此视觉缓存的管理难度也远高于纯文本场景。

从这个角度看，稀疏参考滑动窗口与无限解码机制的贡献，不仅在于解决OCR这一具体任务，更在于为视觉输入的超长上下文处理提供了一套可迁移的工程范式。

五、对工程实践者的启示

对于正在构建或优化长文档处理管线的团队，从这项工作中可以提炼出以下几点实践启示：

第一，区分“密集上下文”与“参考上下文”。 并非所有历史信息都需要同等粒度的注意力。识别出真正需要密集建模的局部区域，对远处信息采用稀疏参考，可以在几乎不损失精度的情况下大幅降低计算成本。

第二，显存管理的核心是生命周期管理。 缓存的释放时机比缓存本身的大小更值得关注。通过分块重叠策略，将缓存的“生产-消费-释放”生命周期控制在有限窗口内，是处理超长序列的通用思路。

第三，精度评估要覆盖文档长度维度。 很多长文档方案在短文档上表现良好，但随着页数增加会出现精度漂移。评测体系应当包含不同文档长度下的精度曲线，而不仅仅是单一长度点的指标。

第四，工程优化需要端到端的视角。 单纯优化注意力计算或单纯优化显存，都无法解决超长文档的根本瓶颈。只有同时考虑计算路径、缓存策略与调度方式，才能在实际部署中取得有意义的收益。

超长文档OCR的探索还远未结束。随着多模态模型能力的持续提升，如何在保持通用理解能力的同时，让视觉上下文处理像文本一样灵活高效，将是未来相当长一段时间内的核心课题。而稀疏注意力和分层缓存管理，很可能是这条路上绕不开的技术底座。