百度开源超长文档OCR新突破：从注意力稀疏化到显存自适应管理

一、长文档解析的核心矛盾

在实际工程中，处理数百乃至数千页的文档解析任务时，开发者面临的核心矛盾始终围绕两个维度展开：计算效率与显存占用。

传统方案通常采用全注意力机制处理文档的视觉输入。当文档页数增长时，注意力计算量呈二次方增长，视觉键值缓存（KV Cache）线性膨胀。以一个中等规模的视觉编码器为例，单页文档产生的视觉Token数量可能达到数千个，当处理300页以上的文档时，KV Cache峰值显存占用轻易突破数十GB量级。这不仅限制了单卡可处理的文档长度，也使得并发吞吐量难以提升。

百度此次开源的新一代OCR模型，正是针对这一瓶颈提出的系统性解决方案。其技术灵感来源于一个朴素的观察：人类在抄写一本厚书时，目光始终聚焦于当前页面，仅在遇到跨页关联时才会偶尔翻阅前文参考，而非每写一个字都重新通读全部已读内容。

二、稀疏参考滑动窗口注意力机制

2.1 页面门控：缩小参考范围

该机制的第一层优化是页面门控。模型在处理当前页时，并非对所有历史页面一视同仁，而是通过一个轻量级的门控网络快速评估哪些历史页面与当前页存在语义关联。这一步骤将候选参考页面范围从“全部历史页面”缩小到“少量相关页面”，大幅降低了后续筛选的计算基数。

2.2 Token筛选器：精准定位视觉信息

在页面门控筛出的候选区域内，Token筛选器进一步从视觉Token块中挑选出与当前解码步骤最相关的部分。这一设计使得模型能够将有限的计算资源集中在真正值得关注的视觉信息上，而非均匀地分配注意力权重。

这两层筛选机制共同构成了稀疏参考滑动窗口注意力（SR-SWA）。其核心效果是：单步解码的注意力计算成本保持近乎恒定，不随已处理文档长度的增加而显著增长。这意味着无论文档是100页还是1000页，模型每一步推理的计算开销都在同一量级。

三、无限解码机制：显存自适应管理

3.1 问题本质：视觉缓存持续累积

即使每步只关注少数Token，如果所有页面的视觉KV Cache始终保留在GPU显存中，数千页文档累积下来仍然会耗尽显存资源。这是长文档解析中比计算量更棘手的瓶颈。

3.2 分块重叠与缓存复用策略

无限解码机制将整份文档拆分为多个相互有重叠的页面组，按顺序逐组处理。其关键设计包括：

• 边界页面缓存复用：相邻分块之间保留重叠的边界页面，使得跨块的语义连续性得以维持，同时复用已计算的缓存，避免重复计算。
• 过期缓存释放：已经处理完毕且不再被后续页面参考的视觉KV Cache被及时释放，显存中始终只维护一个有限的视觉缓存工作区。

用工程化的语言描述：模型一路向下读取文档，显存占用保持在一个与总文档长度无关的恒定水位。

3.3 性能数据

根据官方测试数据，该机制带来的收益显著：

指标	优化前	优化后
单序列推理KV Cache峰值显存	47 GB	1.77 GB
16并发端到端吞吐量	360 TPS	1315 TPS
百页级单步解码提速	基准	约7倍

在最长300页的评测范围内，解析精度保持稳定，未出现随文档长度增加而显著下降的情况。

四、工程实践启示

4.1 缓存管理的通用模式

无限解码机制体现了一种通用的长序列处理思路：将全局缓存问题转化为局部工作区问题。这一思路可迁移至其他长序列视觉理解任务，例如视频理解、多页表格解析等场景。

伪代码层面的逻辑示意：

# 分块处理逻辑示意
overlap_pages = N  # 相邻分块重叠页数
cache_workspace = LRUCache(max_size=M)  # 有限缓存工作区
for chunk in split_document(pages, overlap=overlap_pages):
    for page in chunk:
        visual_tokens = encode(page)
        # 仅保留窗口内相关页面的KV Cache
        relevant_cache = cache_workspace.get_relevant(page)
        output = decode(visual_tokens, relevant_cache)
        cache_workspace.update(page, output.kv_cache)
        cache_workspace.evict_stale()  # 释放过期缓存

4.2 精度与效率的平衡

值得注意的是，稀疏化并非简单地丢弃信息。页面门控和Token筛选器的设计目标是在保持解析精度的前提下降低计算量。官方在300页范围内的精度稳定性数据表明，这种稀疏策略在长文档场景下并未引入显著的精度损失。

五、总结

百度此次开源的OCR模型在长文档解析方向上的技术贡献可以归纳为三个层面：

1. 注意力稀疏化：通过页面门控与Token筛选，将单步解码的计算成本与文档长度解耦。
2. 显存自适应管理：通过分块重叠与缓存释放，将KV Cache峰值显存从47GB降至1.77GB。
3. 吞吐量提升：16并发场景下端到端吞吐量提升至1315 TPS，为大规模文档处理场景提供了可用的工程方案。

对于需要处理海量长文档的开发者而言，这些优化思路的价值不仅限于OCR任务本身，更为超长视觉输入的高效处理提供了一套可参考的架构范式。