简介：百度发布并开源文心Unlimited OCR 2，首次实现任意页数文档解析，将OCR处理上限从数十页推至“无限”。本文解析其稀疏参考滑动窗口注意力机制与无限解码机制，剖析超长文档解析的计算瓶颈与优化路径，涵盖基准测试表现及OCR 3.0的技术演进方向。
随着AI技术在企业场景中的深入应用，长篇研报、整本书籍、法律卷宗、技术手册等超长文档的自动化解析需求日益增长。传统OCR技术的解析范围多局限于单页图像，面对多页文档时通常依赖结果拼接的方式——即逐页识别后再按顺序组合。这种方案在数十页的规模下尚可运行，但当文档长度攀升至数百乃至数千页时，一系列技术瓶颈便集中暴露出来。
首先是计算开销的线性增长。基于注意力机制的模型在处理序列时，计算复杂度随序列长度呈平方级增长。当文档页数达到百页以上，视觉Token数量急剧膨胀，显存占用与推理时间将变得不可接受。其次是跨页依赖的建模难题。文档中的表格跨页延续、章节标题与正文的对应关系、脚注与正文的引用关联等，都要求模型具备长距离的视觉信息关联能力。若仅做逐页独立解析，这些跨页语义将大量丢失。最后是精度与效率的平衡。在超长文档场景下，如何在保持高精度的同时控制计算成本，成为OCR技术迈向实用化的关键门槛。
回顾OCR技术的发展路径，可以清晰地看到一条围绕“解析范围”不断突破的主线。
传统OCR（OCR 1.0） 的解析单元是单页图像，输出为文本行或段落。其优势在于单页精度较高、模型轻量，但完全不具备跨页理解能力，多页文档需要外部系统进行结果拼接与后处理。
第一代无限OCR（OCR 2.0） 通过引入参考滑动窗口注意力机制（Reference Sliding Window Attention），将解析范围从单页拓展至连续数十页。该机制让模型在处理当前页面时，能够参考窗口内其他页面的视觉信息，从而在一定程度上建模跨页依赖。然而，窗口的固定大小限制了其可处理的文档长度，当文档页数超过窗口覆盖范围时，仍会出现信息断裂。
文心Unlimited OCR 2（OCR 3.0） 则进一步突破了这一限制。其核心目标是在保证精度的前提下，实现真正意义上的任意页数文档解析。这一代技术不再依赖固定窗口，而是通过稀疏参考滑动窗口注意力机制与无限解码机制，在计算与显存开销可控的前提下，将解析范围推向“无限”。
SR-SWA的设计借鉴了人类抄录书籍的认知过程。当一个人抄写一本书时，他通常专注于当前页面，只有在需要核对前文、查找跨页引用或确认上下文时，才会回看相关内容，而非反复翻阅整本书。这种“按需回看”的策略，本质上是一种稀疏的、目标驱动的注意力分配方式。
将该思路引入模型的注意力计算中，意味着模型在处理每个查询（Query）时，不再对整个文档的所有视觉Token进行全量注意力计算，而是先定位到与当前查询相关的页面范围，再在其中进行精细的视觉依赖建模。
SR-SWA的第一步是通过页面门控机制，将每个查询的视觉参考范围从整个文档缩小到相关页面。具体而言，页面门控会评估当前查询与各页面之间的相关性，并同时建模跨页的位置关系。这一过程可以形式化地理解为：
# 伪代码示意def page_gate(query, pages):# 计算查询与各页面的相关性得分relevance_scores = compute_relevance(query, pages)# 结合跨页位置编码position_aware_scores = add_position_encoding(relevance_scores, pages)# 筛选出相关页面集合relevant_pages = select_top_k(position_aware_scores, k)return relevant_pages
通过页面门控，模型能够快速排除与当前查询无关的页面，将注意力计算集中在一个显著缩小的页面子集上。这既降低了计算量，又避免了无关视觉信息对解析结果的干扰。
在页面门控筛选出相关页面后，SR-SWA进一步引入得分最高的视觉Token桶，以捕捉长距离视觉依赖关系。Token桶机制的核心思想是：在每个相关页面内，并非所有视觉Token都同等重要。通过计算Token级别的得分，模型可以选出最具信息量的Token组成桶，供后续注意力计算使用。
这种两级筛选策略——先页面级、再Token级——使得模型能够在保持长距离依赖建模能力的同时，将注意力计算的实际规模控制在一个可接受的范围内。用更直观的方式理解：模型不再“逐字逐页地通读全文”，而是“先定位相关章节，再精读关键段落”。
根据公开测试报告，在百页文档场景中，SR-SWA的单步解码速度相比Full Attention和上一代R-SWA分别提升7倍和5.6倍。这一加速效果在文档长度继续增加时尤为显著，因为Full Attention的计算量随序列长度平方增长，而SR-SWA通过稀疏化将增长曲线大幅压低。
与SR-SWA配合的另一项关键技术是无限解码机制。在超长文档解析中，即便注意力计算已经稀疏化，解码阶段的显存开销仍会随已处理页数的增加而累积。无限解码机制通过动态管理解码状态，降低超长文档解析的计算与显存开销。
其核心思路可以概括为：在解码过程中，模型不再保留全部历史页面的完整Key-Value缓存，而是根据页面门控的相关性评估，动态保留或释放各页面的缓存信息。对于与当前解码位置无关的历史页面，其缓存可以被安全释放；对于可能需要回看的页面，则保留其关键Token的缓存。这种“按需保留”的策略，使得显存占用不再随文档页数线性增长，从而支撑起任意页数的文档解析。
在面向多页文档解析的MPDocBench基准上，文心Unlimited OCR 2的综合得分为84.6分；在专门评估百页级超长文档解析能力的MarathonDocBench上，其综合得分为77.1分。两项测试均达到端到端性能SOTA，并在与同级别模型的对比中保持领先。
更具说服力的实测案例是：该模型能够一次性解析某长篇系列作品全系列7部，累计超过3600页。在文档长度大幅增加的情况下，依然保持了较高的精度和处理效率。这一实测结果验证了SR-SWA与无限解码机制在真实超长文档场景下的有效性。
从单页OCR到数十页滑动窗口，再到任意页数解析，OCR技术的演进主线始终围绕“如何在更大范围内建立视觉语义关联，同时控制计算成本”。文心Unlimited OCR 2的SR-SWA与无限解码机制，为这一命题提供了一条可行的工程路径：用稀疏化对抗平方级增长，用动态缓存管理对抗线性显存累积。
对于开发者而言，这一技术方向的意义在于：超长文档的自动化解析正在从“分段处理+人工拼接”的工程妥协，走向“端到端一次解析”的模型原生能力。在研报分析、合同审查、书籍数字化、技术文档结构化等场景中，这意味着更低的工程复杂度和更高的信息保真度。随着OCR 3.0时代的大门开启，超长文档解析的技术上限正在被重新定义。