简介：本文深入解析文心Unlimited OCR 2如何通过稀疏参考滑动窗口注意力机制（SR-SWA）与无限解码机制，将文档解析范围从单页拓展至任意页数。读者将理解超长文档解析的核心计算瓶颈、SR-SWA的设计原理与性能收益，以及OCR技术从1.0到3.0的演进逻辑，获得对长文档智能处理方案的系统性认知。
在AI应用日益深入企业场景的今天，长篇研报、整本书籍、合同卷宗、技术手册等超长文档的自动化解析需求正在快速增长。然而，传统OCR技术的解析范围多局限于单页，多页文档的处理通常依赖逐页识别后再进行结果拼接。这种”分而治之”的策略在页面数量较少时尚可接受，一旦面对数百页甚至数千页的文档，就会暴露出跨页信息丢失、上下文断裂、拼接错误累积等一系列问题。文档解析技术亟需一次范式级的突破。
要理解文心Unlimited OCR 2的技术价值，首先需要厘清超长文档解析面临的核心困难。
第一，计算复杂度的非线性膨胀。 主流视觉-语言模型在处理文档时，注意力机制需要将当前查询与文档中所有视觉Token建立关联。当文档从几页扩展到数百页时，视觉Token数量呈线性增长，而注意力计算量呈平方级增长。这意味着解析一本3600页的书籍，其计算开销远超将单页文档解析3600次的总和。
第二，显存开销的硬约束。 超长文档的全部视觉特征需要驻留在显存中供注意力计算访问。页数越多，KV Cache（键值缓存）占用越大，很快就会触及硬件上限。如何在有限显存下维持长程依赖建模能力，是工程实现的关键难点。
第三，跨页语义一致性的保持。 文档中的表格跨页续排、章节标题层级、脚注引用、图表编号等元素天然跨越页面边界。逐页解析再拼接的方式无法感知这些跨页结构，容易产生语义碎片。真正的超长文档解析必须在模型层面建模跨页位置关系。
文心Unlimited OCR 2的核心突破在于提出了稀疏参考滑动窗口注意力机制（Sparse Reference Sliding Window Attention，简称SR-SWA）。这一机制的设计灵感颇具启发性——它借鉴了人类抄录书籍时的认知过程。
想象一位抄写员在誊写一本厚书：他的注意力主要集中于当前正在抄录的页面，只有当需要核对前文表述、确认跨页表格的延续关系或查找引用来源时，才会回看特定页面，而不是反复翻阅整本书的每一页。这种”聚焦当前、按需回看”的策略，正是SR-SWA的算法映射。
具体而言，SR-SWA通过两个关键组件实现这一思路：
页面门控（Page Gate） 负责将每个查询的视觉参考范围从整个文档缩小到相关页面。它同时建模跨页的位置关系，使模型能够判断哪些页面与当前查询真正相关。这一步大幅削减了冗余的视觉信息计算——模型不再需要对全部页面的视觉Token做全量注意力。
高分视觉Token桶（Token Buckets） 则在页面门控筛选的基础上，进一步捕捉长距离视觉依赖关系。通过保留得分最高的视觉Token并组织为桶结构，模型能够在稀疏化的同时不丢失关键的跨页信息。
两者结合，SR-SWA在保持长程建模能力的前提下，将注意力计算从”全文档全量”降级为”相关页面稀疏参考”。报告测试数据显示，在百页文档场景中，SR-SWA的单步解码速度相比Full Attention提升约7倍，相比上一代参考滑动窗口注意力机制提升约5.6倍。这一提速直接转化为超长文档解析的可行性。
仅有稀疏注意力还不够。超长文档解析的另一大开销来自解码阶段的显存占用。文心Unlimited OCR 2配合引入了无限解码机制（Unlimited-Horizon Decoding），通过优化解码过程中的计算与显存调度，降低超长文档解析的整体资源开销。
二者协同的效果是：SR-SWA从注意力计算层面减少冗余视觉信息处理，无限解码机制从解码层面控制显存增长，共同支撑起”任意页数文档解析”的能力。这正是该模型能够一次性解析累计超过3600页的整部系列作品、并在文档长度大幅增加时依然保持较高精度和处理效率的根本原因。
公开基准测试为这一技术突破提供了量化佐证。在面向多页文档解析的MPDocBench上，文心Unlimited OCR 2综合得分84.6分；在专门评估百页级超长文档解析能力的MarathonDocBench上，综合得分77.1分。两项测试均达到端到端性能SOTA，领先同类模型方案。值得注意的是，MarathonDocBench专门针对百页级超长文档设计，其得分更能反映模型在真实长文档场景下的鲁棒性。
从技术演进的角度看，文档解析正在经历清晰的代际跃迁：
这一演进的意义在于，文档解析不再受页数上限的约束。对于需要处理整本书籍、完整研报、大型合同卷宗的企业用户而言，这意味着可以将超长文档作为一个完整语义单元交给模型处理，而非在预处理阶段就进行有损的切分与拼接。
对于计划引入超长文档解析能力的开发者，以下几点值得关注：
输入组织方式：尽管模型支持任意页数，实际工程中仍建议根据业务场景合理组织文档批次，避免单次请求过大导致端到端延迟不可控。对于实时性要求高的场景，可优先使用页面门控友好的结构化文档。
精度与速度的权衡：SR-SWA的稀疏化程度会影响精度与速度的平衡。在表格密集、跨页引用频繁的文档类型上，应通过评测集验证解析质量，必要时调整参考窗口策略。
结果后处理：超长文档解析输出通常包含跨页结构信息，建议在下游系统中保留页面位置元数据，便于表格合并、章节还原等后处理逻辑的实现。
资源规划：无限解码机制降低了显存开销，但超长文档的整体处理时间仍与页数正相关。在批量处理场景中，应结合队列与异步任务机制做好吞吐规划。
文心Unlimited OCR 2通过SR-SWA与无限解码机制的组合，将超长文档解析从”拼接可行”推进到”原生可解”，推动文档解析技术迈入OCR 3.0时代。其核心思路——以人类认知中的”聚焦当前、按需回看”替代全量注意力计算——为长文档场景下的视觉-语言模型效率优化提供了可复用的技术范式。随着长篇研报、整本书籍等超长文档处理需求的持续增长，这一能力将成为文档智能基础设施中的重要一环。