面向超长文档解析的无限上下文OCR技术演进与实现解析

背景：从单页识别到整本文档连续解析的范式跨越

传统光学字符识别（OCR）技术长期面临一个结构性局限：其处理单元被锁定在单张页面图像上。对于多页文档，主流方案是逐页识别后再进行结果拼接，这种流水线作业方式在涉及跨页表格、跨页图表或复杂版面延续性场景时，极易产生语义割裂与结构错乱。例如，一份几十页的行业研究报告，若其中某张数据透视表跨越两个页面，单页识别后的拼接结果往往会导致表头丢失或列对齐错位。

第一代无限上下文OCR产品的问世，通过引入参考滑动窗口注意力机制，首次将模型的感知范围从单页拓展至连续数十页，初步解决了短序列多页解析的连贯性问题。然而，当文档规模进一步攀升至数百页乃至上千页（如成套技术手册或长篇小说）时，基于密集注意力计算的架构暴露出严峻的资源瓶颈。长序列带来的二次方复杂度使得计算耗时激增，同时中间状态产生的KV缓存迅速耗尽显存，导致模型在实际部署中难以覆盖真实的长文档场景。

这一技术痛点直接催生了第二代模型——文心Unlimited OCR 2。该模型于2026年10月正式发布并开源，其核心突破在于将文档解析的页数上限从“数十页”量级直接拉升数十倍，实现了单次推理即可处理累计超过3，600页的超长文本序列。在权威评测基准MPDocBench与MarathonDocBench中，该模型分别取得84.6分与77.1分的优异表现，为OCR技术向“整本文档理解”的纵深演进提供了有效范式。

核心技术拆解：稀疏参考滑动窗口注意力（SR-SWA）

第二代模型的核心创新之一在于重新设计了注意力计算机制，即稀疏参考滑动窗口注意力。该机制的灵感源自人类阅读长篇幅书籍时的自然行为：视线聚焦于当前正在阅读的页面，但会在逻辑需要时迅速回翻至前文核对图表或术语。SR-SWA机制将这一认知过程形式化为三个协同工作的技术组件。

页面门控（Page Gate）：动态缩小视觉参考范围

在传统全注意力机制中，每个查询向量需要与序列中所有位置的键值进行交互计算。当输入包含上百页的高分辨率图像Token时，这种“无差别关注”将产生海量无效计算。页面门控模块通过引入局部性归纳偏置，首先将每个视觉查询的注意力检索范围动态限制在逻辑相关的几个页面窗口内，而非广撒网式地检索整个文档。该模块不仅建立了页面之间的相对位置编码，使得模型能够理解“当前页面距离目标参考页面的相对距离”，还高效过滤掉与当前解析任务无关的跨页干扰信息，显著缩小了后续精确匹配的候选区间。

视觉Token桶机制：捕捉长距离视觉依赖

仅依赖页面级粗粒度筛选并不足以完成跨页表格合并或长距离图表追踪等复杂任务。为此，模型中引入了视觉Token桶机制——该机制借鉴了分桶哈希的思想，将页面门控初筛后保留的视觉特征存储至按空间位置和语义亲和度组织的桶结构中。在每轮解码步中，模型仅从得分最高的若干个Token桶中提取视觉特征，以此实现对跨页、跨版块长距离依赖关系的高效捕捉，同时避免了对全部视觉Token均等计算带来的计算冗余。

Token筛选器：动态确定有效信息块

在完成上述两阶段筛选后，SR-SWA机制进一步配备了Token筛选模块。该模块通过TopK策略，从候选视觉Token中挑出注意力得分最高且数量固定的信息块作为最终参与自回归解码的上下文。这一“抽稀”操作确保了进入解码器的信息始终是经过细粒度筛选的高判别性视觉特征，从而在信息完整性与计算开销之间取得了可量化的平衡。

无限解码机制：线性显存增长的工程实践

如果说SR-SWA解决了注意力计算的“质”的问题，那么无限解码机制则从工程架构层面直接颠覆了长序列处理的“量”的限制。该机制的核心思路可概括为：化整为零、局部推理、缓存复用、即时释放。

具体实施流程分为四个紧密衔接的步骤：

1. 分块处理：将输入的超长文档切分为大小可控的页面块，模型依照顺序依次解析每一个页面块。
2. 重叠设计：相邻两个页面块之间存在一页的视觉内容重叠区，这一设计保证了跨块边界处的表格或段落上下文得以连贯衔接。
3. 缓存复用：模型在前一块解析结束后，仅复用重叠页的视觉KV缓存，并将其与上一段输出末尾保留的文本缓存一并输入至下一块的解码器，作为上下文延续的基础。
4. 显存释放：对于已完成解析且不再参与后续计算的页面，系统会及时释放其对应的视觉KV缓存，从而保证峰值显存占用处于恒定可控的低水平。

通过这一机制，模型在处理百页级文档时的单步解码速度相比全注意力和上一代滑动窗口注意力分别提升约7倍与5.6倍。在百页级单序列压力测试中，峰值KV缓存占用由原先的47GB以上大幅压缩，使得原本需要在多卡集群上才能运行的任务得以在常规单卡乃至资源受限的推理环境中执行，降低了超长文档解析的工程落地门槛。

面向复杂版面的结构还原能力

除了解析长度与资源效率的突破，该模型在版面语义还原层面同样进行了针对性增强。文心Unlimited OCR 2不仅支持常规的版面要素切分识别，还能执行跨页文案的智能合并以及跨页表格的结构对齐与单元格内容拼接。对于包含分栏、页眉页脚、复杂嵌套表格的企业财报或学术论文，模型输出的结构化数据能够直接对接下游的文档解析、语义检索或知识图谱构建流程，减少了二次清洗的人力成本。

开源生态与商业化的双轮驱动

值得注意的是，文心Unlimited OCR 2的模型权重与核心代码均已对外开放，这意味着开发者可以在本地私有化环境中部署该能力，针对特定行业文档进行微调或集成。同时，该模型已进入公测阶段，依托百度智能云的算力基础设施，企业用户可通过云端API以服务化方式直接调用，满足非技术人员或缺乏GPU资源的业务团队的低代码接入需求。这种开源种子与云服务双轨并行的模式，有助于在技术演进与商业验证之间建立良性的反馈闭环。

技术展望：迈向OCR 3.0的全文档理解

尽管文心Unlimited OCR 2已在长文档解析能力上取得了数量级的跃升，但其研发团队已将目光投向更具挑战性的下一代技术目标——OCR 3.0。该方向将不再局限于“连续解析整份文档”，而是追求对整篇文档内容的深层次语义理解与知识关联，例如自动生成文档摘要、基于内容的跨章节逻辑推理、乃至针对文档中隐含结论的自动论证分析。这种从像素识别到语义认知的跨越，预示着OCR技术将逐步演化为真正的文档智能引擎。

对于开发者而言，当前最紧要的实践课题是深入理解SR-SWA的注意力分布特性，以判断其在特定扫描文档（如老旧纸质书、手写批注件）上的适配度，并结合自身业务的版面复杂度进行针对性的参数校准与后处理优化。随着底层模型的开源，围绕长文档解析的工具链与应用场景必将迎来高速创新周期。