长文档OCR解析：从显存瓶颈到无限跨度推理的工程实践

从千页文档说起：OCR任务的真实痛点

在AI应用落地过程中，长文档解析始终是一个绕不开的硬骨头。无论是法律卷宗、财务报表还是学术专著，PDF动辄数百页甚至上千页，传统的OCR方案往往在质量和效率之间难以两全。

用大模型直接处理长文档，最直接的障碍是显存。以一本1200页的扫描版书籍为例，每页经视觉编码器处理后产生的视觉Token数量通常在数百到上千之间。如果采用朴素的全量注意力机制，模型需要对所有Token进行两两交互计算，计算复杂度随序列长度呈平方级增长。更棘手的是KV Cache——也就是模型在生成过程中缓存的历史键值对——会随着解码步数线性膨胀。当KV Cache达到一定规模，即便是拥有80GB显存的A100或H100加速卡，也会在解析到中后段时捉襟见肘。

于是，工程上最常见的妥协方案是“分块处理”：把长文档切成几十页或上百页的小块，逐块送入模型。可拆页容易，接页难。表格横跨两个分块时，列对齐可能失真；段落被拦腰截断后，语意上下文会丢失；跨页引用的内容，更会因为缺少前文参照而出现错误识别。这些“衔接伤”恰恰是长文档OCR中最致命的质量隐患。

工程灵感：人是怎么“抄书”的

要突破这个瓶颈，不妨回到OCR任务的本源——看看人类是如何完成长文档阅读与摘抄的。假设要人工抄写一本500页的手稿，你会怎么做？大概率不会每写一页就把前面499页重新通读一遍。你的视线始终聚焦在当前页上，只有遇到跨页的内容（比如表格延伸、段落续接）时，才回翻相关的前几页确认一下。

这个朴素的认知，揭示了长文档的两个关键结构特征：页内信息高度耦合、跨页依赖相对稀疏。绝大多数视觉信息在当前页内就能自洽，只有少量关键内容需要与前文呼应。如果让模型也遵循这种“局部聚焦+稀疏回溯”的阅读模式，就能在保证解析质量的同时，大幅削减计算量。

两道筛子：稀疏参考滑动窗口注意力机制

基于上述洞察，百度文心团队在Unlimited OCR中引入了稀疏参考滑动窗口注意力机制（SR-SWA）。这套机制可以拆解为两个层级，像两道筛子一样逐层过滤掉无关信息。

第一道筛子是Page Gate，负责在页面层级做选择。它分析当前解码位置与候选页的视觉关联度，找出真正需要参考的页面，并保留它们之间的相对位置关系。举例来说，当模型正在解析第328页的末尾时，如果检测到该页表格内容承接自第325页，Page Gate就会锁定这几页为参考对象，而不会把整本书的500页全部拉入计算窗口。

第二道筛子是Token Sieve，在视觉Token的粒度上进一步压缩。Page Gate选出了相关页面，但每个页面包含大量视觉Token（图像区域特征），其中许多是冗余的背景、留白或重复图案。Token Sieve为每个候选Token桶打分，根据与当前解码目标的相关性，筛选出少量高价值的远程Token参与注意力计算。

这两道筛子的嵌套，使得模型在任意解码时刻，实际需要计算的视觉参考量都被控制在一个相当紧凑的范围内。从技术架构来看，这实质上是将传统的全量跨注意力，改写成了一个动态路由的稀疏注意力过程。

从1.0到2.0：算力瓶颈的迁移与化解

理解这套机制的价值，需要对比上一代架构的演进逻辑。初版Unlimited OCR（即Unlimited OCR 1.0）已经通过滑动窗口注意力（R-SWA）有效限制了文本侧的KV Cache增长——也就是说，模型在解码过程中不再把所有历史文本都缓存起来，而只保留滑动窗口内的内容。这个改进解决了一部分问题，但一个隐患仍然存在：模型依然需要对全部参考视觉Token进行计算。

在自回归解码的每一步，模型都需要与视觉编码器输出的全局视觉特征做交叉注意力。当文档页数增多，视觉Token总量随之线性膨胀，每步解码的视觉计算开销就变成了新的瓶颈。显存负担从文本侧转移到了视觉侧，本质问题并没有消失。

SR-SWA的引入，恰好完成了这个拼图的最后一块。通过Page Gate和Token Sieve，视觉参考量被动态压缩到与文本同等量级的稀疏集合，KV Cache的增速被控制在极低的水平。再加上“无限跨度解码”策略——按照页面分块处理，同时复用边界页的KV Cache，让解析状态得以无缝衔接，模型实际上获得了跨任意页数持续推理的能力。

这种按页分块加缓存复用的组合，带来了直观的显存收益。在MarathonDocBench基准测试中，采用单序列推理方式处理超长文档时，KV Cache的峰值显存占用从47GB优化至1.77GB，降幅超过96%。数字背后的意义在于：原本需要多卡并行甚至无法在单卡上运行的任务，现在可在一张消费级显卡上完成，且每一步解码的计算成本保持近乎稳定。

工程实现的关键洞察

深入实现细节，这套方案的核心可以总结为三点：

第一，稀疏性是长文档处理的结构性优势，而非妥协。 长文档的跨页依赖在数学上是极端稀疏的——一个页面通常只与前后数页存在强关联。利用这一先验分布进行注意力剪枝，损失的精度微乎其微，却可将计算复杂度从二次方降为近似线性。

第二，分块不意味着断开，复用是衔接的核心。 各类分块方案的根本差异在于分块之间的信息传递方式。无限跨度解码选择保留边界页的KV Cache作为跨块上下文，既避免了重复计算，又保留了长距离依赖的连续性。这种做法类似于滑动窗口在时序建模中的应用，只是扩展到了二维视觉语言空间。

第三，Token筛选需要高质量的评分函数。 Token Sieve的表现直接取决于打分模型的精度。如果打分缺乏判别力，关键视觉信息被误筛，就会导致跨页内容掉字或错行。实际工程中，这个评分函数通常由视觉编码器的注意力输出作为条件，结合文本解码器的查询嵌入来动态计算。

性能与局限：关于“无限”的清醒认知

“无限解析”的概念容易引人误解，必须实事求是地说明：这里说的“无限”，是指解析跨度可以持续延伸，即模型不会因为KV Cache失控而在某页中断。整本书的总解析时间，依然是随页数正常增长的——毕竟每页都真实存在需要被处理的视觉信息。

从用户体验出发，这项能力的价值在于省去了拆文档拼结果的胶水工程。过去处理300页的年报，需要写脚本切分、单独解析、再设计规则拼接表格和段落。现在模型可以一口气读到底，中间不需要人工干预。稳定的计算开销让超长文档的批处理成为可能，也为自动化文档流水线铺平了道路。

可以预见，类似的稀疏注意力机制会逐渐成为长文档多模态理解的标准范式。当前的大语言模型和视觉语言模型普遍受限于上下文长度，稀疏采样与缓存复用是兼顾质量与算力的务实选择。未来随着硬件计算能力的提升和模型结构的优化，或许“无限文档理解”将进一步走向“无限吞吐”和“无限带宽”。

开源与技术演进

该项目开源在GitHub上，其技术报告中的细节还透露出一个有趣的细节：这套系统被命名为“Unlimited OCR Works”，致敬了某部知名动漫作品中的“无限剑制”设定。其中两句描述被重新演绎为“像素为身，Token为血”，这种将工程技术类比为魔法咏唱的表达，透露出研发团队的浪漫主义气质。

在Hugging Face平台上，Unlimited OCR第一代累计下载量已突破1000万次，这套源自工程实践的稀疏注意力方案获得了开发者社区的广泛验证与反馈。从1.0到2.0，架构演进的脉络清晰地指向一个结论：长文档OCR的核心战场，已经从模型精度转向了推理效率。

对于正在构建文档解析系统的工程师而言，这套方案带来的启示是：在面对超长序列任务时，先思考信息分布的结构特征，再设计对应的稀疏计算策略，往往比盲目堆算力更有效。拆页容易、接页难——但更难的是在设计之初就想清楚，如何让每一页的计算都花在刀刃上。