长文档OCR的记忆难题：从“看得清”到“记得住”

端到端OCR的技术演进，在过去两年里完成了一次范式收敛。多模态模型直接将文档图像映射为输出文本，绕开了传统流水线中的版面检测、区域切块、单行识别、阅读顺序重排等环节，单页识别质量已经相当成熟。然而，当输入从“一页”变成“几十页”，问题的性质发生了根本变化——瓶颈从感知精度转移到了解码阶段的记忆管理。

自回归解码器每生成一个token，都需要访问此前所有输出token对应的KV cache。在标准多头注意力（MHA）机制下，缓存规模大致随输出长度线性增长：

C_MHA(T) = L_m + T

其中 L_m 是视觉token与提示词构成的prefix长度，T 是已生成的输出token数量。单页文档可能只有几百个输出token，而数十页的合同、论文、技术手册可以轻松达到数万token。对研究而言，这是一条延迟曲线；对部署团队而言，这是显存占用、批处理吞吐、请求超时和SLA可预测性的全面挑战。

因此，长文档OCR的真正考题不是“单页demo是否漂亮”，而是“输出变长之后，系统还能不能稳定运行”。

一个被忽视的观察：OCR的解码依赖是不对称的

百度UnlimitedOCR开源工作真正值得讨论的地方，并非“3B总参数、0.5B激活参数在OmniDocBench v1.5上拿到93.23分”这一榜单反差本身，而是它背后的一个工程判断：OCR任务的输入图像是固定参考端，输出文本虽然很长，但生成每个token时主要依赖局部上下文。

这个判断可以从两个方向论证：

• 参考端必须全程可见。 视觉token和提示词构成了识别的“原稿”，任何位置的文字识别都可能需要回看图像中对应区域的版面、字体、表格结构信息。丢掉参考端等于丢掉了识别的依据。
• 生成端历史只需近邻记忆。 文本生成具有强烈的局部性——当前token的预测主要取决于最近若干token构成的语义、格式和阅读顺序上下文。几十页之前的输出内容对当前字符的识别贡献极小，全历史注意力在这一场景下更像是过度设计。

一旦这个不对称性成立，标准全历史注意力就不再是“必要复杂度”，而是一种可以优化的冗余。

R-SWA：把“原稿”和“刚写过的字”分开处理

Reference Sliding Window Attention（R-SWA）的核心规则非常直接：每个解码token可以访问两部分内容。

1. 全量prefix：视觉token与提示词，对应OCR的“原稿”，全程可见，不随输出增长而丢弃。
2. 最近n个已生成token：论文默认 n = 128，对应“刚写过的上下文”，用于维持局部语义、格式延续与阅读顺序的连贯。

由此，KV cache的上界变为：

C_R-SWA(T) = L_m + min(n, T) <= L_m + n

这个式子的意义在于：缓存规模从随输出长度线性增长，转变为有常数上界的量。无论文档是10页还是100页，解码阶段的历史缓存开销都被限制在 L_m + n 以内。

需要强调的是，R-SWA并非“粗暴截断历史”。截断会同时丢弃参考端与生成端信息，而R-SWA的关键在于分离：图像参考端完整保留，输出历史仅保留近处窗口。这种分离式记忆设计与OCR任务的信息依赖结构是对齐的，而不是简单的工程妥协。

工程收益：可预测性比峰值指标更重要

从部署视角看，R-SWA带来的收益不只是显存节省，更是系统行为的可预测性：

• 显存占用可控：长文档场景下KV cache不再随页数膨胀，批处理规模可以更稳定地规划。
• 延迟曲线平坦化：解码每步的注意力开销不再随已生成长度持续上升，尾部延迟（P99）更易满足SLA。
• 长文档吞吐提升：固定缓存上界意味着更高并发密度，单位硬件可服务的文档数增加。
• 精度损失可控：由于参考端未丢失、局部窗口覆盖生成依赖，长文档场景下的识别稳定性反而优于全历史方案——这正是“更稳”的来源。

这也解释了一个看似反直觉的现象：一个激活参数仅0.5B的模型，为什么能在长文档OCR任务上超过参数规模大得多的通用多模态模型。答案不在模型容量，而在记忆结构是否与任务结构匹配。

对OCR领域的影响：从堆参数到对齐任务结构

UnlimitedOCR开源工作的价值，可以归纳为三个层面的启示。

第一，任务结构分析应先于架构设计。 在长序列场景中，全历史注意力长期被视为默认配置。R-SWA提示我们：应先分析任务对参考端与生成端历史的真实依赖，再决定注意力的可见范围。这一思路可以迁移到长文档翻译、长表格解析、多页问答等相邻任务。

第二，长上下文优化不等于“更长窗口”。 业界常见的技术路线是扩展上下文窗口长度，但窗口再长也有上界，且计算开销随长度增长。R-SWA提供了另一条路径：不是让模型看更多历史，而是让模型只看该看的历史。

第三，评测应覆盖长度维度。 单页基准的高分无法反映长文档下的稳定性。更合理的评测应包含不同文档长度下的精度、延迟与显存曲线，把“长文档可用性”作为独立指标纳入评估体系。

落地建议：如何借鉴这一思路

对于正在构建文档理解系统的团队，R-SWA的设计可以转化为几条可操作的工程原则：

• 识别固定参考与流动状态的边界。 在任何长序列生成任务中，先区分“必须全程可见的输入”与“只需局部保留的生成历史”，这是缓存优化的前提。
• 窗口大小按任务调优。 128并非普适常数，表格密集、公式频繁的文档可能需要更大窗口；纯文本段落可适当缩小。建议以精度-延迟曲线确定最优值。
• 缓存上界纳入容量规划。 将 L_m + n 作为显存预算的输入参数，而非按最大文档长度预留，可显著降低资源冗余。
• 建立长度分层的回归测试。 分别验证短、中、长文档下的识别质量与系统指标，避免单页测试掩盖长文档退化。

结语

百度UnlimitedOCR开源工作的技术分量，不在于又刷新了一个榜单数字，而在于它把一个工程直觉提炼成了可验证的架构决策：OCR的输入是固定参考，输出是局部依赖的长序列，因此注意力机制应当按此结构分配可见性。R-SWA用常数级缓存上界换来了长文档场景下的稳定性与可预测性，也为长序列生成任务的记忆设计提供了一个值得复用的分析框架。对OCR领域而言，这或许比任何单点精度提升都更具长期价值。