简介：本文围绕长文档OCR的解码记忆瓶颈展开，剖析一种将固定参考端与局部生成窗口分离的注意力设计思路。读者将理解长文档识别中显存与延迟失控的根因，掌握滑动窗口注意力的工程取舍逻辑，并了解该思路对OCR系统架构与部署策略的潜在影响。
端到端OCR近年来的进展有目共睹。一个多模态模型接收文档图像，直接输出文本序列，绕开了传统流水线中的文本检测、区域切块、单字识别、版面后处理等多个环节。在单页场景下，这种方案的识别质量已经达到甚至超越传统方法，版面理解与阅读顺序的还原也更加自然。
但工程问题从多页文档开始显现。
自回归解码器每生成一个token，都需要访问此前所有已生成token的键值缓存。在标准多头注意力机制下，缓存的规模大致随输出长度线性增长：
C_MHA(T) = L_m + T
其中，L_m 是由视觉token和提示词组成的固定前缀长度，T 是已生成的输出token数量。
这个公式看起来很朴素，但它带来的后果是深远的。一页文档的文本输出可能只有几百个token，尚在可控范围内。但当文档扩展到几十页甚至上百页时，输出token数量会飙升至数万甚至更多。对于研究而言，这是一条延迟增长曲线；对于部署团队而言，这是显存占用、批处理吞吐、请求超时和SLA保障的全面不确定性。
换句话说，长文档OCR的考验不在单页演示的精度，而在于输出变长之后，系统还能不能保持稳定。
要解决上述问题，首先需要回答一个更根本的问题：OCR解码是否真的需要全历史注意力？
这里有一个值得认真对待的判断：在OCR任务中，输入图像是固定的参考端，而输出文本虽然很长，但其生成过程主要依赖局部上下文。也就是说，解码器在生成当前token时，最需要关注的是两样东西——
至于更早的输出历史，其边际信息价值可能远低于其带来的计算与存储开销。如果一个模型在生成第5000个token时，仍需要完整回看前4999个token的键值对，那么标准全历史注意力很可能是一种过度设计。
这个判断如果成立，就为注意力机制的重新设计打开了空间。
基于上述判断，一种自然的思路是将OCR解码的记忆拆分为两个独立部分：固定参考端与局部生成窗口。
具体规则非常直接：每个解码token可以访问两部分内容。
第一部分是全量前缀，即视觉token和提示词。这部分对应OCR中的“原稿”，在整个解码过程中全程可见，不做任何截断。
第二部分是最近n个已生成的token。这部分对应“刚写过的上下文”，用于维持局部语义、格式和阅读顺序的连续性。n的取值可以根据任务特点设定，例如128。
在这种设计下，键值缓存的上界变为：
C_SWA(T) = L_m + min(n, T) ≤ L_m + n
这意味着，无论输出文本多长，缓存规模都被限制在一个固定上界内。它不是简单粗暴地截断历史，而是将“参考端”和“生成端历史”分开处理：图像参考端完整保留，输出历史只保留近处。
这个方案的价值不在于它提出了某种全新的注意力变体——滑动窗口注意力本身在长序列建模中已有广泛研究。它真正值得关注的地方在于，它把OCR任务的特性与注意力机制的设计做了精准匹配。
第一，它承认了OCR任务的特殊性。 通用长序列建模需要处理远距离依赖，但OCR的输出文本更多是局部连贯的。识别一页文档的末尾内容，并不需要回看该页开头每个字的生成过程。这种任务特性使得局部窗口足以覆盖绝大多数依赖关系。
第二，它保持了参考端的完整性。 视觉token和提示词作为条件信息，始终参与注意力计算。这确保了模型不会因为窗口限制而“忘记”正在识别的是什么图像。
第三，它给出了可预测的资源上界。 对于部署而言，可预测性往往比极致性能更重要。固定上界的缓存意味着显存占用、批处理大小和延迟估算都可以提前规划，而不是随文档长度动态膨胀。
如果这种设计思路被更广泛地验证和采纳，它对OCR系统架构的影响可能是多方面的。
在模型层面，它提示我们重新审视注意力机制中的“必要历史”边界。不是所有任务都需要全历史注意力，任务特性应该成为注意力设计的重要输入。
在部署层面，固定上界的缓存使得长文档OCR的服务化变得更加可行。批处理策略可以更激进，超时设置可以更稳定，硬件选型可以更有依据。
在应用层面，长文档识别的成本结构可能发生变化。当输出长度不再直接决定显存占用时，按页计费或按文档计费的模式可能比按token计费更合理。
当然，从论文到生产部署之间仍有距离。滑动窗口的大小n如何选择，需要根据文档类型、语言、版面复杂度等因素做调优。窗口过小可能损失必要的局部上下文，窗口过大则削弱了缓存压缩的收益。
此外，训练阶段与推理阶段的一致性也需要关注。如果模型在训练时使用全历史注意力，推理时切换为滑动窗口，可能会出现分布偏移。因此，在训练阶段就引入相应的注意力模式，或者通过微调来适配，是更稳妥的做法。
还有一个容易被忽视的点：前缀长度L_m本身可能很大。高分辨率文档图像产生的视觉token数量可观，如果L_m本身已经占据大量缓存，那么压缩输出历史带来的收益就会相对有限。因此，视觉token的压缩或分层处理也是值得同步考虑的方向。
长文档OCR的核心挑战不在于单页识别精度，而在于输出变长后的系统稳定性。将固定参考端与局部生成窗口分离的注意力设计，提供了一种工程化的解决思路：承认OCR任务对全历史注意力的需求有限，用可预测的资源上界换取部署可行性。
这一思路的价值不仅在于某个具体方案的效果，更在于它提醒我们：注意力机制的设计应该服务于任务特性，而非默认沿用通用方案。对于长文档处理这类输出长度远大于输入条件长度的场景，重新思考“什么必须看见、什么可以遗忘”，本身就是一种值得推广的工程思维。