简介：长文档识别的主要瓶颈并不在单页准确率，而在输出变长后注意力记忆的不可控增长。本文从固定参考端与生成历史的差异出发，解析一种滑动窗口注意力机制如何在不丢失原稿信息的前提下，把长文档OCR的解码复杂度从随长度增长压缩为近似有界，并说明其对工程部署、批处理与模型设计的影响。
端到端OCR模型已经可以很稳定地把单页图像转换为文本。传统流程中的检测、切块、识别、规则后处理等步骤被逐步合并到一个多模态模型中，输入图像，输出文本序列，单页场景下的效果提升非常明显。
但当处理对象从“一页”变成“一份几十页的文档”时，问题性质发生变化。
自回归解码器每生成一个token，都需要访问此前已经生成的输出对应的键值缓存。在标准多头注意力机制下，这个缓存规模大致可以表示为：
C_MHA(T) = L_m + T
其中，L_m 是视觉token与提示词组成的前缀长度，T 是已经生成的输出token数量。
一页文档可能只需要几百个token，几十页文档则可能达到数万token。对研究评测来说，这表现为推理延迟升高；对工程部署来说，这意味着显存压力、批处理吞吐下降、请求超时风险增加，以及服务等级协议难以控制。
因此，长文档OCR的核心命题不是“单页识别能不能再高一个点”，而是：
当输出长度持续增长时，模型能不能保持稳定、可预测、可部署？
在标准自回归生成中，所有历史token被默认具有同等重要性，因此模型会保存全量历史信息。但这个默认假设并不完全适用于OCR。
OCR任务的输入是图像，输出是文本。图像是固定的参考端，模型在生成任何一个token时，理论上都应该能回看原稿。而输出端的文本虽然很长，但当前字符的判断主要依赖附近的文字，距离过远的历史输出对当前步骤的帮助会迅速减弱。
例如，识别一份扫描版研究论文时，某一个表格单元格里的内容，几乎不依赖几十页之前的正文段落。当前字符更需要的是：
换句话说，输出历史的作用主要体现在局部连贯性，而不是全局语义记忆。图像参考端才需要保持全局可见。
如果这个判断成立，那么标准全历史注意力在长文档OCR中很可能是一种过度设计。它保存了大量“当前步骤并不真正需要”的历史信息，并用显存和计算资源为这些信息持续买单。
一个直接的改进思路是：让解码器每个token都能看全量前缀，但只保留最近若干已生成token作为输出端历史。
这样，键值缓存的上界可以写成：
C_R-SWA(T) = L_m + min(n, T) <= L_m + n
其中，n 是保留的最近输出token数量。当生成长度 T 超过 n 后，缓存规模不再随输出长度线性增长，而是接近一个有界值。
这种机制的关键不在于“截断历史”，而在于把两类信息分开管理：
| 信息类型 | 对应内容 | 可见范围 | 缓存规模 |
|---|---|---|---|
| 参考端 | 视觉token、提示词 | 全程可见 | 固定 |
| 生成端 | 最近已生成token | 局部窗口 | 有界 |
图像参考端没有被丢弃，模型仍可以在任意解码步骤回看原稿对应的视觉信息。输出历史只保留近处，用于维护局部文字顺序、格式衔接和阅读连贯性。
这种设计把OCR解码从“保存全部已写内容”变为“始终看原稿，只记住刚写过的字”。
滑动窗口注意力的思想并不新，但它在不同任务中的适用性差别很大。
在自由文本生成或复杂推理任务中，模型常常需要调用远处历史中的事实或逻辑前提。如果只保留近邻窗口，可能会丢失关键上下文，导致生成质量下降。
OCR任务的特殊性在于，它更接近一种“条件转录”。输入图像已经包含所有需要表达的内容，输出端不需要额外存储一个完整的世界模型或推理链。当前步骤所依赖的输出端上下文，主要是格式、术语、数量和阅读顺序等局部约束。
因此，参考端与生成端解耦的注意力结构，恰好匹配OCR任务的信息需求：
这种匹配使得模型可以在不显著牺牲识别质量的前提下，压缩最消耗资源的历史存储部分。
在全历史注意力下，长文档推理的时间和显存成本会随着页数不断上升。采用参考端与局部窗口解耦后，当输出长度超过窗口大小时，缓存规模基本稳定。
这意味着批处理场景下，不同长度的文档可以共享更稳定的显存预算。请求延迟的波动范围也会收窄，便于设置超时策略和容量规划。
在一些近期公开结果中，总参数3B、激活参数0.5B级别的模型，已经在长文档OCR综合评测上超过了参数量大得多的通用多模态模型。这个结果很难只归因于训练数据或优化技巧，更多反映了结构设计对任务特性的贴合程度。
当一个3B模型通过更合理的注意力结构，把有限参数集中在真正影响OCR质量的环节时，它的效率自然会高于那些把大量参数分配给通用历史建模的模型。
在长文档数字化场景中，用户通常上传几十页甚至上百页扫描件，期望得到完整、连续、可检索的文本输出。如果推理系统在输出后半段时仍需要访问全部前半段历史，不仅成本高，而且对长尾文档的稳定性难以保证。
参考端与局部窗口解耦后，系统可以更从容地处理超长输入。因为无论文档多长，生成端的记忆成本都不会无限制增加。这种特性对批量转写、历史档案数字化、合同与报告结构化等场景具有直接的工程价值。
这种设计也并非没有代价。
当前部的识别结果影响后续内容的语义理解时，局部窗口可能无法覆盖足够长的输出依赖。例如，目录页中章节标题的编号规则、全文统一的人名或机构名写法，可能要求模型记住较远的输出历史。
应对这类问题，可以通过适当增大窗口、在提示词中显式要求模型保持全文术语一致性，或者把长文档切分为章节级任务来缓解。实际部署时，窗口大小需要根据文档类型和长度分布进行折中。
另外，参考端与生成端的解耦主要优化了生成端缓存，而视觉token数量仍会随输入页数增长。对超长输入，视觉参考端本身的前缀规模也需要通过高分辨率分块、层级化视觉编码或页面级调度等方式进一步管理。
长文档OCR的真正难点，已经从“能不能识别出来”，转移到“输出变长后，系统还能不能稳定、经济地运行”。
把注意力记忆拆成固定参考端与局部生成窗口，是一种贴合OCR任务特性的工程化选择。它不是简单地丢弃历史，而是重新区分了哪些信息必须全程保留、哪些信息只需要短期记忆。
这种思路的价值也不限于某一个模型或某一套参数。它提示我们，在面向具体任务的模型设计中，审视任务本身的信息结构，往往比一味增加参数或保存更多历史更有效。对于长文档识别、批量扫描转写和企业文档数字化等场景，这条技术路线值得继续观察和验证。