超长文档OCR的缓存优化：从线性增长到近常数显存的技术路径

一、长文档OCR为什么会被显存卡住

在处理单页或几页文档时，主流OCR模型的显存占用通常可以接受。模型读取图像、提取视觉特征、生成文本序列，整个流程短暂且可控。一旦目标变成一整本书，例如上千页的扫描件或连续拍摄的档案材料，问题就会集中暴露出来。

以自回归生成式模型为例，模型在生成每一个文本片段时，都需要参考此前已经处理过的信息。这种跨步依赖在工程实现中表现为键值缓存。每处理一页图像，视觉编码器会产出一组特征表示；文本解码器在生成字符时，又会累积对应的键和值。随着页数增加，这些缓存被不断追加，形成一段持续膨胀的显存占用。

从定性角度看，如果采用最直接的实现方式，将每一页的视觉缓存都保留在显存中，缓存占用量会随页数线性增长。对于数百页乃至数千页的输入，这种增长会迅速超过单卡显存上限。即便显存勉强容纳，读取和访问这些缓存也会增加带宽压力，导致解码速度逐渐下降。

因此，长文档OCR真正要解决的问题不只是“能不能读得完”，而是如何在页数持续增加时，让显存占用和解码开销不随之失控。这构成了后续技术讨论的出发点。

二、KV缓存的来源与压力点

要理解优化方法，需要先拆解缓存的结构。

在典型的视觉-文本生成流程中，文档图像先经过视觉编码器，被转换为一组视觉特征。文本解码阶段，解码器基于这些视觉特征以及已经生成的字符序列，逐步预测后续内容。为了让后续步骤不必重复计算之前的信息，系统会把某些中间表示缓存下来。

这些缓存通常包含两组向量：

• 键向量：用于参与注意力计算，帮助当前查询确定应该关注历史序列中的哪些位置。
• 值向量：保存历史位置的实际表示内容，一旦注意力权重确定后直接参与加权求和。

如果模型采用因果注意力，文本侧每一步生成都要依赖之前的全部文本表示，这部分缓存本身就是随输出长度增长的。但对于长文档OCR来说，更突出的压力来自视觉侧。每一页图像可能对应数百甚至上千个视觉特征点，如果连续识别上千页，累积的视觉缓存规模会非常庞大。

在一种朴素实现里，系统会把所有已读页面的视觉缓存始终保留在显存中，以便后续页面能够回溯前面内容。这种做法的优点是信息完整，缺点是缓存增长没有任何收敛机制。当页数达到一定规模，显存很快就会被耗尽。

有公开技术报告提到，在千页级单序列测试中，某种基准实现将所有页面的视觉缓存同时保留，峰值键值缓存占用可以达到数十GB量级。这还未包含模型权重、激活值和其他运行开销。对于普通开发环境而言，这样的开销几乎不可落地。

因此，优化的核心不是简单地压缩单个向量，而是改变缓存的组织与访问方式，让模型在长文档场景下不再需要保留全部历史视觉信息。

三、从“全部保留”到“按需选取”

如果将KV缓存比作模型在阅读过程中不断增厚的小抄，那么朴素实现的问题在于：小抄只增不减。文档越长，小抄越厚，翻找速度也会下降。

一个更合理的策略是，让模型在每一步只保留与当前理解最相关的那部分信息，而不是把整本书都摊在桌面上。具体到注意力计算，可以采用滑动窗口的思路：只保留最近若干页面的详细缓存，同时对更早页面做高度压缩，仅在需要时进行选择性回溯。

这种思路的关键点在于：

1. 局部窗口保持细节：当前页和相邻页通常具有最强的上下文关联，例如跨页段落、表格延续或页眉页脚的重复结构。对这部分保留完整缓存，有助于维持识别质量。

2. 远距离信息选择性稀疏化：对于距离当前页较远的历史页面，不再为每个视觉特征都保留缓存，而是根据重要性进行筛选，只保存少量代表性表示。

3. 按需回看：当模型判断需要参考较远页面时，可以通过稀疏保留的索引跳转过去，而不是遍历所有历史缓存。

这样做的好处是，显存中常驻的缓存量不再随总页数线性增长，而是趋近于一个与窗口大小和稀疏度相关的上界。换句话说，缓存占用的增长曲线会从近似直线变为近似水平线。

公开资料中披露的一组对比数据显示，在相同测试条件下，优化后的峰值KV缓存占用从几十GB级降低到不足2GB，降幅约96%。这类数据因其与测试实现强相关，仅可作为量级参考，不宜作为恒定承诺。但它说明了一个趋势：通过改变缓存组织，长文档OCR有潜力在普通GPU环境运行，而不必依赖超大显存设备。

四、稀疏参考滑动窗口机制的工作方式

上述思路在具体实现中，通常被归纳为一种稀疏参考滑动窗口注意力机制。它可以理解为对标准滑动窗口注意力的扩展。

标准滑动窗口注意力会限制每个查询只关注固定范围内的历史位置，窗口之外的信息直接被忽略。这种方法虽然高效，但在跨页场景下容易丢失远距离依赖。

稀疏参考机制则做了一层折中：主计算仍以滑动窗口为主，但额外保留一组稀疏的历史参考点。这些参考点不是均匀采样，而是根据一定的重要性标准筛选出来的。比如，某些页面在全局结构中起关键作用，或者与当前任务目标高度相关，它们的少量特征会被保留下来作为长程参考。

在每一步解码过程中：

• 当前token会先与局部窗口内的缓存进行完整注意力计算；
• 同时，通过稀疏参考点与更早的重要页面建立轻量连接；
• 最终表示由局部信息与远距离信息融合而成。

这种方式既避免了无差别全局注意力的巨大开销，也弥补了纯窗口机制的上下文断裂问题。

从工程实现角度看，还需要处理两个细节。第一是稀疏参考点的更新策略。随着阅读进度推进，哪些页面值得继续保留、哪些可以淘汰，需要一定的选择机制。第二是缓存淘汰与重载策略。对于暂时移出窗口但仍可能在后续被引用的页面，可以在低优先级存储中保存压缩版本，在需要时按需恢复部分信息。

五、持续解码机制：让单步开销不再随页数增长

除缓存占用之外，长文档OCR还面临另一个问题：解码速度的逐渐下降。

在一些实现中，每生成一个新token，都需要与全部历史缓存进行注意力计算。即使缓存本身能放进显存，随着历史长度增加，单步注意力计算量也会不断上升。这会导致处理第1000页时的速度明显慢于处理第10页。

持续解码机制的目标，是让每一步的计算量基本保持稳定。其核心做法是切断单步计算与总历史长度之间的强依赖。具体而言：

• 每一步的主计算范围被限制在局部窗口内；
• 远距离信息通过预先计算好的压缩表示以较低频率参与；
• 避免在每一步都重新扫描全部历史序列。

这样，模型在连续处理很长文档时，单步延迟可以保持在一个相对稳定的区间，不会因为阅读进度深入而明显恶化。

从开发者视角看，这意味着系统的吞吐能力更容易预测。相比峰值性能，稳定性能往往更影响实际部署体验。持续解码的意义在于，它让长文档处理从“能跑完”提升为“能高效跑完”。

六、对工程实践的启示

对于需要构建长文档识别能力的团队，上述优化思路可以转化为几个通用设计原则。

原则一：不要默认保留全部历史状态。
在系统设计初期，就应明确缓存策略。即使初期数据量不大，也应预留缓存淘汰与压缩接口，避免后续因规模增长推倒重来。

原则二：区分局部信息与全局信息。
并非所有历史信息都同等重要。合理设置局部窗口，并对全局信息进行稀疏化表示，可以在质量与开销之间取得更优平衡。

原则三：关注单步延迟的稳定性。
长文档场景下，平均指标可能掩盖末段的性能退化。应测量不同输入长度下的延迟分布，识别是否存在随页数增长的单步开销上升。

原则四：以可用显存为约束反向设计。
先确定目标部署环境的显存预算，再倒推窗口大小、稀疏度和批次规模。这样可以避免在理想环境下测试通过后，在实际环境中出现不可控的显存溢出。

在实践中，有时还需要结合通用存储与计算服务构建异步流水线。例如，将文档切分、页面预处理、缓存管理、结果合并等环节解耦，利用消息队列和对象存储协调中间状态。这样即使单次处理失败，也可以从断点恢复，而不必重新处理整本文档。

七、一段示意性缓存管理逻辑

以下为概念性伪代码，用于说明稀疏参考缓存管理的基本结构，并非可运行实现。

class SparseWindowCache:
    def __init__(self, window_size, sparse_budget):
        self.window_size = window_size
        self.sparse_budget = sparse_budget
        self.window_items = []
        self.sparse_items = []
    def add_page(self, page_id, kv):
        self.window_items.append((page_id, kv))
        if len(self.window_items) > self.window_size:
            evicted = self.window_items.pop(0)
            if self._is_important(evicted):
                self._add_sparse(evicted)
        if len(self.sparse_items) > self.sparse_budget:
            self.sparse_items.pop(0)
    def _is_important(self, item):
        # 根据页面结构、信息密度或任务需求判断是否保留
        return item.page_id % 50 == 0
    def _add_sparse(self, item):
        # 对原始缓存做压缩或选择性保留
        compressed = self._compress(item.kv)
        self.sparse_items.append((item.page_id, compressed))
    def _compress(self, kv):
        # 示意：仅保留部分通道或聚合表示
        return kv[::4]
    def attention_sources(self):
        return self.window_items + self.sparse_items

该伪代码表达的核心思想是：常驻窗口只保留最近若干页的完整信息；被移出窗口的页面，只有部分重要内容会被压缩后进入稀疏集合；稀疏集合大小受预算约束。这样，无论总页数如何增加，缓存总量的上界基本由窗口大小与稀疏预算共同决定。

八、适用边界与后续方向

需要指出的是，稀疏化策略并非在所有场景下都无损。对于高度依赖全文一致性的任务，例如需要频繁回溯前文进行交叉引用的复杂版面，过度稀疏可能影响识别准确率。因此，实际应用中应根据文档类型调整窗口大小和稀疏预算。

此外，缓存优化只是长文档处理链条中的一环。完整技术方案还需要考虑图像预处理、版面分析、多页结果合并、错误恢复等问题。任何单一技术都难以独立解决全部挑战，但缓存优化往往是最先触碰到的瓶颈之一。

从发展趋势看，未来长文档OCR可能进一步引入分层表示思想：近期页面保留精细特征，中期页面使用聚合表示，远期页面只保留语义级摘要。这种多层结构有望在更极端的输入长度下继续保持近常数级的缓存占用。随着模型能力增强与硬件资源约束并存，此类兼顾质量与效率的机制会变得越来越重要。