文档解析技术路线转向：从切块识别到整页理解

过去两年，文档解析（OCR 与文档结构化）赛道涌现了大量工具与方案，速度、可定制性、多语言支持等指标不断被刷新。但一个更根本的问题正在浮出水面：当文档复杂度持续上升时，传统流水线式解析方法已经接近能力上限。 本文从技术路线分歧入手，分析“切块识别”与“整页理解”两种范式的本质差异，并讨论工程实践中如何评估与迁移。

一、流水线式解析为什么曾经流行

理解技术转向，先要理解旧范式的合理性。行业常见的 pipeline-based 文档解析方案，基本遵循同一套流程：

输入页面
  → 版面分析（Layout Analysis）
  → 区域切块（Block Segmentation）
  → 分类型识别（文本 / 表格 / 公式 / 图片）
  → 结果拼接与后处理

这条路线之所以成为主流，原因很直接：

1. 模块职责清晰。标题区、正文区、表格区、图片区分别交给对应模块处理，每个模块可以独立优化、独立替换。
2. 计算成本可控。切块后每个区域尺寸有限，单模块推理开销低，整体吞吐容易通过并行化提升。
3. 规则排版效果好。对普通电子版 PDF、规整排版的公文、多语言纯文本，切块识别的准确率和速度都相当可观。
4. 可定制性强。业务方可以针对某一类块（例如表格）替换专用模型，而不必改动整条链路。

正因如此，这类方案在开源社区获得了大量采用，也确实解决了很多实际问题。它不是失败的技术，而是在特定文档复杂度下高度有效的技术。

二、切块识别的结构性瓶颈

问题出在“先切块”这一步本身。复杂文档最难的部分，往往不是块内识别，而是块与块之间的关系。一旦把页面切碎，这些关系信息就在第一步丢失了。

2.1 关系信息不可逆丢失

举几个典型例子：

• 手写表单中，一个勾选框与旁边那行文字是否属于同一组语义，取决于二者的空间邻近与对齐关系；切块后，勾选框和文字可能被分到两个区域，各自识别正确，但组合错误。
• 复杂表格中，跨列说明文字属于哪一列，依赖表头结构与单元格合并信息；切块识别容易把跨列文本错误归位。
• 一段公式下方的注释，与公式本身是否应合并解析，取决于版式上下文；分开处理会导致公式与注释割裂。
• 图表、插图、化学结构式在版面上形态相近，仅靠局部特征难以区分，需要整页语境辅助判断。

用一个类比：把一封信剪成十几段再分别阅读，每个字都认识，但整封信的意思未必拼得对。块内识别解决的是“认字”，块间关系解决的是“读懂”。

2.2 典型高失败场景

结合行业实践中反馈最集中的痛点，旧方案容易翻车的场景包括：

场景类型	失败表现
跨页表格	表头与续页断裂，行列对应关系丢失
混合布局文档	多栏、图文环绕、侧边栏导致阅读顺序错乱
数学公式	公式与编号、注释分离，上下标识别不稳
图表与图片提取	图注归属错误，图表类型误判
手写内容	连笔、涂改、勾选框语义无法还原
老旧字体与低质扫描件	切块边界抖动放大识别错误
多语言混排	语言边界与块边界不一致，回退逻辑冲突

这些问题的共同特征是：错误不发生在单个块内部，而发生在块与块拼接的环节。 继续在切块范式内调参、换模型、加后处理规则，收益会越来越小——这正是“碰到天花板”的技术含义。

三、整页解码：范式差异在哪里

新的思路可以概括为 full-page decoding：不再先把页面切碎，而是把整页作为一个整体输入，由模型直接输出结构化结果。两者的差异不是模型大小，而是信息流方向：

切块识别：页面 → 切分 → 局部识别 → 拼接（关系在拼接阶段被动恢复）
整页理解：页面 → 全局编码 → 结构化解码（关系在解码阶段主动建模）

具体而言，整页解码范式具有几个关键特征：

1. 全局上下文参与决策。阅读顺序、区域归属、表格结构在整页范围内联合推断，而不是事后拼接。
2. 版面与内容联合建模。位置信息与文本、图形信息在同一表征空间内交互，减少“先分类再识别”带来的早期错误传播。
3. 输出为结构化文档。结果是带有层级、阅读顺序与区域语义的文档表示，而非扁平的文本流，便于下游做检索、抽取与问答。
4. 减少手工规则依赖。拼接规则、后处理启发式在旧方案中承担大量补救工作，新范式将其内化为模型能力。

需要强调的是，整页解码并不意味着“切块”彻底消失。工程上仍可能存在分辨率分块、长文档分段等处理，但切分不再承担语义归属的职责，这是与旧范式的本质区别。

四、工程评估：迁移前该看什么

技术路线转向的判断，不应只依据单项 benchmark 排名。对于计划引入或迁移方案团队，建议从以下维度做系统评估。

4.1 评测集要贴近真实业务分布

通用 benchmark 通常以规整文档为主，难以反映业务中的极端样本。建议自建评测集，按场景分层采样：

评测集分层建议：
- 规整电子文档（基线，占比不宜过高）
- 跨页表格与合并单元格
- 多栏 / 图文混排 / 侧边栏
- 公式与注释混排
- 手写表单与勾选框
- 低质扫描件与老旧字体
- 多语言混排

每层单独统计指标，避免“平均分掩盖长尾失败”。

4.2 指标要覆盖结构正确性

仅看字符级准确率（CER/WER）不足以反映文档理解质量。建议补充：

• 阅读顺序准确率：段落序列与人工标注的一致程度。
• 区域归属准确率：表格单元格、图注、公式注释的归属正确率。
• 表格结构相似度：行列结构、合并关系的匹配程度。
• 端到端下游任务指标：如基于解析结果做字段抽取的 F1，直接反映业务价值。

4.3 成本与吞吐要按文档类型分别测算

整页解码通常单页推理开销高于切块方案，但旧方案的“隐藏成本”常被低估：拼接规则维护、后处理调参、长尾人工复核。建议按文档类型分别测算：

总成本 = 推理成本 + 后处理与规则维护成本 + 人工复核成本 + 错误导致的业务损失

对规整文档，旧方案可能仍具成本优势；对复杂文档，新范式的端到端成本可能反而更低。

五、落地实践建议

5.1 采用双轨并行与路由策略

不必一次性全量替换。可按文档复杂度做路由：

输入文档
  → 轻量分类器判断复杂度
     ├─ 简单规整 → 保留原有快速链路
     └─ 复杂文档 → 走整页理解链路

这样既保护存量吞吐，又在新范式上积累真实数据。

5.2 建立结构化输出契约

无论底层方案如何演进，下游消费方应面向稳定的结构化契约编程，例如统一为带层级的文档树：

{
  "page": 1,
  "blocks": [
    {"type": "heading", "level": 2, "text": "..."},
    {"type": "table", "rows": 3, "cols": 4, "cells": ["..."]},
    {"type": "formula", "latex": "...", "note": "..."}
  ],
  "reading_order": [0, 1, 2]
}

契约稳定后，底层模型替换对业务透明，迁移风险显著降低。

5.3 保留人工复核闭环

复杂文档场景下，全自动解析在可预见期内仍难做到零错误。建议对高价值文档保留抽样复核与反馈回流机制，将人工修正结果用于评测集扩充与阈值校准。

5.4 关注长文档与跨页一致性

跨页表格、跨页章节是旧方案的重灾区。评估新方案时，应专门测试多页连续输入的上下文保持能力，而不仅是单页精度。

六、结语

文档解析的技术竞争，正在从“单块识别精度”转向“整页结构理解”。这一转向的意义不在于又一个模型出现，而在于行业承认了一个事实：面对越来越复杂的文档，局部识别的优化空间正在收窄，关系建模才是下一个主战场。 对开发者而言，理性的做法不是追逐榜单，而是围绕真实业务分布建立分层评测、稳定输出契约与双轨路由策略，让技术路线的演进成为可管理、可验证的工程过程。