古籍OCR识别技术选型指南：从版面分析到异体字处理

一、问题背景：为什么通用OCR在古籍上会失效

在做中医古籍整理或文史研究类项目时，文字提取往往是第一道坎。很多团队一开始会直接使用通用OCR能力，结果发现印刷体文档识别尚可，一旦进入古籍场景就迅速失效。原因并不复杂，可以从三个维度来理解。

字符集规模差异。现代简体中文常用字约六千余个，而古代文献中仅异体字、俗字、通假字就可达十余万量级。同一个词在不同刻本中可能呈现完全不同的字形，例如“脈”与“脉”、“癥”与“症”这类对应关系，在中医典籍中极为常见。通用OCR模型的训练语料以现代印刷体为主，对这类字形变体缺乏覆盖。

版面结构差异。古籍普遍采用竖排右起、从右至左的阅读顺序，还存在筒子页、半筒子页、多栏排版、天头地脚批注、双行夹注等复杂版式。通用OCR通常按水平方向做文本行检测，遇到竖排和多栏时极易把注释与正文混排，甚至输出顺序完全颠倒。

图像质量差异。古籍扫描件常见透光、页面轻微歪斜、纸张老化导致的低对比度、虫蛀残损、朱笔批注与正文叠加等问题。这些退化因素会显著拉低检测框的召回率与字符识别的置信度。

因此，古籍识别不是“换一个更大的模型”就能解决的问题，而是需要针对字符集、版面结构和图像质量三个层面做专门设计的工程任务。

二、评估古籍识别方案的核心指标

在技术选型阶段，建议从以下五个维度建立评估框架，而不是只看一个笼统的“识别率”数字。

1. 字符覆盖能力。重点考察方案对繁体字、异体字、俗字的覆盖规模，以及是否支持异体字到标准字形的映射。对于中医、历史等垂直领域，异体字映射表的质量直接决定了后续校勘的工作量。

2. 版面分析能力。需要确认方案是否支持竖排检测、多栏切分、批注区域区分、阅读顺序还原。一个实用的判断方法是：拿一页带双行夹注的多栏古籍做测试，观察输出文本是否保持了“从右至左、从上到下”的正确顺序，以及注释是否被正确标注而非混入正文。

3. 图像鲁棒性。考察方案对轻微倾斜、透光、低对比度页面的适应能力。业界普遍经验是，输入图像分辨率建议不低于300DPI；低于该阈值时，多数方案的识别率会出现明显下降。这一点应在项目前期就以数据验证，而非事后补救。

4. 输出结构化程度。理想的输出不仅是纯文本，还应包含版面区域坐标、阅读顺序索引、批注与正文的归属关系等结构信息，便于后续做对齐、比对与数据库入库。

5. 工程可用性。包括批量处理能力、接口调用方式、结果可复现性、以及是否便于集成到现有的数据处理流水线中。

三、通用技术架构：一条可复用的古籍识别流水线

从工程视角看，古籍识别可以拆解为一条分阶段的处理流水线。下面给出一个与具体厂商无关的通用架构示意，便于团队按阶段定位瓶颈。

输入扫描件
   │
   ▼
[图像预处理] ── 去噪、二值化、倾斜校正、分辨率归一化
   │
   ▼
[版面分析] ── 区域检测（正文/批注/图表/页眉页脚）
   │            栏划分、阅读顺序建模
   ▼
[文本行检测] ── 竖排/横排方向判定，行切分
   │
   ▼
[字符识别] ── 单字/行级识别，输出候选与置信度
   │
   ▼
[后处理] ── 异体字映射、上下文校正、词典约束
   │
   ▼
结构化输出（文本 + 坐标 + 阅读顺序 + 置信度）

图像预处理阶段的关键是把输入质量拉到模型可接受的范围。倾斜校正可以通过检测页面边缘或文本行方向实现；分辨率归一化建议统一到300DPI以上；对透光页面可尝试背景估计与减除。

版面分析阶段是古籍场景与通用场景差异最大的环节。建议将区域检测与阅读顺序建模分开处理：先得到正文块、批注块、图表块的区域集合，再依据版式规则（竖排右起）构建阅读顺序图。

后处理阶段往往被低估。异体字映射表、领域词典（如方剂名、穴位名）与上下文语言模型可以显著降低误识率。例如对“反”字，结合中医语境判断其是否为“返”的通假用法，这类规则化与模型化结合的手段，效果通常优于单纯依赖识别模型。

四、关键能力详解：异体字处理与版面还原

4.1 异体字映射的工程实现

异体字处理的核心是建立“字形变体 → 标准字形”的映射关系，并在识别结果上做归一化。一个简化的处理逻辑如下：

# 伪代码：异体字归一化处理示意
variant_map = load_variant_table()  # 加载异体字映射表
def normalize_text(raw_text, context):
    result = []
    for ch in raw_text:
        candidates = variant_map.get(ch, [ch])
        if len(candidates) == 1:
            result.append(candidates[0])
        else:
            # 多候选时结合上下文与领域词典消歧
            result.append(disambiguate(candidates, context))
    return "".join(result)

实际项目中，映射表需要覆盖繁简对应、异体互通、通假用法等多个层次，并且要允许人工维护与增量更新。对于科研团队而言，映射表的可审计性非常重要——每一次归一化决策都应可追溯，避免在校勘环节引入不可解释的改动。

4.2 复杂版面的阅读顺序还原

带批注的古籍页面是版面分析的典型难点。处理思路通常包括：

• 区域分类：将页面划分为正文区、批注区、图表区，批注区进一步区分天头批、地脚批、行间批；
• 栏结构建模：识别单栏、多栏、双行夹注等结构，建立栏与栏之间的顺序关系；
• 阅读顺序图：以区域为节点、以版式规则为边，构建有向图并做拓扑排序，得到最终输出顺序；
• 归属标注：将批注区域与相邻正文区域建立关联，输出时以结构化字段标注，而非简单拼接。

这套流程的价值在于，它把“格式整理”这件原本需要大量人工的重复劳动转化为可批量执行的程序逻辑。对于处理批注本、多栏刻本这类文献，结构化输出的意义甚至大于单字识别率本身。

五、实践建议与常见误区

建议一：先做小样本基准测试，再决定规模化投入。 选取涵盖不同版本、不同版式、不同图像质量的样本页，建立人工标注的基准集，量化各阶段的准确率与召回率。不要用单一“识别率”数字做决策。

建议二：把图像质量作为独立变量管理。 扫描环节的分辨率、倾斜度、光照均匀性应在采集阶段就加以控制。经验上，300DPI是多数方案的实用下限，低于此值时应在预处理阶段做超分或重采。

建议三：识别与校勘分离。 识别阶段输出带置信度的结果，校勘阶段再结合领域知识做人工复核。将两者混在一起会导致流程不可复现，也不利于定位问题来源。

常见误区包括：认为识别率是一个固定常数（实际随图像质量与版式复杂度大幅波动）；忽略阅读顺序还原而只关注字符准确率；以及在没有建立映射表的情况下直接对异体字做字符串匹配。

六、结语

古籍识别的本质是一个多阶段协同的工程问题，而不是单点模型的性能比拼。字符集覆盖、版面结构建模、图像预处理与后处理归一化，四个环节共同决定最终可用性。对于有批量处理需求的团队，建议基于通用云能力（如对象存储做样本管理、消息队列做任务分发、日志服务做流程追踪）搭建可复用的识别流水线，把每个阶段做成可替换、可度量的模块。这样无论底层识别能力如何演进，团队积累的预处理规则、版面模型与领域词典都能持续复用，形成真正的技术资产。