古籍OCR识别准确率提升思路与工程实践

在多个省份的中医古籍研究项目中，古籍OCR一直是数字化流程里最容易被低估、也最容易出现返工的环节。与现代印刷品不同，古籍文本的识别难点并不只在于“字认不认得出来”，而在于一个高度耦合的系统性问题：异体字、避讳字、生僻药名、竖排筒子页、眉批旁注、多栏混排、版心鱼尾、页面污损、纸张透字以及不同刻工导致的字形差异，共同构成了识别率的天花板。

本文不围绕某一款具体工具展开，而是从工程实践角度，梳理古籍OCR识别准确率的评估方法、影响因素与优化路径。无论是选型调研、项目验收，还是自建识别流水线，都能以此为参考。

一、识别准确率不能只看“整体数字”

很多实践者在初选OCR能力时会首先关注“整体识别率”，但这个指标在古籍场景中往往具有误导性。一个整体准确率宣称达到95%的系统，在实际项目中仍可能产生大量不可用的文本，原因在于错误分布并不均匀。

更合理的做法是将评估拆分为三个维度：

1. 常用字识别准确率：面向GB2312等常用字符集，考察常规楷书、宋体刻本的识别表现。这一维度通常能反映基础引擎的字符建模能力。
2. 生僻字与异体字召回率：面向GB18030-2022扩展区以及Unicode中的CJK扩展集，关注中医古籍、方志、族谱中常见但现代文本中低频出现的字符能否被正确识别，而不是被误归并到形近常用字。
3. 版面结构还原准确率：考察竖排文本的列切分、双行小注的归属关系、眉批与正文的区分、栏线干扰下文本顺序的保持情况。

举例来说，某次处理清代刻本《本草纲目》时，出现频率较高的“蔞蕩”“虈薜”等药名，以及“脈—脉”“癥—症”这类中医惯用异体字，如果仅按常用字准确率统计，系统表现可能很漂亮；但一旦这些生僻字集中在关键药名、病症描述中，识别错误就会直接影响研究结论。因此在项目验收时，应将生僻字与异体字单独抽样统计，而不是混入整体指标中稀释问题。

二、版面分析能力是古籍OCR的隐形门槛

现代OCR处理的对象通常是水平排列、版面干净的印刷文档，版面分析模块的任务相对简单。但古籍刻本往往采用竖排右起、多栏、带句读圈点、正文与注释混排的结构，部分稿本还存在行书、草书等手写字体。此时，版面分析的质量直接决定后续字符识别的输入是否有效。

在实践中，以下几个问题最为常见：

• 竖排文字被按行截断：系统错误地将竖列识别为横排单行，导致输出文本完全不可读。
• 小字注文与正文混淆：双行小注常被合并进正文，或者归属到错误的正文行。
• 眉批、夹批与正文串读：版框外的批注内容被打散后插入正文，破坏上下文。
• 版心、鱼尾、页码被当作正文内容：尤其在全自动流水线中，这类噪声会持续污染后续文本。

因此，在评估古籍OCR能力时，不应只关注单字识别，还需要重点考察版面还原度。一个实用的方法是：将输出文本与原始版面图对照，检查文本顺序是否与阅读逻辑一致，小注是否落在正确位置，版框外内容是否被合理隔离。

三、图像预处理不是越多越好

很多团队在遇到识别率不理想时，第一反应是加强图像预处理：二值化、去噪、对比度拉伸、版面矫正等。然而，古籍图像预处理的难点在于“适度”。过度二值化可能抹掉笔画较细的异体字特征，去噪算法可能把刻痕、避讳缺笔等信息一并去除，反而降低识别召回率。

建议采用“分阶段、可回退”的处理策略：

1. 先评估原始图像质量：检查是否存在明显倾斜、透字、污损、对比度不足。
2. 按版面结构分割：将版框、栏线、正文区、批注区分别处理，不同区域使用不同参数。
3. 保留预处理前的图像副本：便于后续人工校验时追溯误识原因。
4. 对特殊字形不做激进增强：如遇到避讳字缺笔、异体字的非标准部件，应优先保留原始笔画信息。

在工程流水线中，图像预处理模块与识别引擎的耦合度不宜过高。一个更稳健的架构是将预处理作为可插拔步骤，允许针对不同刻本类型配置不同参数组合，而不是全局使用统一策略。

四、少数民族语言古籍需要独立评估

在多民族医学文献研究中，藏文、蒙古文、满文等古籍的OCR需求同样突出。这些文字系统的书写方向、字符组成方式与汉字差异显著，不能简单复用面向汉字的识别逻辑。

以藏文古籍为例，元音符号与基字的组合规则、叠字结构、行间标点等，要求识别系统具备相应的语言模型支持。蒙古文则对书写方向更为敏感——传统蒙古文采用竖写左行，且字母形态随位置变化，若系统仅支持横排模型，输出必然出现语序混乱或字符变形错误。

因此，在多语言项目中，应为每种文字建立独立的评估集，并重点检查：

• 字符编码是否符合该语言的Unicode规范；
• 文本顺序是否与原始书写方向一致；
• 组合字符是否被正确渲染，而非拆分为不完整序列；
• 数字、页码与正文是否区分清楚。

五、建立可持续优化的识别流水线

古籍OCR不是一次性任务，而是一个持续迭代的工程。建议构建包含“识别—校验—反馈—优化”的闭环流程。

一个最小可行的流水线结构可以概括为：

原始图像
  │
  ├─ 版面分析（分割版框、栏线、批注区）
  │
  ├─ 图像预处理（按区域策略）
  │
  ├─ 字符识别（汉字/少语多模型路由）
  │
  ├─ 后处理（语言模型纠错、异体字归一化提示）
  │
  └─ 人工校验（高置信度抽样 + 低置信度全检）

其中，后处理环节尤其值得关注。对于中医古籍，“语言模型纠错”不能只依赖现代汉语语料，否则容易把正确的药名、方剂名“纠正”成现代常见词。更稳妥的方式是为项目建立专用词表，将古医籍中的高频生僻字、异体字、药名术语纳入后处理词典，降低误纠率。

同时，识别系统在输出低置信度结果时，应当给出明确标记，便于人工优先复核。例如，对低于阈值的字符附加风险提示，而不是静默合并进正常文本。这一机制在实际项目中可以显著减少漏检带来的研究风险。

六、结语

古籍OCR的难点不在单一环节，而在于多因素叠加。常见字识别准确率高并不等于整页可用，整体指标好看也可能掩盖生僻字和版面还原的深层问题。要在实际项目中真正降低人工校对负担，需要从评估方法、版面分析、预处理策略、多语言支持和后处理机制等多个维度同时用力。

对于深耕古籍数字化的团队而言，建立一套可量化、可复现、可迭代的OCR质量评估体系，远比单纯追求某一次测试的高分更有长期价值。唯有如此，才能在面对风格各异、年代跨度大的古籍文献时，做到既不迷信指标，也不陷入反复返工的低效循环。