古文字识别与古籍数字化中的OCR技术选型实践

在中医古籍整理、历史文献数字化和人文研究项目中，文字识别早已不是简单的“拍图转文字”。尤其是面对明清刻本、手抄本、批注本以及大量异体字、通假字时，普通印刷体OCR往往在版面理解和字符覆盖两个层面同时失效。因此，如何从技术视角理解古文字识别的核心难点，并据此选择合适的技术方案或自建处理流程，成为研究团队和开发者必须面对的问题。

一、古文字OCR与普通OCR的关键差异

普通OCR主要面向现代简体印刷文本，其训练数据集中常见汉字数量通常只有数千个，版面也以横排、单栏为主。而古籍文本的复杂度要高出一个量级：

• 字符层面：古代繁体、异体字、俗字、避讳字、通假字并存，仅异体字就可能达到数万级。
• 版面层面：竖排、从右至左阅读顺序、筒子页、多栏排版、眉批、夹注、朱批、圈点标记等混合出现。
• 图像层面：刻本可能存在断笔、漫漶、透字、污损；抄本则常见行草、连笔、墨迹不均。
• 语义层面：同一字形在不同语境下可能代表不同字义，识别后还需要进行上下文判断与字形归一。

因此，古文字识别系统不仅需要高覆盖率的字符库，还必须具备较强的版面分析能力和一定的语义后处理能力。单纯依赖通用OCR引擎很容易在异体字归一、正文与批注分离、竖排文字顺序重建等环节出现系统性错误。

二、古文字识别系统的核心能力拆解

一个能实际用于古籍项目的识别系统，通常由以下几个关键模块构成。

1. 高覆盖字符模型与异体字映射

普通OCR的识别字典较小，遇到未登录古字时往往输出空白、乱码或近似字。而古文字OCR需要支持数万级汉字识别，并在输出阶段完成异体字到标准字的映射。例如“脈”与“脉”、“癥”与“症”、“薑”与“姜”等，在方剂名、穴位名、药名整理中必须保持一致，否则后续检索与统计会直接失真。

在实际工程中，字符覆盖与异体字映射通常分两层实现：

• 底层识别模型负责输出原始字形编码；
• 上层后处理模块根据上下文和领域词典进行归一化转换。

这种分层设计可以避免因为归一化策略变化而频繁重训模型，也让识别结果既能保留原貌，又能输出规范形式。

2. 复杂版面分析与阅读顺序重建

古籍页面中最常见的挑战不是“字不认识”，而是“顺序读错”与“层级混淆”。例如上下两栏带夹注的页面，正文与注释在视觉上交错排列；批注本中，朱笔批注可能分布在页面边缘、行间甚至天头地脚。若版面分析能力不足，输出结果往往是正文、批注、页码混杂在一起。

一个可靠的古文字OCR系统应当具备以下版面能力：

• 自动识别单栏、多栏、筒子页与半筒子页结构；
• 区分正文区、注释区、批注区、图表区；
• 按古籍“从右至左、自上而下”的顺序重建文本流；
• 保留栏位与区域关系，便于后续结构化存储或对齐。

这些能力对校勘、版本比对和学术引用都非常关键。对于开发者而言，在选型时可以通过构造包含多栏、夹注、边缘批注的测试页来快速评估系统的版面解析稳定性。

3. 模糊、残损与低质量图像下的识别鲁棒性

古籍扫描件常常伴随笔画断裂、墨迹透背、底纹干扰和光照不均。对单一二值化策略依赖较强的引擎，容易在低对比度区域出现大量漏字。更稳健的做法是在预处理阶段引入自适应阈值、连通域分析与去噪，并在识别模型训练时加入包含噪声、残缺和仿射变换的增强样本。

此外，将版面分析结果与识别阶段解耦也很重要。例如先识别版面区域和文本行，再按行送入识别模型，可以有效降低背景干扰对单字分类的影响。对于特别模糊的区域，系统还可以输出低置信度结果，交由人工复核，而不是直接给出错误文本。

三、从扫描图像到结构化文本的工程流程

在实际项目中，古籍识别很少是“上传一张图，下载一个txt”这么简单。一个完整的处理流程通常包含以下环节。

1. 图像采集与预处理

图像质量直接决定识别上限。建议在扫描或拍摄阶段尽量保证页面平整、光线均匀，避免严重倾斜与遮挡。预处理阶段常见的操作包括：

• 灰度化与自动白平衡；
• 去噪与去底纹；
• 自适应二值化；
• 页面纠偏与去边框；
• 透字抑制与背景分离。

这些步骤可以采用通用图像处理库实现。对于文字区域内的轻微透字，可以先进行局部对比度增强，再对背景做估计和扣除，从而降低识别阶段的干扰。

2. 版面检测与文本行切分

版面检测的目标是识别文本块、标题、批注、图表等不同区域，并将其分类。文本行切分则是在每个文本区域内进一步定位行。由于古籍普遍为竖排，行切分实际上需要识别纵向文本条带，并判断行的左右边界。

这一阶段的技术方案通常基于目标检测或图像分割模型。需要注意的是，训练数据应覆盖多种版式与版面密度，否则模型容易在复杂批注本上产生区域过分割或漏检。

3. 字符识别与置信度评估

识别模型接收切分好的文本行后输出字符序列。对每个字符或整行文本，系统还应输出置信度分数。低置信度区域是高错误率的来源，在学术场景中应尽量保留原始图像与识别结果的对应关系，以便人工快速定位差异。

例如，将识别结果与原始扫描页按区域关联存储，可以在校勘界面中实现“原文—识别文本—图像切片”的三栏对照，显著提升复核效率。

4. 语义归一化与后处理

在完成基础识别后，还需要进行词语级和句子级的后处理。例如中医方剂中常见通假字和异体字，仅靠单字映射不足以判断正确用字。此时可以引入领域词典、上下文语言模型以及规则库，对识别结果进行二次校正。

一个典型的优化思路是：先对整篇文档进行低频字和异常字检测，再结合上下文及领域术语词典给出候选修正。这样可以在不依赖单一商业系统的情况下，自建一套更贴合项目需求的后处理链路。

四、选型时的测试方法与评估指标

无论是评估商用服务还是自研模型，都应当用统一的测试集进行测量。测试集应尽量覆盖真实项目中的困难样本，而不是仅用清晰刻本。

1. 字准确率与行准确率

字准确率反映单字识别正确比例，行准确率则衡量整行完全正确的比例。后者能更直观地评估后期校对成本。对于复杂抄本，字准确率即使达到95%，每百字仍可能有约5处错误，因此需要结合行准确率一起观察。

2. 版面还原率

还原率可以定义为正文、批注、栏位顺序均被正确输出的页面比例。仅看字符识别率容易掩盖版面错误，例如批注混入正文虽然字都认识，但对研究使用而言依然是严重错误。

建议单独统计：

• 正文区正确识别页面比例；
• 批注区正确分离比例；
• 阅读顺序正确页面比例；
• 图表区无文字误入比例。

3. 低置信度样本人工复核成本

项目中真正的成本往往不在识别阶段，而在复核阶段。若系统能够输出低置信度标记，并允许按置信度排序复核，可以优先处理高风险区域，从而降低整体工作量。评估时可以统计：在找出全部错误的前提下，需要人工检查的字符比例越低，说明系统可信度越高。

五、面向研究与开发场景的落地建议

对于高校研究团队、社科项目或中小型开发团队，不必一开始就追求构建完整的大规模识别系统，而可以采用“成熟能力+领域后处理”的渐进路线。

• 在字符覆盖和版面解析方面，优先选择在古籍场景经过验证的商用服务或行业通用能力，可以快速获得较高基础识别率，并避免大量数据标注工作。
• 在领域归一化和校勘环节，结合自身研究领域构建词典、规则与对照表。例如中医古籍团队可以建立方剂名、穴位名、药名、人名、书名的规范词表。
• 建立标准化数据接口，将图像、识别结果、置信度、版面位置和人工修改记录统一存储，形成可追踪、可比对的数据资产。
• 对重复出现的版式类型沉淀为模板，例如某类抄本的固定栏位、固定批注区域，可以在后续识别中作为先验信息使用，进一步提升稳定性。

六、结语

古文字识别不是单纯的字符分类问题，而是图像处理、版面理解、语言模型与领域知识协同工作的系统工程。选择或构建适合古籍项目的OCR能力，需要从字符覆盖、版面解析、低质量图像鲁棒性以及后处理归一化等多个维度综合考虑。只有在这些能力上形成闭环，才能将古籍数字化从“能识别”推进到“可研究、可信赖、可复用”的程度。对于有长期整理计划的研究团队而言，建立适合自己的测试集与后处理流程，往往比单纯追求某一款工具的“万能”更加重要。