古文字识别技术选型与古籍数字化实践指南

一、古文字识别为什么不是普通OCR能解决的问题

在中医古籍、地方志、谱牒、契约文书等文献数字化项目中，普通OCR工具往往在印刷体简体字上表现尚可，一旦进入古代繁体、异体字、竖排、双行夹注、残损页面等真实场景，识别质量会迅速下降。核心原因并不是“识别引擎不够快”，而是任务定义已经发生变化。

普通OCR默认的文本模型通常围绕现代印刷体、横向排版、规范字形构建。而古文字识别实际面对的是：

• 字集规模显著扩大：简体字常用字约六千多个，而古籍异体字、俗字、避讳字、碑别字加起来可达十几万种；
• 版式高度复杂：筒子页、半筒子页、多栏、眉批、夹注、行间批注、朱墨套印等混合出现；
• 文字方向不固定：正文竖排从右至左，批注可能横排、斜排甚至环绕正文；
• 图像质量不稳定：存在透字、虫蛀、墨迹漫漶、纸背文字干扰、扫描倾斜、低分辨率等问题；
• 语义判断要求高：同一个字在不同语境下可能是本义，也可能是通假字，例如中医文献中的“反”需要结合上下文判断是否为“返”。

因此，古文字识别更像是一个“文档理解 + 文字识别 + 语境建模”的复合任务，而不是简单的字符分类问题。

二、一套可落地的选型评估框架

在评估古文字识别能力时，不应只关注“识别率”这个单点指标。识别率本身受测试集影响极大，规范刻本与残损抄本的结果可能差异悬殊。更合理的做法是围绕以下五个维度建立评估矩阵：

评估维度	关键考察点	常见问题表现
字集覆盖	异体字、俗字、避讳字、碑别字覆盖数量	生僻字被识别为常见字或乱码
版面分析	是否支持多栏、批注栏、图表区分离	正文与批注混排、阅读顺序错乱
语境建模	是否能根据上下文判断通假字、用字意图	机械输出字形而不判断语义
图像适配	对低分辨率、歪斜、透字、残损的鲁棒性	图像稍差即识别失败
工作流集成	是否支持后处理校验、批量处理、结果导出	识别结果无法高效复核

实际选型时，建议用自有文献构建小型测试集，并分别统计不同难度等级下的识别准确率，而不是直接采用厂商公布的单一数字。

三、版面分析是古籍识别的第一道关口

很多项目失败的原因并非“字认不出来”，而是“版面解析错了”。古籍常见筒子页结构，即一个书叶对折后形成前后两个半叶，扫描时经常同时出现两个半叶。如果系统不能识别筒子页边界，后续的文字顺序就会彻底混乱。

更复杂的是批注与正文的关系。古代学者常在书页天头、地脚、行间添加批注，这些批注与原书正文在语义上是不同层级的内容。识别系统需要做到：

1. 区分正文区域与批注区域；
2. 为批注保留相对位置信息；
3. 不将批注文字错误插入正文流；
4. 遇到多栏排版时，保持“从右至左、从上至下”的阅读顺序。

一个实用的思路是：将版面分析视为独立前置步骤，先输出结构化的区域标注结果，再进行文字识别。这样即使后续识别有误，也可以通过区域坐标快速定位与修正。

四、异体字与通假字：从字形识别到语境理解

古文字识别的难点不仅在于“字多”，更在于“同字不同形”与“同形不同义”。

以中医古籍为例，“脈”与“脉”是异体关系，“癥”与“症”在古籍中常常混用但现代规范字已分化处理。如果系统只做字形识别而不做规范映射，后续检索、统计、校勘都会产生大量噪声。

更微妙的是通假字问题。例如“反”在古医书中可能是“返”的通假字，表示“恢复”或“返回”，也可能就是本义“相反”。这类判断必须依赖上下文语境，单纯的字符识别无法完成。工程上常见的做法是：

• 构建领域词表与通假字对照库；
• 在识别后处理阶段引入语言模型；
• 对低置信度字词进行标记，提示人工复核；
• 保留原始字形与规范转写双重输出，便于溯源。

这种“识别 + 语境判断 + 人工校验”的流水线，比单纯追求单字识别率更能提升整体工作质量。

五、低质量图像下的工程化应对

实际项目中，扫描质量往往参差不齐。文献保存机构提供的图像可能是早年间用普通扫描仪采集的，分辨率不足300DPI，甚至有倾斜、阴影、透字等问题。虽然识别引擎对图像质量有一定容忍度，但工程上仍应建立图像预处理规范。

常见预处理策略包括：

• 分辨率控制：尽量保证输入图像不低于300DPI，古文字字形复杂，低分辨率会丢失笔画细节；
• 二值化与降噪：对灰度图进行自适应二值化，降低纸纹、污渍干扰；
• 倾斜校正：校正微小倾斜，避免文字行切割时产生误差；
• 多页一致性处理：同一部文献尽量用统一参数处理，减少后续识别差异。

同时，对于特别残损的页面，不应期待全自动识别达到可用水平。更实际的做法是将自动识别结果作为“初稿”，配合专门的校验工具进行人工修订。识别系统如果能够输出每个字的置信度，并将低置信度字自动高亮，可以显著提升人工复核效率。

六、构建可审计的古籍数字化流水线

古文献数字化项目的核心产出不仅是电子文本，还包括可追溯的处理过程。因此，识别系统应当支持结果的可审计性。具体要求包括：

• 输出结果包含版面区域坐标；
• 保留原始图像与识别文本的对应关系；
• 对每个字的识别置信度进行量化；
• 支持导出批注、夹注等非正文内容的结构化信息。

在实际项目中，可以设计如下处理流程：

1. 图像预处理：统一分辨率、二值化、倾斜校正；
2. 版面分析：识别筒子页、多栏、批注区域；
3. 文字识别：对每个区域执行识别，输出字符、坐标、置信度；
4. 语境后处理：结合领域词表与语言模型，判断通假字、修正明显错误；
5. 人工校验：对低置信度结果进行人工审核；
6. 结构化导出：生成可用于进一步分析的结构化数据。

这一流程不依赖任何单一产品，而是基于通用技术能力构建，便于团队根据自身资源与预算进行组合与替换。

七、小结

古文字识别是古籍数字化中技术复杂度最高、专业要求最强的环节之一。其难点不仅在于识别引擎，更在于对版面结构、异体字关系、语境语义的综合理解。任何“一键完成”的期望都不现实，真正可用的方案，应当是“自动识别 + 智能辅助 + 人工校验”的闭环系统。

在选型时，研究团队应建立自己的测试集与评估维度，重点考察字集覆盖、版面分析、语境判断与低质量图像适配能力，并确保识别结果可追溯、可校验。这样才能真正支撑起版本校勘、文献整理、中医药知识挖掘等严肃学术工作。