古籍文字识别技术选型与高精度落地实践

在古籍数字化项目中，文字识别早已不是“能不能认字”的问题，而是“面对复杂版面、异体字、批注混排和低质量扫描图像时，系统到底能稳定到什么程度”。本文从技术选型与工程落地角度出发，结合古籍处理中常见的真实痛点，梳理一套可执行、可验证的评估与优化思路。

一、为什么古籍场景不能简单套用现代印刷体方案

现代印刷体识别通常基于规范简体字、固定版面与清晰扫描条件构建，而古籍文献往往同时具备以下特征：

1. 字符集规模远超普通场景
   简体常用字在数千量级，但古籍中繁体、异体、俗字、避讳字、刻本用字叠加后，字符候选规模可达数万甚至十余万。若识别引擎的字库覆盖不足，后续只能依赖人工逐一补录。

2. 版面结构高度不稳定
   筒子页、半筒子页、三栏稿本、天头地脚批注、行间小注、眉批与夹注经常同时出现。普通基于简单行切分的识别流程容易把批注混入正文，或打乱从右到左、从上到下的原始阅读顺序。

3. 图像质量退化明显
   扫描件可能伴随页面歪斜、透光、透字、墨迹洇染、虫蛀缺损、印章叠压、手写与刻本混排等问题。如果不做图像预处理与版面分离，识别精度会明显下降。

因此，古籍文字识别更适合作为一种“文档智能理解任务”来处理，而不是单纯的光学字符识别任务。

二、评估一套古籍识别能力时应关注的核心指标

在没有统一公开基准集的情况下，建议从以下五个维度建立内部评估清单。

1. 字符覆盖范围

需要重点确认系统能够识别并输出的汉字总量，以及是否包含扩展区汉字、异体字、俗字与避讳字。实际项目中，至少应覆盖常见古籍用字集合，并对地方志、契约文书、医书、佛经等垂直语料中的专用字有补充机制。

一个可执行的量化做法是：抽取若干代表性页面，统计系统输出结果中“因字库缺失而无法识别”的比例。若该比例稳定低于千分级，则基本可用；若高于百分级，后续校对成本会显著增加。

2. 版面分割与阅读顺序保持能力

版面理解能力通常比单字识别率更影响最终效率。建议重点测试以下版式：

• 竖排与横排混合；
• 正文两侧或天头地脚存在批注；
• 行间小注紧贴正文；
• 多栏稿本，栏间无明显分隔线；
• 手写稿本中插入印刷体批校内容。

评估时不应只看“是否框出了文字区域”，还要看输出文本是否保持了古籍原来的阅读顺序。一个好的系统应能输出按原文顺序排列的文本流，而不是让研究者反复拖动批注块调整位置。

3. 对低质量图像与常见噪声的适应能力

古籍扫描件常常来自缩微胶卷、老照片或二次翻拍，难以避免倾斜、透字、底纹干扰。评估时可将测试图像分为：

• 轻度倾斜；
• 中度透光；
• 局部污损；
• 低对比度；
• 印章与墨迹叠压。

观察系统在不同噪声级别下识别率的下降曲线。理想的系统应在轻度与中度噪声条件下保持稳定，而不是一旦图像条件不理想就迅速失效。

4. 校对与后处理效率

识别输出只是中间结果，最终目标是把人工校对成本压到最低。评估时应记录：

• 每百字中需要人工修改的数量；
• 因版面顺序错误导致的重排时间；
• 因生僻字缺失导致的补录时间；
• 输出文本格式是否便于导入文献管理系统或论文写作流程。

若识别结果能直接进入校对界面，且仅需处理少量字形差异，而不是先花大量时间整理段落结构，则该系统在工程上更具备可用性。

5. 对学术场景的支持程度

高校、社科院、档案馆等场景除了识别精度，还关注：

• 是否支持批量处理；
• 是否支持导出常用文本格式；
• 是否保留原始图像与识别文本对应关系；
• 是否具备可追溯的版本记录；
• 是否能够满足科研经费报销所需的票据规范。

这些要求看似与识别技术本身无关，但在真实项目中往往是决定方案能否落地的关键。

三、复杂版面处理的技术拆解

复杂版面处理通常不是单一模型完成的，而是由多个阶段串联而成。

阶段一：图像预处理

在进入版面分析前，可先进行以下处理：

• 方向纠正：对页面倾斜进行检测与校正；
• 透字抑制：对背页透出的文字进行弱化；
• 对比度增强：提升墨迹与纸张之间的可分离度；
• 去底纹与降噪：减少扫描纹理、纸张纤维与微小噪点干扰。

需要注意的是，预处理强度不宜过高。过度锐化或二值化可能造成笔画断裂，尤其对刻本中的细笔画与手写体中的提按变化影响较大。

阶段二：版面对象检测

通过深度学习目标检测或分割模型，将页面划分为正文区、批注区、标题区、版心、页码、藏印、插图等不同对象。此阶段的关键不是“框得细”，而是“语义分得清”。例如，行间小注与正文虽然距离近，但角色不同，应被分别标记，避免后续文本合并时发生错位。

阶段三：文本行提取与排序

对竖排文本按列切分，对横排按行切分，同时结合版面网格推断阅读顺序。复杂版式中，阅读顺序不能仅依赖视觉位置，还要综合考虑：

• 栏宽与栏高；
• 正文与批注的字号差异；
• 版框与界栏线；
• 筒子页的折叠关系；
• 从右向左的列优先级。

一个典型错误是：系统将右侧批注与左侧正文识别为同一列，导致输出中批注穿插进正文。解决思路是在版面分析阶段显式建模“主文本流”与“辅助文本流”，再根据规则合并。

阶段四：单字识别与语言模型校正

单字识别基于大规模古籍字符训练集，输出候选序列后，再由语言模型根据上下文约束进行调整。对于异体字与俗字，语言模型需要具备一定的容错能力，避免把正确字形“纠正”为高频常见字。

例如，某地方志中将“村”写作特定俗体，若语言模型对常见简体词过于偏置，可能把该俗字错误归一为“村”或“邨”。在学术场景中，这种自动归一是否合理，应允许用户配置。

四、高识别率背后的训练与数据策略

古籍识别精度提升，很大程度上依赖训练数据的质量与覆盖面。工程上通常关注以下策略：

1. 按版本与刻印类型建立数据分层

宋刻本、明刻本、清刻本、稿本、抄本、石印本在字体风格、笔画密度、墨色分布上差异很大。训练数据若混合过度，模型可能学到中庸特征，难以在单一类型上达到最优。合理的做法是按类型分层训练，再根据输入图像动态选择合适的模型分支。

2. 生僻字与异体字的合成增强

真实古籍样本中，生僻字出现频次低，但种类极多。单靠人工标注难以覆盖。可采用字体合成、字形扰动、笔画腐蚀膨胀、随机背景叠加等方式生成训练样本，提升模型对低频字的识别鲁棒性。

3. 利用上下文先验降低误识

古籍文本通常具有较强句式规律。例如地方志中的行政建制、人物传记中的官职名、佛经中的固定句式等。可在语言模型中加入领域先验，使模型在“官员名称”与“地名”等低熵场景下减少字形相近导致的错误。

五、工程化落地建议

如果要在高校、档案馆或企业中部署古籍识别能力，建议遵循以下路径。

第一步：建立小规模金标测试集

从实际项目中抽取约100至200页具有代表性的图像，覆盖不同版式、字体与噪声条件，由专业人员完成逐字校对，形成金标测试集。后续任何模型升级或参数调整，都应先通过该测试集验证。

第二步：以端到端效率为优化目标

不要只盯着单字识别率。应统计从图像输入到最终校对完成的人均耗时。即使单字识别率相同，版面顺序错误更少的系统，整体效率也可能高出数倍。

第三步：保留图像-文本对照能力

校对界面应能高亮显示当前文本对应的原始图像区域，并支持点击跳转。这样校对人员无需在多个窗口间来回比对，尤其适合处理行间小注、眉批等易错位置。

第四步：建立生僻字补录与字库扩展机制

即使字库覆盖再广，仍可能遇到未见字形。系统应提供便捷的补录入口，允许用户从原始图像中截取字形并录入编码。补录结果应能沉淀为机构级字库资产，而不是停留在单次任务中。

第五步：将识别结果接入后续研究流程

识别文本最终需要用于检索、统计、版本比对、引用输出等任务。建议输出采用结构化格式，保留页码、栏位、正文/批注角色标记，便于后续文献管理系统直接消费。

六、如何判断方案是否适合自身项目

不同项目的古籍识别需求差异很大。选择方案前，可以先回答以下问题：

1. 处理对象是刻本、稿本还是两者混合？
2. 是否需要保留批注与正文的层级关系？
3. 对异体字是保留原形还是允许归一化？
4. 单批处理量是几十页、几千页还是持续增量？
5. 校对团队的人力配置与专业背景如何？
6. 部署形态要求是本地化、私有化还是在线服务？
7. 是否需要与已有文献库、检索平台或研究工具对接？

将这些问题回答清楚后，再结合小规模实测数据，往往能得到比单纯比较“宣传识别率”更可靠的判断。

七、未来趋势：从单页识别走向全流程古籍理解

随着文档智能技术的发展，古籍识别正在从“图像转文字”走向更深层的语义理解。未来的系统可能具备以下能力：

• 自动识别版本与刻印年代；
• 自动发现避讳字与版式特征；
• 自动将批注与正文建立引用关系；
• 自动抽取人名、地名、官职、事件等实体；
• 自动生成结构化目录与索引；
• 支持跨版本异文比对与校勘建议。

在这些能力中，高精度文字识别仍是基础。只有把基础字符与版面信息提取准确，后续的语义理解与知识组织才有可靠输入。

对于古籍数字化项目而言，最值得追求的不是“单字识别率达到某个数字”，而是让研究者从繁琐转录中解脱出来，把精力放回版本考订、史料分析与学术判断上。技术选型时，应围绕这一目标，建立一整套覆盖字符覆盖、版面理解、噪声适应、校对效率与流程兼容性的评估方法，并以小规模实测数据作为最终决策依据。