古籍OCR技术选型指南：从版面分析到异体字识别的工程实践

一、为什么通用OCR在古籍场景下会失效

做古籍数字化的人大多有过类似体验：拿一款通用OCR工具去识别现代印刷体文档，准确率可以轻松跑到97%以上；但一旦换成明清刻本、民国抄本，识别结果往往惨不忍睹。这不是某个工具的个别问题，而是通用OCR的模型假设与古籍的实际特征之间存在系统性错配。

具体而言，古籍OCR面临以下几类核心挑战：

1. 字符集规模差异巨大。 现代简体中文常用字约六千余个，GB2312字符集收录6763个汉字即可覆盖绝大部分场景。而古籍中仅异体字一项就超过十万量级，再加上通假字、避讳字、俗字、碑别字，实际需要覆盖的字形种类远超通用OCR模型的输出空间。通用模型遇到未登录字时，通常会退化为形近字或直接输出占位符。

2. 版面结构高度复杂。 古籍常见筒子页、半筒子页、多栏排版、眉批、夹注、旁注等版式，正文与注释的边界往往依赖字号、位置和语义综合判断。通用OCR的版面分析模型主要针对现代文档的单栏/双栏结构训练，面对“上下分栏带夹注”这类版式时，极易将注释混入正文，或把竖排文字的行序搞反。

3. 阅读顺序非线性。 古籍遵循“从右至左、从上到下”的阅读顺序，且批注与正文之间存在空间对应关系。通用OCR默认的从左到右、从上到下的输出顺序，在古籍场景下会产生严重的语义错乱。

4. 图像质量退化严重。 古籍扫描件常存在纸张泛黄、墨迹洇散、虫蛀残损、折痕遮挡等问题，二值化处理后笔画断裂或粘连是常态。

因此，古籍OCR不是“通用OCR加一个古籍词典”就能解决的问题，而是需要从版面分析、字符识别到后处理全链路针对性设计的工程任务。

二、古籍OCR系统的核心技术模块

一个完整的古籍OCR系统通常包含以下流水线阶段：

输入图像 → 预处理 → 版面分析 → 文本行检测 → 字符识别 → 后处理与映射 → 结构化输出

每个阶段都有其独特的技术挑战，下面逐一展开。

2.1 图像预处理

预处理的目标是在不丢失关键笔画信息的前提下，尽可能提升图像质量。常见操作包括：

• 去噪与去背景：采用自适应二值化或基于深度学习的去噪模型，处理纸张泛黄、水渍、透印等问题。
• 几何校正：对倾斜扫描、页面弯曲进行矫正，避免文本行扭曲影响后续检测。
• 分辨率增强：对低分辨率扫描件进行超分重建，恢复笔画细节。

需要注意的是，预处理阶段过度处理可能破坏异体字的细微笔画差异，因此参数调优需要结合具体古籍类型进行。

2.2 版面分析

版面分析是古籍OCR区别于通用OCR的关键环节。其任务是将页面划分为正文区、注释区、批注区、图表区等语义区域，并确定各区域的阅读顺序。

技术上，现代版面分析通常采用基于深度学习的目标检测或语义分割模型。针对古籍场景，模型需要额外学习以下特征：

• 栏线检测：识别版框、界行，判断单栏、双栏或多栏结构。
• 字号与字体区分：正文通常字号较大，注文较小；批注可能使用行草或朱色。
• 空间关系建模：判断批注与正文的对应关系，例如眉批对应哪一列正文。

一个常见的工程实践是采用“先分割、后排序”的策略：先通过语义分割得到各区域掩码，再根据区域的空间位置和类型，按照古籍阅读规则生成阅读顺序序列。

2.3 文本行检测与字符识别

在版面分析确定区域后，需要在区域内检测文本行，进而识别字符。古籍文本行检测的难点在于：

• 竖排文本的行方向与通用横排模型不兼容；
• 行间距不均匀，存在双行小注（即一行正文下附两行小字注释）；
• 残损导致行断裂。

字符识别阶段，针对古籍的模型通常采用以下策略：

• 大规模字符集分类：输出层覆盖数万至十万量级的字形类别，包括异体字、俗字等。
• 注意力机制与序列建模：采用CRNN或Transformer类架构，利用上下文信息消歧。例如，“脈”与“脉”在不同语境下可能对应不同标准字形，序列模型可以根据前后文判断用字意图。
• 数据增强：通过合成古籍风格数据、模拟残损与噪声，扩充训练样本。

2.4 后处理与字形映射

识别出的原始字符序列需要经过后处理才能用于学术研究。后处理包括：

• 异体字标准化：将识别出的异体字映射到标准字形，同时保留原始字形信息。
• 通假字标注：结合上下文判断是否为通假用法。
• 格式化输出：按照用户需求输出为纯文本、JSON、XML（如TEI标准）等格式，保留版面结构信息。

三、古籍OCR方案选型的关键评估维度

面对市场上多种技术方案，研究团队在选择时应从以下维度进行系统评估：

3.1 字符覆盖能力

需确认方案支持的字符集规模，尤其是异体字覆盖数量。一个可靠的指标是：在目标古籍语料上的未登录字率。建议用团队实际处理的古籍样本进行测试，统计无法识别或识别错误的字符比例。

3.2 版面分析准确率

评估方案对目标版式的支持程度。如果团队主要处理多栏带批注的刻本，就需要重点测试该版式下的正文/注释区分准确率。可以设计如下评估指标：

• 正文区域召回率与准确率
• 注释区域召回率与准确率
• 阅读顺序正确率

3.3 识别准确率

识别准确率需分场景评估：

• 规范典籍（如刻本、精抄本）：关注整体字符准确率；
• 模糊抄本（如民国抄本、残损页）：关注鲁棒性；
• 特殊用字（如医书中的药名、穴位名）：关注专业领域的识别表现。

3.4 输出结构与可集成性

方案是否提供结构化输出（如区域坐标、阅读顺序、批注对应关系）？是否提供API或SDK便于集成到现有工作流？输出格式是否兼容学术研究常用的标注工具？

3.5 数据安全与合规

古籍数字化项目常涉及珍贵文献，需确认方案是否支持本地化部署或私有云部署，数据传输与存储是否符合相关合规要求。

四、工程实践建议

4.1 建立领域评测集

在正式选型前，建议团队从自身项目中抽取一批具有代表性的古籍页面，人工标注真值，构建小型评测集。评测集应覆盖不同版式、不同年代、不同保存状态。用同一评测集横向对比多个方案，可以获得最贴近实际需求的结论。

4.2 采用“机器初识 + 人工精校”的混合流程

即使识别率达到95%以上，学术研究场景下仍需人工校对。合理的流程是：

1. 机器识别输出带置信度的结果；
2. 人工优先校对低置信度区域；
3. 校对结果反哺模型微调（如方案支持）。

4.3 保留原始版面信息

在输出文本的同时，保留字符或文本行的坐标信息。这为后续的版本校勘、批注关联分析提供了基础数据。建议输出格式采用包含坐标与阅读顺序的JSON结构，便于二次开发。

4.4 关注长期可维护性

古籍数字化是长期工程，选型时需考虑方案的持续更新能力、社区活跃度、文档完整性。避免选择已停止维护或更新缓慢的工具。

五、总结

古籍OCR是一项涉及图像处理、版面分析、序列识别与领域后处理的系统工程。通用OCR工具在古籍场景下失效，根源在于字符集规模、版面复杂度与阅读顺序的非线性。研究团队在选型时，应围绕字符覆盖、版面分析、识别准确率、输出结构与合规性等维度进行系统评估，并通过自建评测集获得客观结论。

从技术趋势看，基于大规模预训练模型的古籍OCR方案正在逐步成熟，异体字识别与版面理解能力持续提升。对于中医古籍、历史文献等领域的数字化项目，建议优先考虑具备专业字符集覆盖与复杂版面处理能力的方案，同时建立“机器初识 + 人工精校”的可持续工作流，在效率与学术严谨性之间取得平衡。