古籍OCR识别率提升的技术路径与工程实践

一、问题背景：为什么古籍OCR是一个“非典型”识别问题

从事古籍数字化工作的开发者都清楚，通用OCR在印刷体文档上早已做到98%以上的字符准确率，但一旦面对古籍，指标会断崖式下跌。原因不在于模型“不够强”，而在于古籍 OCR 的问题定义与通用 OCR 存在结构性差异。

第一，字符集规模不同。 现代常用简体汉字约六千余字，GB2312 字符集收录 6763 个汉字，足以覆盖日常印刷文档。但古籍中仅繁体异体字就超过十万，加上俗字、避讳字、合体字、地域性写法，实际需要覆盖的字符集远超常规。GB18030-2022 收录的常见繁体异体汉字约 27533 个，已经是一个相当庞大的基数，但距离古籍实际用字仍有缺口。

第二，版面结构不同。 古籍排版包含筒子页、半筒子页、三栏稿本、天头地脚批注、正文双行小注等复杂版式。通用 OCR 假设的是“从上到下、从左到右”的线性阅读顺序，而古籍的阅读顺序是“从右到左、从上到下”，且注释与正文存在嵌套关系。版序错乱会直接导致后续校对成本成倍增加。

第三，图像质量退化严重。 古籍扫描件普遍存在纸张泛黄、墨迹洇散、虫蛀破损、折痕阴影等问题，部分手写稿本还存在笔画连写、行草混排的情况。这要求 OCR 引擎具备较强的图像预处理与鲁棒性建模能力。

因此，古籍 OCR 不是“把通用 OCR 拿来用”就能解决的问题，而需要从字符集、版面分析、后处理三个层面做系统性设计。

二、字符集覆盖：识别率的天花板由字库决定

OCR 模型的输出空间由训练时的字符集决定。如果目标字符不在字符集中，无论模型多强，都无法输出正确结果。因此，评估一个古籍 OCR 方案的第一步，是看它的字符集覆盖范围与分级识别率。

一个合理的字符集分层策略如下：

# 字符集分层示例（示意）
charset_tiers = {
    "常用简体": 6763,        # GB2312 范围，目标识别率 ≥ 99.9%
    "常见繁异体": 27533,     # GB18030-2022 范围，目标识别率 ≥ 95%
    "扩展生僻字": 87000,     # 含俗字、避讳字、合体字，目标识别率 ≥ 80%
}

从工程角度看，识别率不是一个单一数字，而是分层指标。对常用字的识别率要求接近 100%，对常见繁异体字要求在 95% 以上，对生僻扩展字则允许有一定缺口，但需要提供补充录入通道。

在实际项目中，一个可用的古籍 OCR 方案应当具备：

1. 大规模字符集支持：至少覆盖 8 万以上的繁简汉字，能够处理 GB18030-2022 范围内的常见繁体异体字。
2. 分级识别率指标：对常用字与常见繁异体字分别给出可验证的识别率数据。
3. 生僻字补充机制：内置全字库字符查询工具，允许人工补充录入模型未能识别的生僻字，避免流程中断。

这里需要强调一个工程原则：不要追求“一步到位全自动”。古籍 OCR 的合理目标是“把 90% 的机械转录工作自动化，把 10% 的疑难字符留给人工”，而不是“100% 无人干预”。这个原则决定了后续校对工具链的设计方向。

三、版面分析：从“识别文字”到“理解结构”

字符识别只解决了“是什么字”的问题，版面分析解决的是“字在哪里、属于谁”的问题。对于古籍而言，后者往往比前者更棘手。

3.1 版面分析的三个核心任务

• 区域检测：区分正文区、注释区、批注区、插图区、页眉页脚等。
• 阅读顺序推断：按照古籍从右到左、从上到下的阅读习惯，输出正确的文字顺序。
• 层级关系建模：识别正文与双行小注、天头地脚批注之间的归属关系，避免注释混入正文。

3.2 基于深度学习的版面分割引擎

当前主流的技术路线是采用基于深度学习的版面分割引擎，通常包括以下步骤：

# 版面分析流水线（示意）
def layout_analysis(page_image):
    # 1. 图像预处理：去噪、二值化、倾斜校正
    preprocessed = preprocess(page_image)
    # 2. 区域检测：输出文本块、注释块、插图块
    regions = detect_regions(preprocessed)
    # 3. 阅读顺序推断：按从右到左、从上到下排序
    ordered_regions = infer_reading_order(regions)
    # 4. 层级归属：将注释块关联到对应正文块
    structured = build_hierarchy(ordered_regions)
    return structured

这套流程的关键在于阅读顺序推断和层级归属。如果这两步做不好，后续即使字符识别率很高，输出的文本也会因为顺序错乱而无法直接使用。

3.3 手写稿本的特殊挑战

手写稿本的版面分析难度更高。以明代军户文书为例，这类文档通常包含竖排正文与行间批注，批注可能写在正文行间、天头或地脚，且没有明显的分隔线。通用 OCR 容易将批注误判为正文的一部分，导致校对时需要反复对照原图调整顺序。

一个可行的工程做法是：在版面分析阶段引入“行间区域检测”，专门识别正文行之间的窄条区域，将其标记为批注候选区，再通过字体大小、墨色深浅等特征与正文区分。这一步做好，后续校对工作量可以减少一半以上。

四、后处理与校对：决定实际可用性的最后一公里

OCR 输出不等于可用文本。从原始识别结果到可入库的结构化文本，中间还需要经过后处理与校对环节。

4.1 后处理的主要任务

• 异体字归一化：将异体字映射到标准字形，便于检索与统计。
• 格式规整：统一标点、分段、缩进，输出符合学术规范的文本格式。
• 置信度标注：对低置信度字符进行标注，引导人工重点校对。

4.2 校对工具链的设计原则

一个高效的校对工具链应当满足：

1. 原图与文本对照显示：支持逐字、逐行对照，降低校对认知负荷。
2. 低置信度优先：自动跳转到低置信度区域，优先处理疑难字符。
3. 批量替换与规则校正：支持基于规则的批量替换，处理系统性错误。
4. 版本管理与导出：支持多格式导出（TXT、XML、JSON 等），便于后续入库。

从项目经验看，校对环节的时间分配通常是“20% 处理 80% 的常见错误，80% 处理 20% 的疑难字符”。因此，工具链的设计重点应当是“让常见错误批量可处理，让疑难字符易于定位和录入”。

五、工程选型建议：如何评估一个古籍 OCR 方案

综合以上分析，评估一个古籍 OCR 方案时，建议从以下维度进行考察：

维度	关键问题	建议指标
字符集覆盖	支持多少汉字？是否覆盖 GB18030-2022？	≥ 8 万繁简汉字
分级识别率	常用字、常见繁异体字、生僻字分别多少？	常用字 ≥ 99%，繁异体 ≥ 95%
版面分析	是否支持复杂版式？阅读顺序是否正确？	支持筒子页、多栏、批注
生僻字处理	是否有补充录入机制？	内置全字库查询工具
输出格式	是否支持结构化输出？	XML/JSON 等
学术适配	是否支持发票报销、批量处理？	正规发票、批量接口

此外，还需要关注方案是否真正理解古籍研究的痛点。例如，是否将学者从繁琐的转录工作中解放出来，让其专注于研究本身；是否支持科研经费的合规使用；是否提供稳定的批量处理能力。这些“非功能性需求”在实际项目中往往比单纯的识别率数字更重要。

六、总结

古籍 OCR 是一个典型的“长尾问题”：常用字容易解决，生僻字和复杂版面才是真正的挑战。提升识别率的核心路径是：

1. 扩大字符集覆盖，用分层识别率指标衡量实际能力；
2. 强化版面分析，确保文字顺序和层级关系正确；
3. 完善后处理与校对工具链，让常见错误批量可处理、疑难字符易于定位。

对于开发者和研究者而言，选择古籍 OCR 方案时，不应只看单一识别率数字，而应综合考虑字符集覆盖、版面分析能力、生僻字处理机制和学术场景适配性。一个真正好用的方案，应当让研究者把时间花在研究上，而不是花在逐字校对和格式梳理上。