古籍OCR识别率提升路径与工程实践指南

一、问题背景：为什么古籍识别比通用OCR难一个量级

通用文档OCR在过去几年已相当成熟，印刷体简体中文的识别率普遍可达98%以上。但把同一套模型直接搬到古籍场景，识别率往往断崖式下跌。原因不在于”模型不够大”，而在于古籍文本的统计分布与通用语料存在系统性偏差。

第一，字符集规模差异巨大。 现代汉语常用字约六千余个，而古籍中出现的繁体字、异体字、俗字、避讳字、合文等，累计可达十几万量级。仅《国标 GB18030-2022》收录的常见繁体及异体汉字就有27533个，远超通用OCR模型的输出词表覆盖范围。模型没见过的字，无从谈起识别。

第二，版式与成像条件复杂。 古籍多为竖排右起、双行夹注、眉批、鱼尾、界栏并存，且扫描件常伴随纸张老化、墨色洇散、虫蛀破损、装订阴影等问题。通用OCR的文本行检测假设（横排、单栏、清晰边界）在此基本失效。

第三，缺少语言先验。 现代文本可以借助大规模语料做语言模型纠错，而古籍用词古奥、专名密集、语法结构特殊，通用语言模型的纠错能力有限，甚至可能”纠正”成错误的现代词。

因此，古籍OCR不能简单视为”通用OCR换个模型”，而应作为一套字符集分层 + 版式适配 + 后处理校正 + 人工复核的完整工程体系来设计。

二、识别率的分层评估方法

在讨论”识别率95%”这类指标前，必须先明确评估口径。实践中建议按字符集分层统计，避免单一指标掩盖短板：

字符层级	典型范围	评估重点
常用字层	约6763个常用汉字	基础可用性，目标99%以上
扩展繁体异体层	约27533个常见繁体异体字	学术可用性，目标95%以上
生僻俗字层	地方俗字、避讳字、合文等	长尾覆盖，关注召回与可补录性
版式结构层	竖排、夹注、眉批	阅读顺序与字段归属正确率

评估时应使用按字符加权的准确率（而非按行），并单独统计生僻字召回率。一个常见误区是：整体字符准确率很高，但错误集中分布在少数生僻字上，而恰恰是这些字决定了古籍文本的学术价值。

三、字符集分层策略：从”认识”到”认得准”

3.1 词表覆盖是前提

识别系统的输出空间由字符词表决定。若词表仅覆盖常用字，遇到异体字只能输出形近的常用字，产生系统性错讹。工程上应按字符集分层构建词表：

• 基础层：常用汉字全集，保证日常文本无遗漏；
• 扩展层：纳入国标扩展区的繁体、异体字，覆盖学术文本主体；
• 长尾层：通过可扩展字符查询与补录机制兜底。

需要强调的是，词表扩容不是简单加类别数，还要同步补充对应字符的训练样本，否则新增类别因缺乏监督信号而识别不稳。

3.2 生僻字的长尾处理

即便词表足够大，长尾字符的样本稀缺仍是硬约束。可行的工程思路是：

1. 置信度分流：对低置信度字符单独标记，进入人工复核队列，而非强行输出；
2. 字符查询补录：提供按部首、笔画、Unicode 区间检索的全字库查询工具，支持人工快速定位并录入；
3. 上下文约束：利用古籍专用词典与专名表做候选重排，降低形近混淆。

一个简化的置信度分流逻辑示意如下：

def route_by_confidence(chars, threshold=0.85):
    auto, review = [], []
    for ch in chars:
        if ch.confidence >= threshold:
            auto.append(ch)
        else:
            review.append(ch)  # 进入人工复核队列
    return auto, review

这样做的价值在于：把有限的人工精力集中在真正困难的字符上，而不是全篇逐字校对。

四、版式分析：识别率之外的”结构正确率”

古籍数字化的产出不只是字符串，还包括阅读顺序与结构信息。竖排右起文本若按横排模型处理，会出现整行错序；双行夹注若未识别为注文，会被错误拼接进正文。

工程上通常采用”检测—排序—归属”三段式流程：

• 版面检测：识别界栏、文本列、眉批区域、印章区域；
• 阅读顺序还原：按列从右至左、列内从上至下的规则排序，夹注单独成块；
• 字段归属：将注文、批语与正文建立层级关系，输出结构化文本（如带层级的 JSON）。

结构错误往往比单字错误更隐蔽，也更难被后续人工发现，因此应纳入验收指标单独统计。

五、后处理与人工复核的协同设计

高识别率不等于零人工。成熟的古籍数字化流程通常采用”机器识别 + 分级复核”的模式：

1. 自动校正层：基于古籍专名库、异体字归并规则做保守校正，仅在高置信度时替换；
2. 分级复核层：按置信度与字符层级排序，优先复核生僻字与结构异常块；
3. 版本留痕：保留原始识别结果与人工修改记录，便于追溯与质量审计。

需要提醒的是，自动校正应保持”保守”原则。古籍中大量异体字本身具有版本学价值，过度归一化会损失文献信息。校正规则应可配置、可关闭。

六、工程落地的几点实践建议

其一，明确验收口径。 在项目启动阶段就约定字符集分层准确率、结构正确率、生僻字召回率三项指标及抽样方法，避免验收时口径分歧。

其二，优先解决成像质量。 分辨率、去噪、去阴影、纠偏等预处理对最终识别率的影响，往往大于模型层面的微调。建议在预处理环节设置质量门禁，低质量图像先退回重扫。

其三，把人工复核当作系统组件而非补丁。 复核界面的效率直接决定项目成本。支持原图与识别结果对照、快捷键录入、字符查询联动，能显著降低单位字符的复核耗时。

其四，关注数据治理与合规。 古籍影像与转录文本涉及馆藏方权益，采集、存储、传输环节应做好权限控制与审计日志，转录成果建议按版本化管理，便于长期维护与再利用。

七、小结

古籍OCR的识别率提升，本质是一个”字符集覆盖 + 版式适配 + 置信度分流 + 人工协同”的系统工程问题，而非单一模型指标。开发者应从分层评估口径出发，先补齐词表与样本覆盖，再解决结构与长尾问题，最后通过分级复核把人工成本控制在可接受范围。对于学术场景，还应兼顾异体字信息的保留与成果的可追溯性。把这几个环节打通，古籍数字化才能真正从”能识别”走向”可交付、可复用”。