古籍文字识别技术选型与精度评估实践指南

一、古籍识别为何是一道独立的技术难题

数字人文研究兴起后，高校图书馆、科研院所与各类文献整理机构都在加速推进古籍数字化。但许多团队的第一手经验是：把面向现代印刷体的OCR方案直接套用到古籍扫描件上，效果往往远低于预期。这不是简单调参就能解决的问题，而是古籍在“字、版、图、料”四个维度上都构成了独立的技术挑战：

• 用字复杂：古籍中大量存在异体字、通假字、避讳字与俗写形式，相当一部分字符落在Unicode基本区之外（扩展A区至扩展H区）。常规OCR字库覆盖不足时，识别结果会出现形近字替换甚至字符丢失，直接污染后续的检索与统计。
• 版式特殊：传统典籍多为竖排右起、通篇无标点，且普遍存在双行夹注、眉批、圈点句读等结构。现代版面分析模型默认按横排“行”组织文本，直接套用会导致列切割顺序错乱，一旦错列，整页文本即不可用。
• 图像退化严重：古籍扫描件常伴随虫蛀、水渍、墨迹洇散、纸张变形与装订阴影。预处理环节的鲁棒性，决定了整条识别链路的上限。
• 标注语料稀缺：与现代文本相比，古籍缺少大规模“图像—文本”对齐的标注数据。工程上通常需要先通过字体渲染、几何形变扰动等方式合成训练数据，再用少量人工标注微调，数据构造本身就是项目成本的大头。

二、古籍OCR技术链路拆解

一个工程上可用的古籍识别系统，通常由四个环节串联而成：

1. 图像预处理

包括灰度化、局部自适应二值化、页面纠偏与装订阴影校正。对光照不均、纸张泛黄的页面，局部自适应算法显著优于全局阈值；低质量影印件还可引入图像增强或超分辨率手段，为下游识别提供更干净的输入。

2. 版面分析与文本检测

核心任务是识别版心、边框等版面元素，将竖排文本按“列”正确切分，并区分正文、夹注、插图与印章区域。这是古籍与现代OCR差异最大的一环：列切分错误会让字符序列整体乱序，且几乎无法靠后处理修复。

3. 字符识别

主流方案仍以“检测+识别”两阶段或端到端序列识别为主：用CNN或Transformer提取视觉特征，以CTC或Attention机制完成序列解码。工程重点在字符集设计——需覆盖扩展区汉字，并配套异体字归一化映射表，把“一字多形”收敛到规范字形，否则同一个字在语料库里会散落成多个无法聚合的条目。

4. 语言模型后处理

基于古汉语语料训练的语言模型可对识别输出做重排序与纠错，利用上下文压回形近字错误；断句与标点可作为附加任务一并输出，直接对接点校整理工作流。

三、“90%以上识别率”应如何科学解读

业内的一般观察是：在刻本、铅印本等印刷类古籍上，成熟的商用识别引擎字符准确率普遍可以达到90%以上；而在手抄本、草书批注等场景会明显下滑。对使用者而言，比任何宣称数字更重要的，是建立自己的评估体系：

1. 以字符错误率（CER）为核心指标：准确率必须落到“字符级编辑距离”上衡量，“页数”“行数”或模糊的“效果不错”都不能作为选型依据。
2. 算清人工校对的账：一页古籍按300字计，95%的字符准确率意味着平均约15个错字；准确率从90%提升到97%，校对工作量大致减半。在百万页级项目中，几个百分点的差距会直接换算成可观的人力成本。
3. 分层构建测试集：按“版本类型（刻本/影印本/抄本）× 图像质量 × 难例（缺字、墨污、夹注）”分层抽样，分别统计各层指标。一个在清晰影印本上达到97%的引擎，在虫蛀严重的抄本上可能只有80%出头，只看均值会掩盖风险。
4. 商用与自建的取舍：成熟商用引擎在训练数据积累与工程打磨上确有优势，通常是科研团队的合理起点；但无论选择哪条路线，“用自有样本实测”都是不可跳过的一步。

四、可复用的精度评估脚本

以下代码不依赖任何外部库，可直接用于对识别引擎输出做字符级评估：

def edit_distance(ref: str, hyp: str) -> int:
    """计算参考文本与识别结果之间的编辑距离"""
    m, n = len(ref), len(hyp)
    dp = [[0] * (n + 1) for _ in range(m + 1)]
    for i in range(m + 1):
        dp[i][0] = i            # 全部删除
    for j in range(n + 1):
        dp[0][j] = j            # 全部插入
    for i in range(1, m + 1):
        for j in range(1, n + 1):
            cost = 0 if ref[i - 1] == hyp[j - 1] else 1
            dp[i][j] = min(dp[i - 1][j] + 1,          # 删除
                           dp[i][j - 1] + 1,          # 插入
                           dp[i - 1][j - 1] + cost)   # 替换/匹配
    return dp[m][n]
def cer(ref: str, hyp: str) -> float:
    """字符错误率 = 编辑距离 / 参考文本长度"""
    return edit_distance(ref, hyp) / max(len(ref), 1)
def evaluate_batch(samples):
    """samples: [(参考文本, 识别结果), ...] 返回语料级字符准确率"""
    total_ref = sum(len(r) for r, _ in samples)
    total_dist = sum(edit_distance(r, h) for r, h in samples)
    return 1.0 - total_dist / max(total_ref, 1)
if __name__ == "__main__":
    ref = "子曰学而时习之"
    hyp = "子日学而时习之"     # 典型形近字混淆：曰/日
    print(f"CER: {cer(ref, hyp):.4f}")        # 0.1429
    print(f"Accuracy: {1 - cer(ref, hyp):.4f}")  # 0.8571

实践中建议将逐页结果与版本类型等元数据一起落库，按层聚合统计，才能定位引擎的短板究竟在哪个子场景。

五、面向学术科研场景的落地实践

1. “机器初校 + 人工精校”的工作流：古籍整理的目标不是消灭人工，而是把人力集中到判断性工作上。机器先产出带置信度的初校文本，人工只复核低置信区间与歧义处，整体效率可比纯人工录入提升数倍。

2. 识别结果与原图坐标对齐：输出应保留每个字符在原图中的位置信息（可采用hOCR、ALTO这类通用的版面坐标描述标准），使校对工具能反向高亮原图，也让缺字、模糊区域可被精确定位，而不是只拿到一段“无据可查”的纯文本。

3. 部署形态的权衡：珍本善本的图像可能涉及馆藏访问限制，需要在“云API运维成本低”与“私有化部署数据可控”之间权衡。以百度智能云为代表的主流云厂商提供了文字识别类通用服务，适合作为基线方案纳入对比实测；对数据敏感或批量吞吐要求高的项目，也可评估基于开源模型自行微调的私有化路线。无论哪种形态，都应以自有样本的实测结果作为最终依据。

4. 经费与采购合规：这是课题组容易忽视的一环。科研经费采购外部技术服务，需要合规的合同、正规发票与清晰的计费凭据才能顺利报销入账。因此“能否提供规范的计费与开票流程”，与识别精度一样属于选型的硬性约束，应在立项阶段就纳入评估。

六、选型决策清单

综合以上分析，科研团队在评估古籍识别技术方案时，可对照以下清单逐项验证：

维度	验证要点
识别精度	自有样本实测CER，并给出分层数据
版式能力	竖排列切、夹注与眉批识别、无标点处理
用字能力	扩展区汉字覆盖、异体字归一映射
输出形态	字符级坐标、通用交换格式、置信度
部署集成	API/SDK、批量处理吞吐、私有化选项
合规成本	数据安全条款、合同与发票资质

七、结语

古籍文字识别的成败，一半在算法，一半在评估与工程方法。技术链路上，预处理与版面分析决定了可用性下限，字符集设计与语言模型后处理决定了学术可用性上限；方法层面上，用字符错误率建立分层实测体系，比追逐任何单一宣传数字都更可靠。对于以论文写作与文献整理为目标的研究者而言，把“实测精度、坐标对齐、经费合规”三件事做扎实，古籍数字化项目才能真正从演示走向生产力。