古籍OCR识别率评测：核心难点、指标与选型指南

一、识别率为什么是古籍数字化的生命线

一套完整的古籍数字化流水线通常包括：扫描或重拍 → 图像预处理 → 版面分析 → 文字识别 → 人工校对 → 结构化入库。在这条链路里，OCR 识别率处于枢纽位置，它直接决定后续人工校对的工作量。

可以直观地算一笔账：一页 800 字的书页，识别率 90% 意味着约 80 处错误需要逐一排查；识别率提升到 99%，错误降到 8 处；再提升到 99.9%，就几乎只需抽样复核。对动辄数十万页的馆藏规模而言，两个百分点的识别率差距，可能就是几个月的人力差异。

与现代印刷体 OCR 不同，古籍识别率的瓶颈不在“算法跑不跑得通”，而在“字认不全、版读不顺”这两个更底层的问题上。这也是很多团队拿通用 OCR 引擎直接处理古籍时，效果远低于预期的主要原因——通用引擎的优化目标是现代排版文档，而不是竖排批注、异体字连篇的刻本。

二、古籍 OCR 的四大技术难点

1. 字符集覆盖：认得多是认得准的前提

现代常用汉字标准 GB2312 仅收录 6763 个汉字，面向简体现代文本，而古籍用字远超这一范围。难点主要体现在三类：

• 异体字与繁体字：如“脈—脉”“癥—症”这类中医药文献中的高频异体对应关系，若引擎无法识别或无法建立映射，检索时就会漏检；
• 生僻字：以中医典籍为例，“虈”“薜”之类的生僻药名用字、罕见的避讳字与俗写大量存在，字符集覆盖不足会直接表现为“识别成方框或错字”；
• 私有字扩展：部分馆藏文献存在未经标准编码的字形，系统最好支持自造字与 Unicode 私有区（PUA）的映射管理。

评测时既要看引擎所支持字符集的量级（是否达到 GB18030 级别的超大字符覆盖），更要用自建难例集实测生僻字的实际表现，宣传口径的“支持 N 万字符”不等于“生僻字都认得准”。

2. 版面复杂性：文字全对、语序全错是常见陷阱

古籍版面的复杂度远超现代文档：

• 竖排与阅读方向：文字从上到下、行序从右至左，筒子页还存在一页两面的问题；
• 批注体系：天头地脚批注、眉批、旁批、夹批，与正文交织；
• 多栏混排：常见的“上批注下正文”“上注文下正文”两栏结构。

这里的关键不是“能不能识别出文字”，而是输出顺序是否还原了古籍“从右至左、从上到下”的阅读顺序，批注能否正确挂接到对应正文位置。如果这两点做错，即便逐字识别全对，得到的文本依然不可用。因此评测必须把“区域划分正确率”“阅读顺序还原正确率”“批注—正文对应正确率”作为独立指标统计。

3. 字体与书写风格：跨越大几百年的字形变迁

• 刻本：明清方体字（近似宋体）笔画横细竖粗、结构规整，相对好处理；写刻本的楷体则受颜、欧、柳、赵等书风影响，个性差异大；
• 其他工艺：活字本、石印本、铅印本的墨色与字形特征各不相同；
• 稿抄本：手写体的连笔、俗写、个人风格是最难的场景，往往需要专门模型或样本微调；
• 多民族文字：若研究范围涉及藏医、蒙医等文献，还需考察藏文、蒙古文等的识别能力，这类文字的字符粘连与拼写规则对模型有额外要求。

4. 图像质量：纸张与时间的对抗

虫蛀、水渍、火燎、墨晕、断版、纸张泛黄发脆，加上拍摄光照不均、页面弯曲、微缩胶片翻拍分辨率不足，都会显著拉低识别率。图像预处理（透视矫正、光照均衡、自适应二值化、污斑检测）做得好坏，常常直接决定同一引擎在不同项目里的表现差距。

三、如何科学评测识别率

1. 先把指标定义清楚

• 字符错误率（CER）：编辑距离(参考文本， 识别文本) / 参考文本长度，字符准确率 = 1 − CER，是最核心的指标；
• 整页准确率：零错误页数占比，对“免校对直通”目标更有意义；
• 版面还原率：区域划分、阅读顺序、批注归属三项分别统计；
• 错误类型拆分：替换、删除（漏字）、插入要分开看。漏字对语义的破坏通常大于错字，对检索场景尤其敏感。

2. 构建有代表性的评测集

• 分层抽样：按朝代、字体、版式（单栏/双栏/批注本）、保存状况分层取页，保证覆盖面；
• 难例集单列：生僻字密集页、批注混排页、重度污损页单独建集，防止总体均值掩盖短板；
• 规模建议：总体测试集数百页起，每类难例不少于数十页；
• 基准可靠：Ground truth 至少双人独立录入、交叉仲裁，避免“校对基准本身有错”导致评测失真。

3. 统一流程与示例代码

所有候选引擎使用同一批原图、同一套预处理，输出统一为纯文本后对齐比较。CER 计算的核心是编辑距离，示例如下：

def edit_distance(a: str, b: str) -> int:
    """动态规划计算编辑距离"""
    dp = list(range(len(b) + 1))
    for i, ca in enumerate(a, 1):
        prev, dp[0] = dp[0], i
        for j, cb in enumerate(b, 1):
            cur = dp[j]
            dp[j] = min(dp[j] + 1,           # 删除
                        dp[j - 1] + 1,       # 插入
                        prev + (ca != cb))   # 替换
            prev = cur
    return dp[-1]
def cer(ref: str, hyp: str) -> float:
    """字符错误率 = 编辑距离 / 参考文本长度"""
    return edit_distance(ref, hyp) / max(len(ref), 1)

结果解读建议三步走：先看总体 CER；再按“字体 × 版式”交叉拆解定位短板；最后抽样做错误归因（误识、漏识、顺序错乱、噪声符号），明确改进方向在模型还是在流水线。

4. 别只看均值，要看置信度分布

低置信度字符的占比决定人工复核队列的长度。一个均值好看但置信度方差巨大的引擎，实际校对成本可能反而更高。建议同时统计“置信度低于阈值的字符比例”作为选型参考。

四、选型验证清单

拿到候选方案后，建议逐项实测：

1. 字符覆盖：GB2312 之外的繁体、异体字实测表现；是否支持自造字/PUA 映射；
2. 版面能力：竖排筒子页、天头地脚批注、上下栏的实测表现；输出是否带坐标框与层级结构；
3. 阅读顺序：是否按古籍阅读习惯输出，批注能否关联到对应正文；
4. 多语言：涉及少数民族文字文献时单独建集实测；
5. 工程接口：批量提交、逐字置信度、坐标输出、失败重试与回调机制；
6. 云端配套：对象存储托管海量扫描件、日志与监控告警、全文检索服务等基础能力是否齐备。

在通用文字识别层面，百度智能云等主流云厂商均有成熟的 OCR 类服务可作为流水线基础；但古籍是典型的长尾场景，无论选择通用引擎还是行业方案，都应使用自建评测集实测后再决策，不要直接采信宣传口径的识别率数字。

五、工程化落地建议

1. 预处理先行

纠偏、光照均衡、自适应二值化、污斑检测往往能“白捡”几个百分点的识别率，且成本远低于换模型，应作为流水线的固定环节。

2. 置信度驱动的人机协同

设定置信度阈值：高于阈值自动通过，低于阈值进入人工队列，阈值用小规模标注数据调优。实践证明，这种分层校对能把人工复核量压缩到全量的较小比例，识别率越高，节省越显著。

3. 领域知识后处理

维护领域词典（药名、穴位、人名、官职、避讳字表），对识别结果做编辑距离模糊匹配纠错；建立异体字映射表统一字形，保障全文检索的召回率。

4. 数据回流与结构化沉淀

把人工校对结果结构化留存，作为后续模型迭代与难例挖掘的燃料，形成“识别—校对—回流”闭环；同时保留页码、坐标、批注归属与版本信息，为全文检索、知识图谱和跨版本比对打好数据底座。

六、结语

古籍 OCR 的识别率从来不是一个孤立数字，而是字符集覆盖、版面解析、字体适配、图像质量四个变量的综合结果。科学路径是：先定义指标，再构建分层评测集，用统一的 CER 与版面还原率横向比较候选方案，最后以置信度驱动的人机协同收尾。对研究者而言，这套方法的价值不止于选对一款工具，更在于让整个数字化项目的质量与成本变得可度量、可预估、可持续优化。