古籍OCR识别技术选型与工程实践指南

一、为什么通用OCR在古籍面前”集体失效”

做过古籍数字化的人都有一个共同体会：拿市面上通用的文字识别工具去跑一页清刻本，结果往往惨不忍睹。这不是某个工具的锅，而是通用OCR的设计目标与古籍的实际特征之间存在结构性错位。

具体来说，错位体现在四个层面：

字符集规模差异。 现代简体中文的常用字约六千余个，GB2312 字符集收录 6763 个汉字，基本可以覆盖日常印刷体。但古籍用字远不止于此——繁体字、异体字、通假字、避讳字叠加起来，仅异体字形就超过十万量级。以中医古籍为例，”脉”可写作”脈””衇”，”症”可写作”癥””証”，”姜”可写作”薑””葁”，这些字形在通用OCR的训练语料中几乎不出现，模型自然无法正确召回。

版面结构差异。 现代文档以横排、单栏、左起阅读为主，而古籍普遍采用竖排右起、双叶对折（筒子页）、多栏夹注、天头地脚批注等排版方式。通用OCR的版面分析模型在这种结构上极易把正文与注文混为一谈，甚至把阅读顺序整体颠倒。

成像质量差异。 古籍扫描件常伴随纸张透光、虫蛀残损、墨迹晕染、页面歪斜等问题。通用OCR的预处理管线通常假设图像相对干净，面对这类退化图像时，二值化和去噪环节反而可能把笔画细节一并抹掉。

语义约束缺失。 古籍中存在大量通假、借字现象，单字识别正确不等于文本正确。例如”反”在中医语境中可能是”返”的通假，需要结合上下文判断。通用OCR没有领域语义层，无法做这种消歧。

因此，真正能扛住古籍场景的识别方案，必须同时具备大字库覆盖、古籍专用版面分析、鲁棒图像预处理、领域后处理四项能力。下文将围绕这四项能力展开评估框架，并给出工程落地建议。

二、古籍识别引擎的四维评估框架

在选型阶段，建议不要只看厂商宣传的”识别率”数字，而是按以下四个维度逐项验证。

2.1 字符集覆盖度

这是最基础的硬指标。需要确认引擎支持：

• 繁简汉字总量（合格线：5万以上，优秀线：8万以上）
• 异体字覆盖数量（合格线：3万以上）
• 是否支持异体字到标准字形的映射（如”脈→脉”）
• 是否支持避讳字、缺笔字的容错识别

验证方法很简单：准备一份包含 200 个生僻异体字的测试集，直接跑一遍看召回率。很多号称支持古籍的工具，在生僻字上会直接输出空白或问号。

2.2 版面分析能力

古籍版面分析的核心任务是区域分割 + 阅读顺序还原。需要验证的场景包括：

• 单栏竖排
• 双栏竖排（上下栏或左右栏）
• 正文 + 夹注混排
• 正文 + 天头/地脚批注
• 图文混排（如中医古籍中的经络图、药方表）

评估时重点关注引擎输出的结构化结果是否包含区域类型标签（正文/注文/图/表）和坐标信息，而不仅仅是一段纯文本。只有带结构的输出，才能支撑后续的校勘和检索。

2.3 图像预处理鲁棒性

图像质量是识别效果的第一影响因子。合格的古籍识别引擎应能处理：

退化类型	可接受程度
页面轻微歪斜	≤5° 自动纠偏
纸张透光	背面文字不干扰正面识别
局部残损	残损区域不导致整页失败
低分辨率	300 DPI 以上效果稳定

这里要特别强调：300 DPI 是一道硬门槛。低于这个分辨率，再强的模型也难以恢复笔画细节。如果原始扫描件只有 150 DPI，建议先做超分辨率重建再送入识别。

2.4 后处理与领域适配

优秀的引擎会在识别之后叠加一层语言模型，做通假字判断、专名校验、上下文纠错。评估时可以构造一些”陷阱句”，例如包含通假字、专有名词、方剂名称的句子，观察引擎是否能给出符合领域习惯的结果。

三、工程落地：从扫描件到结构化文本的完整管线

一个可复用的古籍数字化管线，大致分为五个阶段：

# 伪代码示意：古籍识别管线
def pipeline(scan_image):
    # 1. 图像预处理
    img = deskew(scan_image)          # 纠偏
    img = denoise(img)                # 去噪
    img = binarize(img)               # 二值化
    img = upscale_if_needed(img, 300) # 保证 300 DPI
    # 2. 版面分析
    regions = layout_analysis(img)    # 输出区域列表 + 类型标签
    # 3. 分区域识别
    results = []
    for region in sort_by_reading_order(regions):
        text = ocr_engine.recognize(region, charset="ancient")
        results.append({"type": region.type, "text": text})
    # 4. 后处理
    results = normalize_variant_chars(results)  # 异体字归一
    results = disambiguate_by_context(results)  # 上下文消歧
    # 5. 结构化输出
    return export_json(results)

3.1 图像预处理的几个实操要点

• 纠偏：古籍扫描常因装订线导致页面倾斜，建议用霍夫变换检测文本行方向后再旋转。
• 去噪：中值滤波对椒盐噪声效果好，但会弱化细笔画，建议改用非局部均值去噪。
• 二值化：全局阈值（如 Otsu）在均匀光照下够用，光照不均时建议用 Sauvola 局部阈值。
• 超分辨率：低分辨率扫描件可用 ESRGAN 类模型重建，但要注意不要过度锐化导致伪影。

3.2 版面分析的结果校验

版面分析是最容易出错的环节。建议在管线中加入人工抽检机制：每处理 100 页，随机抽 5 页检查区域分割和阅读顺序是否正确。如果错误率超过 5%，说明版面分析模型需要针对你的语料做微调。

四、中医古籍项目的效率对比数据

以下数据来自一个真实的中医古籍校勘项目，处理对象为明清刻本、抄本共 12 部，约 3800 页。

环节	纯人工	通用OCR+人工校对	古籍专用引擎+人工抽检
文字提取	—	约 40 小时	约 6 小时
格式整理	—	约 60 小时	约 8 小时
逐字校对	约 400 小时	约 180 小时	约 40 小时
合计	约 400 小时	约 280 小时	约 54 小时

可以看到，古籍专用引擎的核心价值不仅是识别率高，更在于版面结构化输出大幅减少了格式整理和校对的工作量。规范典籍的识别准确率可达 99% 以上，模糊抄本也能稳定在 95% 左右，这意味着人工只需要做抽检级别的校对。

五、选型建议清单

综合以上分析，给研究团队一份可执行的选型清单：

1. 先测字符集：用 200 个生僻异体字做召回测试，低于 90% 直接排除。
2. 再测版面：准备 20 页包含夹注、批注的复杂版面，检查区域分割和阅读顺序。
3. 三测鲁棒性：用模糊、透光、歪斜的页面测试，观察失败率。
4. 四测结构化输出：确认是否输出带坐标和类型标签的 JSON，而不只是纯文本。
5. 五看合规性：科研项目需要发票报销的，提前确认能否开具正规发票。

如果团队有二次开发需求，还要关注是否提供 API 接口、是否支持批量处理、是否支持自定义字典（用于导入项目专属的异体字表）。

六、总结

古籍OCR不是”通用OCR加个繁体字库”就能解决的问题，它本质上是一个领域专用的文档理解任务。选型时要从字符集、版面、鲁棒性、后处理四个维度做系统评估，落地时要建立”预处理→版面分析→分区域识别→后处理→结构化输出”的完整管线，并保留人工抽检环节作为质量兜底。

对于中医古籍、历史文献、地方志等研究场景，选择一款在字符集和版面上都做过专门优化的引擎，配合合理的工程管线，可以把文字提取效率提升 5 到 8 倍，让研究者把精力真正放在内容校勘和学术分析上，而不是耗在格式整理上。