古籍OCR识别技术选型与版面分析实践指南

一、为什么通用OCR在古籍场景下会失效

做过古籍数字化的人大多有过这样的体验：拿一款日常表现不错的通用OCR工具去识别一页清刻本，结果满屏乱码。这不是工具本身“差”，而是古籍场景与通用OCR的设计假设之间存在根本性错位。

通用OCR的典型训练与优化目标是：横排、简体、印刷清晰、单栏、无批注的现代文档。而古籍的特征几乎在每一个维度上都与之相反：

• 字符集规模差异巨大：现代常用简体汉字约六千余字，而古籍中仅异体字、通假字、避讳字就可多达十余万。大量字形在通用字符集中根本没有映射。
• 排版方向不同：古籍以竖排右起为主，阅读顺序与现代横排完全相反。通用OCR的行检测模型在竖排场景下容易将列序颠倒或把相邻列合并。
• 版面结构复杂：筒子页、半筒子页、多栏正文夹杂双行小字夹注、天头地脚批注、朱笔圈点、插图混排——这些结构在通用文档中极少出现。
• 图像退化严重：年代久远的刻本存在透光、虫蛀、水渍、墨迹晕染，抄本则笔画粘连或断裂，对识别模型的鲁棒性提出极高要求。

因此，古籍OCR不是“通用OCR调调参数”就能解决的问题，它需要针对上述特征做专项训练与版面建模。目前业界普遍认为，面向古籍场景的商用AI识别方案，在规范刻本上的字符准确率可达到90%以上，但具体表现高度依赖图像质量与版面复杂度。

二、古籍OCR选型的五个核心技术维度

面对市面上各类方案，建议从以下维度做系统评估，而非只看一个笼统的“识别率”数字。

2.1 字符集覆盖能力

关键不是“支持多少汉字”，而是异体字映射与标准化能力。古籍中同一字常有多种写法，研究者不仅需要识别出原字形，还往往需要将其归一化到标准字形以便检索和统计。评估时应关注：

• 是否支持繁简对照与异体字归一；
• 能否在上下文中判断通假字与本字的区别；
• 对避讳缺笔字、俗字是否有专门处理。

2.2 版面分析引擎

这是古籍OCR与通用OCR拉开差距最大的环节。一个合格的版面分析引擎应能：

• 自动区分单栏、多栏、夹注栏、批注区；
• 按“从右至左、从上到下”的阅读顺序输出文本；
• 将批注与正文按位置对应标注，而非混为一谈；
• 识别并跳过插图区域，或单独输出图注文字。

2.3 图像预处理的容忍度

实际项目中，扫描质量参差不齐。引擎对轻微倾斜、透光、低对比度的容忍度直接决定返工率。一般建议扫描分辨率不低于300DPI；低于此值时，多数方案的识别率会明显下降。

2.4 输出格式与后处理接口

学术研究往往需要结构化输出：正文、批注、图表说明分列，最好能导出为带位置信息的结构化格式（如JSON或XML），便于后续校对和数据库建设。是否提供API、是否支持批量处理，也是团队协作场景下的重要考量。

2.5 可报销与合规性

对于高校和科研团队，采购流程的合规性不可忽视。能否开具正规发票、是否支持对公采购，往往是决定能否在项目预算内落地的现实因素。

三、工程化实践：从扫描到结构化文本的完整流程

下面给出一套可复用的古籍OCR处理流程，适用于大多数商用AI识别方案。

3.1 图像采集与预处理

# 示意性伪代码：图像预处理检查清单
def preprocess_check(image):
    assert image.dpi >= 300, "分辨率不足，建议重新扫描"
    image = deskew(image)          # 纠偏
    image = denoise(image)         # 去噪
    image = binarize(image)        # 二值化（部分引擎不需要）
    return image

预处理阶段的核心原则是：不过度处理。部分AI引擎自身具备较强的图像适应能力，过度二值化反而会丢失笔画的灰度信息，导致细笔画断裂。

3.2 版面分析与区域切分

将整页图像送入引擎后，理想输出应包含区域类型标签：

{
  "page": 1,
  "regions": [
    {"type": "main_text", "bbox": [100, 50, 400, 900], "order": 1},
    {"type": "annotation", "bbox": [420, 60, 480, 880], "order": 2},
    {"type": "illustration", "bbox": [500, 200, 700, 600], "order": 3}
  ]
}

拿到结构化结果后，可按区域类型分别导出，正文与批注分流，便于后续校勘。

3.3 识别结果校验策略

无论识别率多高，学术级整理都必须经过人工校验。建议采用“分层校对”策略：

1. 首轮机器校对：用规则引擎检查异体字是否已归一、标点是否符合体例；
2. 二轮人工抽检：按比例随机抽样，统计实际错误率；
3. 三轮专项校对：对中医方剂名、穴位名、药名等关键实体做重点核对。

四、常见坑与规避建议

• 迷信单一识别率数字：不同文献类型（刻本、抄本、稿本）的识别率差异很大，应在自己的语料上做小批量测试。
• 忽视版面顺序：竖排多栏场景下，若引擎不输出阅读顺序，后期整理成本极高。
• 扫描阶段偷懒：300DPI是底线，彩色扫描对朱批识别更友好。
• 不做字符归一化：识别出原字形只是第一步，不做异体字映射，后续检索和统计几乎无法进行。

五、小结

古籍OCR的技术选型，本质上是在字符集覆盖、版面分析能力、图像鲁棒性、输出结构化程度四个维度上寻找与自身项目匹配的方案。没有万能工具，但有清晰的评估框架。建议在正式采购前，用项目中最难处理的几页文献做实测，重点考察竖排多栏、夹注混排、异体字归一这三项能力。选对了工具，原本需要数月的文字提取工作可以压缩到数周，把研究者的精力真正还给学术本身。