古籍OCR技术选型指南：从识别精度到版面理解的工程实践

一、问题的本质：为什么通用OCR在古籍上必然失效

做过古籍数字化的人都有一个共同体会：拿通用文字识别接口去跑一页清刻本，回来的结果往往惨不忍睹。这不是模型”不够好”，而是问题域本身发生了根本性变化。

字符集规模是第一道门槛。 现代简体中文的常用字不过六千余，GB2312 字符集收录 6763 个汉字即可覆盖日常文本的绝大部分场景。但古籍场景下，仅繁体异体字就超过十万量级，GB18030-2022 收录的常见繁体异体汉字就有 27533 个。通用 OCR 模型的分类头通常按数千类设计，面对大量未登录字符只能输出形近字或直接丢弃，错误率是结构性的，无法靠调参弥补。

版面结构是第二道门槛。 古籍排版包含筒子页、半筒子页、三栏稿本、天头地脚批注、正文双行小注等复杂形制。通用 OCR 假设的是现代横排单栏文档，其检测框合并逻辑和阅读顺序推断规则在古籍上会系统性地出错——批注混入正文、双行小注被拆成两段、从右到左的竖排被倒序输出，这些都是常见故障模式。

因此，古籍 OCR 的选型不能停留在”识别率多少”这一个数字上，而需要建立一套分层的评估框架：字符集覆盖能力、版面理解能力、后处理与人工校对工作流的协同效率。 三者缺一不可。

二、字符集覆盖：识别能力的硬边界

评估一款古籍 OCR 系统的字符集能力，建议从以下维度量化考察：

2.1 分级字符集支持

字符集层级	字符规模	典型要求识别率	适用场景
常用简体字集	~6763	≥99%	现代排印古籍整理本
常见繁体异体字集	~27533	≥95%	明清刻本、民国铅印本
扩展生僻字集	8万+	≥80%	地方志、俗字文献、写本

需要特别注意的是，声称支持大字符集与在实际文献上达到可用识别率是两回事。评估时应使用目标文献类型的真实样本做盲测，而非依赖厂商提供的标准测试集。

2.2 生僻字与避讳字的处理策略

古籍中大量存在地方俗字、避讳缺笔字、异体通假字。一个成熟的工程方案通常采用”主模型识别 + 全字库补充录入”的双通道设计：

输入图像
  │
  ▼
┌─────────────────┐
│ 主OCR模型推理    │──→ 高置信度字符直接输出
└─────────────────┘
  │
  ▼ (低置信度/未登录字符)
┌─────────────────┐
│ 候选字符检索模块  │──→ 基于字形相似度的候选列表
└─────────────────┘
  │
  ▼
┌─────────────────┐
│ 人工确认/补充录入 │──→ 回写至全字库映射表
└─────────────────┘

这种设计的核心思想是：不追求模型一次性解决所有字符，而是将”模型能力边界”与”人工介入成本”做最优平衡。工程上，应重点关注低置信度字符的召回率——即系统能否准确识别出”这个字我不确定”，而非静默输出错误结果。

三、版面分析：被低估的关键能力

字符识别率再高，如果版面还原错了，后续校对成本依然居高不下。古籍版面分析的难点可归纳为三类：

3.1 区域分类与阅读顺序推断

一页古籍图像中可能同时存在：正文区、注释区、批注区、插图区、界行与鱼尾等装饰元素。系统需要完成：

1. 区域检测：定位各文本块边界
2. 区域分类：判定每个文本块属于正文、小注还是批注
3. 阅读顺序推断：按照从右到左、从上到下的古籍阅读习惯排序

现代深度学习方案通常采用”检测 + 分类 + 排序”的级联架构，或使用端到端的版面分析模型直接输出带序号的区域序列。

3.2 双行小注的还原

双行小注是古籍排版中最考验版面理解能力的场景之一。原文为单行大字，注释以双行小字夹排在正文之间。通用 OCR 会将双行小注识别为两列独立文本，导致输出顺序错乱。

正确的处理逻辑是：检测到双行小注区域后，先按列内顺序识别，再按”先左行后右行”的顺序合并为一条注释文本，最后插入到正文对应位置。

3.3 批注与正文的分离

天头地脚的眉批、行间的夹批，在物理位置上与正文接近甚至交叉。如果模型缺乏区域分类能力，批注文本会被直接混入正文流，后续人工校对时需要反复对照原图调整顺序——这部分隐性成本往往被严重低估。

四、后处理工作流：从识别结果到可用文本

OCR 输出只是起点，从原始识别结果到可用的数字化文本，还需要经过完整的后处理链路：

# 示意性后处理流水线（伪代码）
def postprocess(ocr_output, original_image):
    # 1. 繁简转换与异体字归一
    text = normalize_variants(ocr_output.text)
    # 2. 基于阅读顺序的段落重组
    text = reorder_by_layout(ocr_output.regions)
    # 3. 低置信度字符标记
    flagged = flag_low_confidence(ocr_output, threshold=0.85)
    # 4. 对照原图的人工校对界面
    #    - 高亮低置信度字符
    #    - 同步显示原图对应区域
    #    - 提供候选字选择
    return text, flagged

关键设计原则：

• 置信度可视化：将低置信度字符高亮标注，引导校对人员优先处理高风险区域
• 原图对照：文本与图像区域双向联动，减少人工翻找成本
• 候选字推荐：基于字形相似度提供 Top-N 候选，加速校对
• 增量学习：人工修正结果可反馈至字符映射表，持续提升后续识别效果

五、选型评估清单

综合以上分析，建议在古籍 OCR 选型时按以下清单逐项验证：

字符集能力

• 是否支持 GB18030-2022 全量字符集？
• 在目标文献类型上的实测识别率是多少？
• 生僻字的置信度评估是否可靠？

版面理解能力

• 是否支持竖排、横排及混合排版？
• 能否正确分离正文与批注？
• 双行小注的合并逻辑是否正确？
• 阅读顺序推断是否符合古籍习惯？

工程化能力

• 是否提供批量处理接口？
• 输出格式是否结构化（含坐标、置信度）？
• 是否支持校对工作流的集成？
• 是否有可靠的字符查询与补充录入工具？

合规与成本

• 是否支持正规发票开具，便于科研经费报销？
• 数据安全与隐私保护方案是否完善？

六、总结

古籍 OCR 不是简单的”文字识别”问题，而是一个涉及字符集工程、版面理解、人机协同工作流设计的系统工程。选型的核心不在于追求某个单一指标的极致，而在于找到识别精度、版面还原能力与人工校对成本之间的最优平衡点。

对于研究团队而言，建议在正式采购前，使用目标文献类型的真实样本做小规模盲测，重点考察生僻字召回率、版面还原准确率和后处理工作流的顺畅程度。只有经过真实数据验证的方案，才能真正将研究者从繁琐的转录劳动中解放出来，让精力回归到学术研究本身。