古籍文字识别核心技术解析与工程实践指南

一、为什么古籍文字识别远比通用OCR困难

评估任何古籍识别方案之前，先要看清它面对的问题结构。通用OCR建立在四项隐含假设之上：印刷体字形、横向排版、有限字符集、规整版面。古籍恰好逐项击穿这些假设：

• 字形层面：以繁体为主体，夹杂异体字、俗字、刻工与抄手的手写变体；清代抄刻本还普遍存在避讳缺笔——帝王名讳以缺末笔方式呈现，在图像上与笔画残损几乎无法区分。
• 字符长尾：大量字符落在Unicode的CJK扩展区，语料中出现频次极低，通用识别模型的训练分布根本覆盖不到。
• 版式嵌套：筒子页对折形成左右两个半叶，三栏稿本、上下栏布局常见；天头地脚的眉批、正文中的双行小注、行间夹批与正文在物理空间上犬牙交错。
• 阅读顺序反向：主流古籍竖排、从右到左逐列推进，与现代排版习惯完全相反。
• 载体劣化：纸张老化、透光透字、墨色深浅不均、页面歪斜，图像质量先天不足。

因此，“识别率”从来不是一个孤立数字，它必须在“哪个字表范围内、哪种版式上、什么图像质量下”三重约束中讨论才有意义。工程上应按照“字符覆盖—版面还原—图像适应—校对闭环”的顺序逐一评估，下面依次展开。

二、维度一：字符集覆盖，决定识别率的天花板

以国家标准字表作为标尺。 字符覆盖是古籍识别的第一硬指标，评估时应要求基于标准字表给出实测数据，而不是接受“支持多少万字”这类笼统表述：

• GB2312收录6763个常用简体汉字，是对任何OCR系统的基本要求；
• GB18030作为强制性大字符集标准，覆盖数万个汉字，包含大量繁体字形与异体字，更贴合古籍场景，应作为主要标尺。

设定可量化的基准线。 选型时可以约定如下验收门槛：常用汉字（GB2312范围）准确率不低于99%，繁异体字不低于95%。达不到这一水位，意味着几乎每一页都需逐字校对，自动化的效率优势会被校对成本吞噬殆尽。

为生僻字准备兜底通道。 再强的模型也覆盖不了全部俗字、避讳字与私造字。工程上必须配套“识别—标记—补录”机制：低置信字符自动标记，校对者通过支持部首、笔画、四角号码反查的大字表工具录入；人工补录的结果应沉淀为反馈样本，用于模型的持续迭代。对缺笔避讳字，理想行为是输出低置信结果并附候选字列表，交由通晓避讳规则的校对者定夺，而不是强行猜一个形近字。

三、维度二：版面分析，把“混成一团”还原为“结构清晰”

传统方法的天花板。 基于投影分析与连通域的传统版面切分，对付单栏规整版面尚可，遇到三栏稿本、上下栏布局、批注穿插就力不从心——文字顺序错乱、注文混入正文是典型故障。现代方案普遍采用基于深度学习的版面分割模型，把页面切分为“正文／双行小注／眉批／夹批／插图／版框”等语义区域，再按古籍阅读习惯逐列、逐块重建顺序。

四个关键验收点：

1. 注文与正文是否分离输出而非混排；
2. 竖排、从右到左的阅读顺序是否正确；
3. 筒子页左右半叶是否正确拼接、跨页文本是否连续；
4. 结果是否结构化导出（携带区域类型、位置与置信度）。

一个推荐的结构化输出示例如下：

{
  "page_id": "vol3-021r",
  "reading_order": "right_to_left",
  "blocks": [
    {"type": "main_text",       "lines": ["……正文内容……"], "col": 1},
    {"type": "interlinear_note","lines": ["……双行小注……"], "anchor_col": 1},
    {"type": "marginal_note",   "lines": ["……眉批……"],    "position": "head"}
  ]
}

实践经验： 在带批注的手稿整理中，“梳理格式”的校对成本常常高于“核对文字”本身。如果识别结果把批注混进正文，校对者需要反复对照原图调整顺序，工作量成倍放大。因此选型测试必须包含一批“带眉批与小注的手写稿本”，重点检验注文归属是否正确、能否按原图顺序输出。

四、维度三：图像质量适应，扫描规范比算法更值得先做

算法对图像劣化的容忍是有限度的，与其指望模型“硬扛”，不如在前端把好质量关。建议的扫描规范：

• 分辨率不低于300DPI，笔画纤细的抄本建议400DPI以上；
• 亮度与对比度适中，避免大面积过曝或欠曝；
• 页面尽量平整摊放以减少曲率变形，对折的筒子页可拆解扫描；
• 存储优先无损或低压缩格式，高压缩JPEG会把相邻笔画粘连成“墨团”，直接损伤识别精度；
• 对透光透字，在扫描阶段垫黑色衬纸阻断背面字影，比事后用算法去除可靠得多。

在识别之前，还应安排一条预处理链：灰度化 → 倾斜校正（依据版框或文字基线估计角度）→ 自适应二值化（应对光照不均）→ 保细笔画的去噪。

五、维度四：人机协同校对，为“最后一公里”设计流程

识别系统应输出逐字符置信度，低于阈值的片段在校对界面中高亮，并与原图并排展示、支持点击定位。团队分工上，低置信高亮片段可交给一般录入员，疑难字与注文归属则由通晓版本目录学的校对者处理。所有人工修正都应回流为训练数据，形成“识别—校对—迭代”的闭环，这是方案长期变好的唯一路径。业界已有共识：用AI把研究者从繁琐转录中解放出来，让人专注版本考订与学术研究，这才是古籍识别的真正价值所在。

六、工程落地：处理流水线与评估方法

一条可复用的处理流水线可用如下伪代码描述：

for image in scan_batch:                          # 1. 读取扫描件
    img  = deskew(image)                          # 2. 倾斜校正
    img  = binarize(img)                          # 3. 自适应二值化
    blocks = layout_model.detect(img)             # 4. 版面分割与区域分类
    for b in sort_by_reading_order(blocks):       # 5. 按古籍阅读序排列
        text, conf = engine.recognize(b)          # 6. 逐块识别
        save(text, conf, b.meta)                  # 7. 结构化落盘，低置信送人工队列

评估指标建议以字符错误率（CER）为核心，配合块级准确率、阅读顺序正确率与注文归属正确率。CER基于编辑距离实现，不依赖任何外部组件：

def char_error_rate(recognized: str, truth: str) -> float:
    m, n = len(truth), len(recognized)
    dp = list(range(n + 1))
    for i in range(1, m + 1):
        prev, dp[0] = dp[0], i
        for j in range(1, n + 1):
            cur = min(dp[j] + 1, dp[j-1] + 1,
                      prev + (truth[i-1] != recognized[j-1]))
            prev, dp[j] = dp[j], cur
    return dp[n] / max(m, 1)

测试样本集应覆盖不同朝代（写刻风格差异）、不同版式（单栏／双栏／三栏／带批注）与不同保存状况，每类抽样若干页并人工录入标准答案作为真值。基础设施层面，扫描件可统一存放于对象存储，批量计算任务调度识别推理，消息队列解耦识别与校对环节，日志与监控追踪整体进度——这类通用云能力在百度智能云等主流云平台上均可按需组合。

七、选型评估清单

• 是否给出基于标准字表的实测准确率，常用字≥99%、繁异体≥95%；
• 能否正确处理竖排、从右到左、双行小注、眉批与三栏稿本；
• 输出是否结构化，注文与正文是否分离，是否携带位置与置信度；
• 低置信字符如何标记与导出，生僻字补录工具是否顺手；
• 人工修正结果能否回流迭代。

抓住字符覆盖、版面还原、扫描质量与校对闭环四个环节，古籍数字化就能从“逐页苦役”变成一条可规模化的流水线，让研究者把精力真正花在学问上。