繁体字古籍 OCR 识别：技术难点、选型方法与工程实践

一、问题的本质：为什么古籍识别这么难

做古籍数字化的人都清楚，真正消耗人力的环节从来不是扫描，而是文字识别与校对。现代汉语常用字不过七八千，通用 OCR 模型在简体印刷文本上早已做到很高的可用度；但一旦进入古籍领域，问题立刻变得复杂：

• 字符集爆炸。古代繁体汉字中仅异体字、俗体字、避讳字、碑刻俗写就有大量变体，远超现代常用字表覆盖范围。同一个字在不同朝代、不同刻本中可能有数种乃至十余种写法。
• 图像质量退化。古籍扫描件普遍存在纸张泛黄、墨迹洇散、虫蛀破损、装帧阴影、版框干扰等问题，二值化与版面分析难度显著高于现代文档。
• 排版特殊。竖排、从右至左、双行小字夹注、眉批、鱼尾与版心等版式元素，会让通用 OCR 的检测框与阅读顺序还原失效。
• 标点缺失。古籍原文多无现代标点，识别之后还需自动标点与断句，才能进入可检索、可引用的结构化状态。

因此，通用 OCR 工具在古籍上频繁出现错认、漏认并不奇怪——它们的训练语料与古籍分布差异过大。一页古籍识别下来，校对修改耗时超过重新抄写，是很多团队都经历过的现实。

近年来的可行路径，是采用面向古籍场景训练的商用 AI 识别服务：以 OCR 为核心，配合版面分析、自动标点、异体字归一化等能力，把”逐字辨认”变成”批量识别 + 定向校对”。下面从选型到落地，给出一套可复用的工程方法。

二、选型维度：怎样判断一款古籍识别能力是否够用

评估任何古籍 OCR 能力，建议围绕以下六个维度建立评测表，而不是只看厂商宣传的”识别率高”。

1. 字符覆盖能力
重点关注异体字、俗体字、避讳字、生僻字的召回情况。可通过构造测试集验证：从目标文献中抽取含异体写法的样本页，统计字符级召回率与混淆情况。

2. 版面与阅读顺序还原
竖排文本的行列切分、双行夹注的归属判定、版心与批注的分离，直接决定后续结构化质量。建议用带版式标注的样本页检查输出是否保留段落层级。

3. 抗退化能力
对破损、污渍、透印、低对比度图像的鲁棒性，需要在真实扫描件上测试，而不是干净的电子版截图。

4. 后处理配套
是否提供自动标点、异体字归一、繁简转换、实体抽取等能力。识别只是第一步，后处理链路决定了数据能否直接被检索与引用。

5. 输出格式与可集成性
结构化输出（如带坐标与置信度的 JSON、段落级文本、版面块信息）是搭建自动化流水线的前提。仅有纯文本输出的工具，很难做定向校对。

6. 合规与经费适配
科研场景对发票、合同、数据留存有明确要求，采购流程是否顺畅会直接影响项目排期。

三、评测方法：用小样本量化真实准确率

不要凭感觉判断。建议按以下流程做一次 200～500 页的抽样评测：

# 评测流程示意（伪代码）
samples = sample_pages(corpus, n=300, stratify=["刻本", "手抄", "破损", "批注"])
for page in samples:
    result = ocr_service.recognize(page.image)      # 返回结构化结果
    gt = page.ground_truth                          # 人工转写的基准文本
    cer = char_error_rate(result.text, gt)          # 字符错误率
    recall_special = recall(result.text, gt, charset="异体字")
    layout_ok = check_reading_order(result.blocks, page.layout_gt)
    record(page.id, cer, recall_special, layout_ok, result.confidence)
report(stratified_by="版式类型", metrics=["CER", "异体字召回", "阅读顺序准确率"])

关键指标建议：

• 字符错误率（CER）：按版式类型分层统计，破损页与批注页会明显偏高，需单独看。
• 异体字召回率：只统计测试集中标注为异体/俗体的字符，这是古籍场景的核心指标。
• 阅读顺序准确率：段落级比对，检验竖排与夹注处理是否正确。
• 置信度可用性：检查低置信度字符是否与真实错误强相关——这决定了能否用置信度做”定向校对”，把人力集中在真正可疑的位置。

实践中，把”全量人工校对”改为”低置信度优先校对”，通常能显著压缩校对工时，这是比单纯追求识别率更实际的收益点。

四、工程实践：搭建一条可复用的古籍识别流水线

4.1 图像预处理

预处理的目标是提升输入质量，而非过度加工：

• 灰度化与自适应二值化，避免全局阈值在泛黄纸面上失效；
• 去噪与去装帧阴影，注意不要抹掉细笔画与朱批；
• 倾斜校正与裁边，保留版框信息供版面分析使用；
• 分辨率控制：过低丢笔画，过高徒增耗时，建议按字数密度做自适应。

4.2 识别与结构化

调用识别能力时，优先选择返回版面块与字符坐标的输出形式。竖排文本需显式指定阅读方向，夹注区域单独标注，便于后续按”正文—注文”分层存储。

4.3 后处理与校对

• 异体字归一化：建立项目级映射表，把异体写法归一到研究所需的字形标准，同时保留原始字形以备考证。
• 自动标点：作为辅助层输出，人工只做抽检与修正，避免把标点错误带入引用。
• 置信度驱动的校对队列：按置信度排序生成待校清单，配合原文图像定位，校对效率远高于线性通读。
• 一致性校验：对同一文献中重复出现的人名、地名、职官名做频次与写法一致性检查，能批量发现系统性误识。

4.4 批量调度与存储

大规模项目应按页级任务拆分，采用队列化调度，识别结果与原始图像、坐标信息一并落盘，形成可回溯的数据集。建议保留每次识别的模型版本与参数快照，便于复现与误差归因。若使用云上对象存储与消息队列承载图像与任务，注意做好分片与重试策略，避免长尾页阻塞整批任务。

五、落地建议与常见误区

误区一：只比”识别率”一个数字。 不同测试集的分布差异极大，缺乏分层统计的准确率没有参考价值。

误区二：忽略后处理成本。 识别输出若缺乏坐标与置信度，校对阶段的人力投入会成倍增加。

误区三：一次性全量跑完再校对。 更合理的做法是先小批量验证映射表与校对规则，再放量。

建议路径：先用 200 页抽样建立基线，确定字符映射规范与校对流程；再按文献类型分批放量，每批做误差归因；最后把稳定下来的规则固化为脚本与检查清单，形成团队可复用的作业标准。

对于科研团队而言，选择面向古籍场景训练的商用识别服务，配合上述流水线与校对策略，可以把研究人员的精力从基础整理中释放出来，投入到版本比对、文字考订等更具学术价值的工作上。工程侧的重点不在于追求单点极致，而在于把”识别—校对—校验—归档”整条链路做得可度量、可复现、可扩展。