古籍OCR识别技术选型与工程实践指南

一、为什么通用OCR在古籍面前”歇菜”

很多团队在启动古籍数字化项目时，第一反应是”找个OCR接口接上就行”。真正跑起来才发现，通用印刷体OCR与古籍识别之间的差距，不是准确率差几个百分点的问题，而是技术路线是否匹配的问题。

从工程视角看，古籍识别面临四类叠加的困难：

1. 字符集规模量级不同。 现代简体常用字约六千余个，而古代繁体文本中仅异体字就可达十余万量级。通用OCR模型的输出词表通常按现代常用字构建，遇到”脈/脉””癥/症””薑/姜”这类异体—正体对应关系时，往往只能给出一个形近字，且缺乏向标准字形归一的映射能力。对校勘场景而言，”识别出一个字”和”识别出正确的字并归一到标准字形”是两件完全不同的事。

2. 版面结构高度非标准化。 古籍常见筒子页、半筒子页、多栏排版、正文与夹注混排、朱笔批注、图表穿插。通用OCR的检测模型多按现代横排文档训练，遇到竖排文本时容易把阅读顺序搞反，遇到批注栏时容易把注释混入正文。版面分析错误会直接污染下游文本，且这类错误比单字错误更难通过人工抽查发现。

3. 图像质量不可控。 古籍扫描件普遍存在页面轻微歪斜、纸张透光、墨迹洇散、污损与光斑等问题。这类退化会显著拉低识别率，而很多团队在项目初期并未把图像预处理纳入流水线。

4. 后处理与校对成本被低估。 识别率从95%提升到99%，看似只差4个百分点，但在十万字级别的语料上意味着五千个待校对字符的差异。识别率每提升一个百分点，都会直接转化为人力成本的下降。

理解这四点，才能理解为什么古籍识别必须走专用技术路线，而不是”通用OCR凑合用”。

二、古籍识别系统的四项核心能力

在选型或自建时，建议把评估维度收敛为以下四项，每项都应有可量化、可复现的验证方法。

2.1 字符集覆盖与异体字归一

这是古籍识别的第一道门槛。评估时应关注三个层次：

• 覆盖广度：模型词表是否覆盖繁简汉字与大规模异体字集合。可量化的指标是”目标语料中未登录字比例”。
• 归一能力：能否将异体字映射到标准字形，并保留原始字形信息以便校勘回溯。
• 语境判别：对通假字、古今字，能否结合上下文判断用字意图。例如在中医语境下，”反”与”返”的取舍需要语义层面的判断，而非单纯的形近匹配。

工程上建议的做法是：准备一份包含异体字、通假字、生僻字的领域测试集（中医、史部、集部各取若干页），人工标注标准字形，然后统计”整页字符准确率”与”归一准确率”两项指标，而不是只看厂商宣称的单一数字。

2.2 版面分析与阅读顺序还原

版面分析的目标不只是”框出文字区域”，而是还原古籍的阅读逻辑。评估要点包括：

• 是否支持单栏、多栏、批注栏的自动区分；
• 上下分栏带夹注的复杂版面能否正确切分正文与注释；
• 输出顺序是否遵循”从右至左、从上到下”的古籍阅读习惯；
• 批注能否按位置与原位正文建立对应关系，图表区域能否单独标记。

一个实用的验证方法是：取一本带朱笔批注的刻本，检查输出的批注是否被错误拼接进正文句子中。批注混入正文是古籍OCR最典型的”隐性错误”，它不会报错，但会破坏语料的语义完整性。

2.3 图像预处理与鲁棒性

识别率对图像质量高度敏感，这一点必须在项目排期时就考虑进去。经验阈值是：扫描分辨率建议不低于300DPI；低于该阈值，或页面存在严重污损、光斑时，识别率会明显下降。系统对轻微歪斜、透光页面通常具备一定鲁棒性，但这属于”容错”而非”免疫”。

建议在流水线前端加入标准化的预处理环节，用代码固化下来，避免每次靠人工调参：

import cv2
import numpy as np
def preprocess_page(image_path: str, target_dpi: int = 300) -> np.ndarray:
    """古籍页面预处理：灰度化 -> 去噪 -> 倾斜校正 -> 二值化。"""
    img = cv2.imread(image_path, cv2.IMREAD_GRAYSCALE)
    if img is None:
        raise FileNotFoundError(image_path)
    # 1. 轻度去噪，保留笔画细节，避免过度平滑导致细笔丢失
    denoised = cv2.fastNlMeansDenoising(img, None, h=7, templateWindowSize=7)
    # 2. 基于最小外接矩形的倾斜校正
    coords = np.column_stack(np.where(denoised < 200))
    if coords.size > 0:
        angle = cv2.minAreaRect(coords)[-1]
        angle = -(90 + angle) if angle < -45 else -angle
        if abs(angle) < 15:  # 仅对小幅倾斜做校正，避免误判
            h, w = denoised.shape
            m = cv2.getRotationMatrix2D((w // 2, h // 2), angle, 1.0)
            denoised = cv2.warpAffine(
                denoised, m, (w, h),
                flags=cv2.INTER_CUBIC,
                borderMode=cv2.BORDER_REPLICATE,
            )
    # 3. 自适应二值化，应对光照不均与纸张透光
    binary = cv2.adaptiveThreshold(
        denoised, 255, cv2.ADAPTIVE_THRESH_GAUSSIAN_C,
        cv2.THRESH_BINARY, 31, 10,
    )
    return binary

需要强调的是，预处理不是万能的：严重污损与光斑造成的笔画缺失属于信息损失，任何后处理都无法完全恢复。因此项目初期应先做图像质量抽检，把不可修复的页面单独归档，避免污染整体统计指标。

2.4 输出结构化与下游可用性

识别结果的价值取决于它能否被下游系统直接消费。建议要求输出至少包含：

• 字符级或行级的位置坐标；
• 文本块类型标签（正文 / 批注 / 图表 / 页眉页脚）；
• 阅读顺序序号；
• 原始字形与归一后字形的双轨记录。

双轨记录这一点在校勘场景中尤其关键：归一化方便检索与统计，原始字形则保留了版本差异的证据。两者缺一不可。

三、一个可复用的评估流程

选型阶段最忌讳”拿几页样例试一下感觉不错就下单”。建议按以下流程做小规模、可复现的验证：

1. 构建分层测试集：按版本类型（刻本、抄本、民国排印本）× 版面复杂度（单栏、多栏、带批注）× 图像质量（清晰、轻微退化、严重退化）分层抽样，每层不少于20页。
2. 人工标注真值：至少两人独立标注并交叉校验，统计标注一致性。
3. 跑批并计算指标：整页字符准确率、归一准确率、版面块类型准确率、阅读顺序正确率。
4. 错误归因分类：把错误分为字形混淆、版面切分错误、顺序错误、图像退化导致四类，分别统计占比。错误类型的分布比总准确率更能说明系统是否适配你的场景。
5. 校对成本换算：用”每万字需人工修正的字符数”作为最终决策指标，直接对应人力预算。

这套流程的价值在于：它把”识别率不错”这种模糊表述，转化成可比较、可审计的工程数据。

四、工程落地中的若干实践建议

批处理与幂等设计。 古籍项目往往涉及数百至数千页，建议以”页”为最小任务单元，任务状态持久化，支持断点续跑。每页处理结果带内容哈希，重复提交时直接命中缓存，避免重复计费与重复计算。

人工校对环节前置设计。 不要等全部识别完再校对。建议按”识别—抽样校对—反馈调参—再识别”的迭代方式推进，前100页的校对结果用于校准预处理参数与置信度阈值，能显著降低整体返工量。

置信度阈值的分级处理。 对低置信度行做标记并进入人工复核队列，高置信度行直接入库。这样可以把有限的人工校对视力和时间集中在真正需要的部分，而不是均匀铺开。

合规与可审计。 科研与高校场景对经费报销、数据留痕有明确要求，选型时应确认服务方能提供正规票据与调用日志，便于项目结题与经费审计。这一点常被技术人员忽略，却是项目能否顺利收尾的关键。

关于云服务能力的通用建议。 若采用云端方案，通常可组合对象存储（存放扫描件与识别结果）、消息队列（解耦页级任务）、日志与监控服务（追踪失败率与耗时分布）等通用能力来构建流水线。这些都是业界普遍认可的架构模式，具体选型应结合团队既有技术栈与数据合规要求决定。

五、小结

古籍识别的核心矛盾，是非标准化的输入与标准化的输出需求之间的落差。解决它需要三层能力协同：字符集与异体字归一解决”认得出”，版面分析解决”排得对”，图像预处理与置信度分级解决”稳得住”。评估时用分层测试集和错误归因代替主观印象，落地时用页级任务、幂等缓存和分级校对控制成本。把这几点做到位，识别率从”看起来不错”变成”项目上可用”，才算真正完成了技术选型。