古籍识别OCR难点拆解：从异体字到复杂版式

古籍识别常被视作通用OCR的“子问题”，但从工程角度看，它是一类难度显著更高的垂直场景。做过古籍数字化项目的人都有体会：同一套引擎，识别现代印刷体几乎不用校对，换到清代刻本或手写文书上，错误率会陡增。本文从技术原理出发，拆解古籍OCR的核心难点、评估指标与落地流程，给出一份可操作的实践指南。

一、为什么古籍识别是OCR领域的“硬骨头”

古籍识别的难度可以拆成四个层面：

1. 字符层面：字库规模差了两个数量级
现代简体的常用字约六千多个（GB2312即收录6763个汉字），而历代累积下来的繁体字、异体字总量达十几万量级。GB18030-2022标准中收录的常用繁体与异体字就有两万七千余个，全量覆盖更在八万字以上。如果引擎的字库覆盖不足，生僻字要么被识别为问号，要么被误认成形近字——后者更危险，因为它不影响通读，却会在不经意间篡改文义，比如把俗字误识为笔画相近的正字。

2. 书写层面：刻本与稿本差异巨大
雕版刻本字体相对规整，尚有规律可循；而手写稿本、文书中的行草、俗写，同一字形往往有数种甚至数十种写法，识别难度天然更高。此外，避讳字、通假字等历史书写习惯也会干扰模型判断。

3. 版面层面：阅读顺序本身就是难题
古籍版式常见筒子页、半筒子页、三栏稿本，天头地脚有眉批尾批，正文中有双行小注、夹批、圈点。通用OCR默认“从左到右、从上到下”的阅读顺序，直接套用会把文字顺序完全打乱；批注混入正文、注文与正文交错，都会让后续校对成本成倍增长。

4. 载体层面：图像质量不可控
纸张老化发黄、背面墨迹透印（透字）、水渍虫蛀、扫描倾斜、装订中缝阴影，都是家常便饭。这些噪声对识别率的影响，有时比算法本身的差异还大。

二、评估古籍OCR能力的五个关键指标

选型或自研时，建议围绕以下指标建立评测框架，而不是只看厂商宣传的整体准确率：

1. 字符集覆盖广度

• 常用简体字：GB2312的6763字应做到接近全覆盖；
• 繁体与异体字：以GB18030-2022所覆盖的两万七千余字为基础，最好能向全字库（八万余字）靠拢；
• 是否提供兜底机制：对识别不出的字，能否通过内置的字库检索工具按部件、笔画等方式人工录入补充。

2. 分层识别率
整体识别率会掩盖结构性问题。参考业内较优水平：常用规范字可达99%量级，常见繁体异体字稳定在95%上下，而俗字、手写体会明显下降。建议用自己的样本建评测集，按“常用字/繁体异体字/俗字手写字”分层统计，具体数值因语料而异，切勿照搬宣传数据。

3. 版面分析与阅读序还原能力
考察引擎能否区分正文、注文、批注、栏、插图、页眉页脚等区域类型，能否按古籍“从右到左、从上到下”的习惯还原阅读顺序输出，以及注文与正文能否分离。这一项往往比单字识别率对整体效率的影响更大。

4. 鲁棒性
主流商用引擎对规范扫描件的识别率普遍可达90%以上，但真实古籍扫描件难免有轻微歪斜、透光透字。一般而言，10°以内的倾斜多数引擎可自适应，超过这个范围识别率会明显下降，需要先做矫正。选型前应准备一批“脏样本”实测。

5. 工程配套与成本合规
包括置信度输出、批量处理、结构化结果（文本+坐标+置信度）、二次开发接口等。顺带一提，在通用文字识别方向，百度智能云等主流云服务商的OCR产品体系已较为成熟，但古籍属于垂直场景，选型重点仍应落在上述指标上。成本方面，学术项目预算有限，应综合“识别率×人工校对工时×单价”评估性价比，同时确认能否开具正规结算凭证用于课题经费报销。

三、从扫描到文本：一套可落地的处理流程

完整的古籍文本化流程可归纳为六步：

1. 扫描采集：分辨率不低于300DPI，页面亮度与对比度适中，尽量保证纸张平整，从源头控制质量；
2. 图像预处理：去斜、自适应二值化、透字抑制、去噪去斑；
3. 版面分割与阅读序还原：切分区域并按古籍阅读习惯排序；
4. 字符识别：输出字符及其置信度；
5. 分层校对与兜底录入：低置信度字符优先人工复核，识别不出的生僻字通过全字库检索工具录入；
6. 结构化输出与归档：保留坐标映射，便于对照原图复核。

以下用示意性伪代码描述主流程（实际实现可基于各类图像处理库与识别引擎组合完成）：

# 示意性伪代码：古籍图像识别主流程
img = load(scan_path)
img = to_grayscale(img)
img = deskew(img, max_angle=10)            # 倾斜超过10°先矫正
img = adaptive_binarize(img)               # 自适应二值化，缓解墨色不均与透字
img = remove_noise(img)                    # 去斑点、去装订孔噪声
regions = layout_analysis(img)             # 版面分割：正文/注文/批注/栏/插图
regions = order_reading_sequence(regions)  # 按"右→左、上→下"还原阅读顺序
result = []
for r in regions:
    if r.type == "text":
        chars = ocr_recognize(r.image)     # 输出字符 + 置信度
        result.append(merge(chars))
    elif r.type == "illustration":
        result.append(tag_placeholder(r))  # 插图以占位标记保留

四、典型场景的实践要点

1. 地方志与地方文献
此类文献俗字、避讳字密集。建议先小规模试跑统计生僻字命中率，并为项目建立“俗字—正字映射字表”，把确认过的字形沉淀为字典，复用到同批文献，越到后期校对越快。

2. 手写文书（如明清公文、账簿）
竖排正文与行间批注并存，重点验证版面分割是否把批注混入正文。这类场景识别率天然低于刻本，排期上应按“机器识别+较高比例人工校对”规划，让校对者只需盯文字准确性，不必再花时间调整格式与顺序。

3. 多栏稿本与批注本
栏序错乱是这类文献最致命的错误，文字全对但顺序错了反而更难整理。输出时务必保留区域坐标，校对时按坐标回查原图即可快速定位。

4. 大规模数字化项目
先按版式类型抽样（每类20~50页）估算整体准确率与校对工时，再决定全量策略。近年不少面向学界与公众的古籍数字化平台已验证“AI识别+人工分层校对”路线的可行性，其核心思路是一致的：把研究者从逐字转录的基础劳动中解放出来，专注整理与研究本身。

五、常见误区与避坑清单

• 只看整体识别率：整体99%不代表生僻字可用，务必分层统计；
• 跳过预处理：倾斜超标、污损严重的页面直接送识别，错误率与校对工时双升；
• 忽视阅读顺序：识别对了顺序乱了，整理成本反而更高；
• 没有兜底字库方案：识别不出的字无录入渠道，只能贴图或留空，破坏文本完整性；
• 校对无优先级：全篇通读式校对效率低，应按置信度从低到高排队处理；
• 成果不复用：字形映射表、版式模板应在项目内持续沉淀复用。

六、结语

古籍OCR的选型与技术路线，归根结底要回答三个问题：字库够不够全、版面理得清不清、校对工具链顺不顺手。配合规范的扫描参数与前置预处理，再以分层校对和字表沉淀收尾，绝大多数古籍的文本化都能做到事半功倍——省钱只是结果，省下的校对工时才是真正的研究生产力。