古籍文字识别技术解析：字符、版面与工程实践

一、古籍 OCR 为什么难：三重挑战叠加

现代 OCR 技术在印刷体白话文上已相当成熟，但把同一套模型直接用在古籍上，识别效果往往大幅下滑。问题不在于算法本身失效，而在于古籍与现代文本之间存在三个层面的“分布偏移”：

1. 字符集规模差异悬殊。现代简体常用字约六千余个，而历代累积的繁体与异体字总量达十万级，还包含大量俗字、避讳缺笔字、刊刻异形与手写变体。通用模型的训练语料以现代文本为主，很多字符在训练阶段“从未见过”，自然无从识别。

2. 版面结构远比现代文档复杂。筒子页、半筒子页、三栏稿本等传统形制，叠加天头地脚的批注、正文中的双行小注、行间夹批，使得“哪个区域是正文、哪个是注释、按什么顺序读”本身就成了需要专门求解的问题。

3. 底本质量参差不齐。虫蛀、水渍、纸张透光透字、墨迹漫漶、装订变形、扫描歪斜，每一项都会在成像链路上引入噪声。

因此，评估一套古籍识别方案，不能只看一句笼统的“识别率 90%”，而应拆成字符覆盖、识别精度、版面还原、鲁棒性四个维度分别考察。

二、字符集覆盖：“能不能认”先于“认得准”

字符覆盖是古籍 OCR 的第一道门槛，它决定模型对目标字符的“可见性”：

• GB2312 收录的 6763 个常用汉字，是任何中文 OCR 的基线能力，主流方案在清晰印刷体上普遍能达到很高的字符级准确率；
• 更大规模的国家标准字符集（对应 CJK 统一表意文字的扩展范围）覆盖数万字符，包含大量繁体与罕用字，这才是古籍场景的主战场；
• 标准之外，还有历代俗字、避讳字、手写异形字，需要依托字书、异体字表等学术资源构建扩展字表。

实践建议：选型前先从自有语料中抽取样本字表，用“字表覆盖率 × 高频字命中率”估算实际可用性，而不是轻信宣传数字。一个可操作的做法是：随机抽取 20—50 页，人工标注约 2000 字作为金标准（Ground Truth），再据此计算候选方案的字符级准确率。

三、版面分析：把“阅读顺序”还给机器

古籍版面分析要解决三个子问题：

1. 文字区域检测：从整页图像中切分出正文、注释、批注、插图等区域；
2. 区域语义分类：判断每个区域属于正文、双行小注、眉批还是图题；
3. 阅读顺序还原：按古籍从右到左、从上到下的行序输出文本序列。

基于深度学习的版面分割方案，通常建模为“目标检测 + 区域分类 + 顺序推理”的三段式流水线：检测网络定位文本块与插图，分类头给出语义标签，最后由版序规则或序列模型将文本块组织成符合传统阅读习惯的输出顺序。

对于竖排正文与行间批注混排、上下双栏对照的复杂稿本，版面还原质量直接决定后处理成本：若顺序错乱，校对者须反复对照原图手工重排，工作量成倍放大；若版序正确，校对只需聚焦文字本身的正误，效率差距十分明显。

四、图像质量：识别率的地基

再强的模型也扛不住糟糕的图像。古籍扫描建议遵循以下基线规范：

• 分辨率不低于 300DPI；生僻字密集或字径偏小的底本建议提升至 400—600DPI；
• 保证页面亮度均匀，避免一侧过曝、一侧发暗；
• 尽量展平原书以减少装订阴影，无法展平的筒子页需在预处理环节补偿。

预处理流水线可用如下伪代码概括：

# 伪代码：古籍图像预处理流水线
def preprocess(page):
    page = deskew(page)      # 歪斜校正（行投影或直线检测）
    page = illuminate(page)  # 光照均衡，消除亮度不均
    page = binarize(page)    # 自适应二值化，抑制透字与水渍
    page = denoise(page)     # 去噪，修复断裂笔画
    return page

对透光、透字严重的页面，可结合正反面影像做背透消除：利用背面图像预测渗透墨迹并加以抑制，这在批量古籍扫描中是常见且有效的工程手段。轻微歪斜、局部污损等常见问题，在预处理得当的前提下，现有方案已能较好适应。

五、识别之后：校对闭环决定交付质量

识别不是终点，完整流程应包含四个环节：

1. 置信度分层：按模型置信度对识别结果排序，低置信度片段优先送人工复核，通常能以约两成的人工投入覆盖八成的错误；
2. 生僻字补充录入：对确属罕用的字符，借助覆盖大字符集的检索工具，按部件、笔画定位码位后补录，避免逐字翻检字典的低效劳动；
3. 双人校对与抽样评估：关键文本建议双人独立校对；批量项目按 5%—10% 抽样，统计字符级、行级、版面级三项准确率作为质量基线；
4. 异体字规范化：按研究需要决定是否将异体映射为通行字，同时保留原字影像与映射记录，确保可回溯。

验收时应逐项约定指标口径：字符级准确率、整行完全正确率、版面还原正确率是三个差异极大的指标，混用极易产生纠纷。

六、选型评估清单

• 字符覆盖：是否声明支持大字符集？对异体字、俗字的实测命中率如何？
• 版面能力：能否处理竖排、双行小注、眉批、多栏稿本，并按传统阅读顺序输出？
• 鲁棒性：对歪斜、透光、污渍的容忍度如何？是否内置预处理模块？
• 校对支持：有无置信度输出、低置信度定位、生僻字检索补录等配套？
• 工程能力：是否提供批量接口、能否私有化部署、数据安全如何保障？
• 商务合规：能否开具正规发票、适配科研经费流程——这在高校与科研机构采购中常被忽视，却往往是关键一环。

就实现路径而言：现代印刷与手写文本可优先评估通用云 OCR 服务（例如百度智能云的文字识别类接口），成熟度与工程便利性较有保障；古籍场景则需在通用能力之上，叠加大规模古籍字符集训练数据、版面专项模型与校对工具链，自建或与具备古籍语料积累的团队合作共建，往往是更现实的路线。

七、结语

古籍文字识别的本质，是用工程手段弥合古今文字的分布差异：字符集覆盖决定下限，识别与版面算法决定上限，预处理与校对闭环决定最终交付质量。把评估拆成可量化、可验收的指标，把流程拆成可复用、可审计的环节，古籍数字化才能从逐字誊录的手工时代，稳步走向“AI 初识 + 学者精校”的规模化时代——让研究者从机械转录中解放出来，把精力还给真正的学术问题。