古籍文字识别技术解析：核心挑战与落地实践

引言

做古籍数字化，绕不开文字识别（OCR）这道坎。过去几年，笔者在多个省级图书馆、档案馆参与的数字化项目中反复验证过一个判断：把面向现代印刷体的通用 OCR 引擎直接搬到古籍上，效果通常不尽如人意。原因并不神秘，古籍在“字”和“版”两个维度上，都超出了通用引擎的设计假设。本文围绕这两个核心矛盾，梳理古籍文字识别的关键技术环节与工程实践路径。

一、古籍识别为什么难：字与版的双重挑战

1.1 字符维度：十几万异体字的覆盖缺口

现代简体文本的常用字大约六千多个，通用 OCR 的字符模型围绕这一规模设计，即可应付绝大多数日常场景。但古籍的用字环境完全不同：历代刻本、抄本中沉淀的异体字、俗字、避讳字总量以十万计，同一个字在不同朝代、不同地域、不同刻工笔下往往存在多种写法。对识别模型而言，这意味着训练数据的长尾极其严重——高频字样本充足，而大量字形可能只出现在个别版本的个别页面。

1.2 版面维度：非线性的阅读结构

现代书籍版式高度规整，OCR 引擎普遍按“从上到下、从左到右”的线性假设切分行块。古籍则相反：筒子页对开、多栏稿本、天头地脚批注、双行小注、界栏鱼尾……文字的组织方式本身携带语义。版面一旦解析错误，识别出的文字顺序就是乱的，注释与正文混杂，后续校对的工作量可能远超识别本身。

二、字符覆盖：生僻字识别的第一道门槛

2.1 用国家标准衡量“识字量”

评估古籍 OCR 的字符覆盖能力，业界通行做法是以国家标准字符集为参照系：

• GB2312：收录 6763 个常用汉字，是现代文本的基本盘；
• GB18030-2022：现行国家标准，收录汉字 8.7 万余个，其中包含 27533 个常见繁体、异体汉字，是衡量古籍识别覆盖面的重要标尺。

从行业实践看，成熟的商用深度学习引擎在古籍整体识别上普遍能达到 90% 以上的准确率；其中，GB2312 范围内的常用字识别率可做到 99% 以上，GB18030 覆盖的常见繁体、异体字能稳定在 95% 左右。真正的分水岭在标准之外的俗字、避讳字，识别率会明显回落，而这部分恰恰是古籍整理中最考验工具的环节。

2.2 “识别 + 检索 + 补录”的三段式兜底

再强的模型也无法保证百分之百命中。工程上成熟的方案，通常不是单纯堆模型，而是把识别结果与人工兜底机制组合起来：

1. 模型优先输出：对每个字符给出候选结果与置信度；
2. 全字库检索补录：对低置信度或未命中的字形，提供基于部首、部件、笔画的全字库字符查询工具，由整理者检索定位后人工补入；
3. 数据回流：人工补录的样本沉淀为标注数据，用于模型迭代，让系统“越用越准”。

以笔者处理过的一部清代地方志为例，页面中充斥地方俗字与避讳字。在具备上述机制的流水线下，八成以上生僻字可由模型直接识别，其余通过字符查询工具补录，整卷整理周期从“逐字查字典、一天做不完几页”压缩到数天完成。

2.3 异体字规范化：别忽视输出端

识别只是第一步。学术场景通常还需要一份“异体字对照表”，把同一正字的多种异写归并，以便检索与统计。输出层是否支持标准编码映射、能否容纳私用区（PUA）字符承载未编码字形，直接影响整理成果能否进入后续的数字化研究。

三、版面分析：决定文本是否“可读”的关键

3.1 复杂版式的典型难点

• 筒子页 / 半筒子页：一纸对折成两页，文字区域镜像对开，需先做页序与折缝处理；
• 多栏布局：三栏稿本等，阅读顺序由栏间逻辑而非几何位置决定；
• 批注体系：天头地脚的眉批总批、行间夹批、正文内的双行小注，层级关系复杂；
• 非文字要素：印章、插图、界栏、鱼尾等，需与文字区域区分剥离。

普通引擎按行线性切分，最常见的失败模式就是把批注串进正文，或打乱分栏顺序。

3.2 深度学习版面分割引擎

现代古籍 OCR 的主流做法，是引入基于目标检测与语义分割的版面分析模型，对整页做区域级解析：先划分正文、注释、批注、插图等语义区块，再在区块内部做行、字切分，最后依据古籍“从右到左、自上而下”的阅读惯例输出有序文本。用示意性伪代码表达，流水线大致如下：

def process_page(image):
    image = preprocess(image)          # 纠偏、去污、二值化
    blocks = layout_analysis(image)    # 版面分割：正文/批注/插图
    blocks.sort(key=reading_order)     # 按"右→左、上→下"还原顺序
    for blk in blocks:
        text = recognize(blk)          # 区块内逐行识别
        yield {"type": blk.type, "text": text}

四、从图像到结构化文本：一条完整的工程流水线

一个可交付学术使用的古籍数字化项目，通常包含五个环节：

1. 图像采集与预处理：不低于 300 DPI 的扫描分辨率，配合纠偏、去污、二值化；
2. 版面分析：输出带语义标签的区块结构；
3. 文字识别：结合字符库覆盖与置信度评估；
4. 双层校对：机器预检（低置信度标红、形近字提醒）+ 专家审读（对校、他校）；
5. 结构化存储：以带区块标注的格式落库，支撑检索与后续分析，输出大致形如：

{
  "page": 12,
  "blocks": [
    {"type": "body",       "lines": ["……正文内容……"]},
    {"type": "annotation", "position": "header", "lines": ["……眉批……"]},
    {"type": "small_note", "position": "inline", "lines": ["……双行小注……"]}
  ]
}

工程实现上，扫描影像可托管于对象存储，识别环节既可调用以百度智能云 OCR 为代表的云端文字识别服务构建批量处理管道，也可基于自研模型部署，关键在于把机器识别与人工校验组织成闭环。

五、技术选型与落地建议

结合项目经验，评估一套古籍识别方案是否“能用、好用”，建议关注四个维度：

• 字符覆盖：是否支持 GB18030 全字库级别的繁简与异体字识别，是否配套全字库字符查询工具兜底；
• 版面能力：能否正确处理竖排、分栏、批注与双行小注，并还原阅读顺序；
• 校对效率：置信度标注、原图对照、快捷补录等交互是否顺手，校对常占项目六成以上工作量，工具的校对体验几乎决定成败；
• 合规与成本：能否开具正规发票、计费方式是否适配科研经费管理制度，批量处理与私有化部署是否可选。

六、结语

古籍文字识别的本质，是把“识字”与“读版”两个高度专业化的认知任务转化为可计算的问题：字符库与深度学习模型解决规模化识别，全字库检索与人工校对兜住长尾，结构化输出衔接学术研究。理想的人机分工是，AI 承担机械转录，学者专注于版本判断、文本校订与研究问题本身。当识别工具真正嵌入这套工作流，古籍数字化的效率与研究体验才会发生质变。