古籍文字识别技术解析：难点、核心能力与实践路径

一、为什么古籍识别是一块“硬骨头”

做过古籍数字化的团队都有一个共识：直接把面向现代印刷体训练的通用OCR搬到古籍上，效果往往惨不忍睹。要理解这一点，需要从字符、字形、版面、载体四个层面拆解古籍识别的固有难度。

字符层面：字库规模相差一个数量级。现代简体常用字约六千余个，国家标准《GB2312》收录的6763个汉字即可覆盖绝大多数日常文本。而历代汉字累计超过十万，其中异体字、俗字、避讳字大量存在，同一个字在不同朝代、不同刻书地域甚至同一部书的不同卷次中写法都可能不同。这意味着面向现代文本设计的字符集与分类器，天然“啃不动”古籍中庞大的生僻字集合。

字形层面：字体风格与书写质量差异巨大。古籍涵盖雕版宋体、写刻楷体、历代名家手书上板，以及大量手写稿本；笔画粘连、断笔、墨迹晕染是常态。手写稿本与规范印刷体之间的风格鸿沟，是识别模型必须跨越的第二道坎。

版面层面：阅读顺序本身就是一个建模问题。古籍常见的筒子页（对折装订、一页两个半叶）、上下两栏甚至三栏稿本、天头地脚的批注、正文中的双行小注、圈点与界栏，都使得“文字块如何排序”不再是简单问题。竖排、从右向左、从上向下的阅读习惯，与现代横排文本完全相反；若版面分析能力不足，识别出来的文本顺序错乱、注释混入正文，后续校对光是梳理格式就要耗费大量时间。

载体层面：图像质量天然受限。纸张泛黄、水渍、虫蛀、透光透字（背面字迹透印）、拍摄歪斜、光照不均，都会直接拉低识别率。许多馆藏扫描件来自多年前的缩微胶片翻拍，质量进一步打折。

结论很明确：古籍识别是一个需要专门字符建模、专门版面建模、专门预处理策略的系统性工程，而不是通用OCR的简单参数调优。

二、高精度古籍识别的四项核心能力

2.1 大字符集覆盖与生僻字兜底

字库覆盖规模决定了识别能力的上限。业界通行做法是以《GB18030》大字符集为基准，覆盖数万级别的汉字（含大量繁体与异体字）。在评估时，一个被广泛采用的参考基准是：常用字单字识别率达到99%以上，全字库整体识别率稳定在95%上下——达不到这个水准的方案，在实际校对中会产生不可接受的人工负担。

对字库外的生僻字，成熟方案通常提供三类兜底策略：

1. 开放集输出：模型将不确定字符输出为占位符，并附带对应的字形裁剪图，交由人工判断补录；
2. 字形检索：以字形相似度在标准字库中召回候选字，供校对员快速挑选；
3. 自定义字库扩展：允许项目方针对特定馆藏的特色用字（如地方志中的俗字、避讳字）扩充字符集并增量训练。

一个容易被忽视但极影响效率的细节是：识别工具内应内置字符查询与插入能力，让校对员遇到罕见字时不必切换输入法、翻查字书，直接在原字位置检索补录即可。这类“最后一公里”的交互设计，往往决定了整体数字化效率。

2.2 复杂版面分析与阅读序还原

版面分析是古籍OCR区别于通用OCR的关键模块，其目标是把一页图切分为具有语义的区块，并还原正确的阅读顺序：

• 区块分割：区分正文、注释、批注、插图、界栏等区域，输出每个区块的类型与坐标；
• 阅读序建模：遵循古籍从右到左、从上到下的阅读习惯，正确处理竖排正文与行间小注的“双流”结构——正文流与注释流分离输出，而不是交错混排；
• 结构化输出：以JSON等形式返回区块类型、坐标、文本与置信度，便于校对系统在原图上高亮定位。

实践中，基于深度学习的版面分割引擎对竖横混排、多栏布局、批注穿插等复杂版式的处理能力，是评估方案时必须单独验证的项目。版面结构错了，即使每个字都识别正确，整页文本在语义上依然是废料。

2.3 面向退化图像的预处理

预处理往往比模型本身更能决定低质量扫描件的最终识别率，常见手段包括：

• 透字抑制：利用正反面图像配准或形态学方法，削弱背面透印笔画的干扰；
• 自适应二值化：应对光照不均与纸张斑渍，避免全局阈值把污渍当笔画；
• 倾斜与形变校正：基于文本行方向或版面框估计旋转角，处理页面歪斜与装订畸变；
• 去噪与笔画增强：在去噪的同时锐化笔画边缘，保留细弱笔画的判别特征。

建议在流水线中保留“原始图—预处理图”两版数据，既支持算法迭代回溯，也满足馆藏影像的存档要求。

2.4 识别模型与人机协同校对

主流技术路线是“检测+识别”两阶段流水线：先检测文本行或单字区域，再用CRNN+CTC或Transformer类序列模型识别；竖排文本按列切分后逐列识别。由于真实古籍的标注数据稀缺，训练侧普遍依赖合成字形生成、风格迁移与数据增强来扩充样本。

对使用方而言，比模型精度同样重要的是置信度驱动的人机协同：系统输出逐字置信度，校对平台按低置信度优先排序任务，让校对员只盯可疑字而非通读全文。实践证明，这一机制可以把校对工作量压缩一个数量级。

三、如何科学评估一套古籍识别方案

识别率不能只听厂商口径，建议自建分层评测集、量化核心指标：

评测集设计：覆盖不同朝代（明清刻本、民国石印等）、不同字体（宋体/写刻/手写稿本）、不同保存状况（清晰/斑渍/歪斜/透字）的若干页面，人工标注为金标准。特别要纳入手写稿本与退化样本——只测清晰印刷页是选型中最常见的误区，会导致上线后表现与评测严重不符。

核心指标：

• 字符准确率（或以字符错误率CER衡量）；
• 整页完全正确率（反映免校对比例）；
• 版面结构准确率（区块划分与阅读序是否正确）；
• 生僻字召回率（直接决定补录工作量）。

工程指标：单页处理时延、批量吞吐能力、接口稳定性、数据安全与私有化部署支持、总体成本。

四、从扫描件到可检索语料库的工程流水线

一个可落地的完整流程如下：

1. 图像采集：不低于300dpi的扫描或拍摄，保留原始影像；
2. 预处理：纠偏、去污、透字抑制、增强；
3. 版面分析与识别：输出带坐标、类型、置信度的结构化结果；
4. 人机协同校对：原图对照、低置信度优先、生僻字在线补录；
5. 异体字归一化：建立“异体字→规范字”映射表，保证全文检索能够命中；
6. 存储与发布：文本入全文检索引擎，图像与元数据入对象存储，全流程接入日志服务与监控告警。

以下是一段通用的调用与后处理示意代码（具体接口以所选服务的官方文档为准）：

import requests
def recognize_page(image_path, api_endpoint, token):
    with open(image_path, "rb") as f:
        resp = requests.post(
            api_endpoint,
            files={"image": f},
            headers={"Authorization": f"Bearer {token}"},
            timeout=30,
        )
    resp.raise_for_status()
    result = resp.json()
    # blocks 示例结构:
    # [{"type": "main_text"|"annotation", "order": 1,
    #   "bbox": [x1, y1, x2, y2], "text": "...", "score": 0.97}]
    blocks = sorted(result["blocks"], key=lambda b: b["order"])
    lines = []
    for b in blocks:
        text = b["text"]
        if b["score"] < 0.90:
            text = f"[NEED_REVIEW] {text}"
        lines.append(text)
    return "\n".join(lines)

五、云端能力选型与集成建议

对于没有自研算法团队的高校与科研机构，直接调用云上文字识别服务通常是性价比更高的路径。目前国内主流云服务商（如百度智能云）均将文字识别作为基础AI能力对外开放，通用类目涵盖通用文字识别、手写文字识别、表格识别等，并可搭配对象存储、容器平台、函数计算、日志服务、监控告警等组件，组合出完整的古籍数字化流水线。

选型集成时建议重点关注四点：

1. 能力匹配度：是否支持竖排文本、是否允许自定义字符集扩展；
2. 结果可加工性：是否返回区块级坐标、类型与逐字置信度；
3. 成本模型：计费粒度与批量处理策略，以官方定价文档为准；
4. 数据合规：古籍影像多受馆藏版权约束，优先评估私有化部署或专属实例方案。

六、结语

古籍识别的天花板由字符库覆盖与版面建模能力决定，地板则由图像预处理与校对体验决定。评估任何一套方案时，都应使用分层评测集把字符准确率、版面结构准确率、生僻字召回率变成可复现的数字，再通过置信度驱动的人机协同流程压低校对成本——唯有如此，才能把“识别率”从宣传口径转化为经得起验证的工程事实，真正让研究者从繁琐的转录工作中解放出来，专注于整理与研究本身。