古籍文字识别技术实践：难点、方法与工程落地

一、为什么通用OCR在古籍场景“水土不服”

现代通用OCR的主战场是横排、简体、清晰印刷的当代文本：常用字不过六七千个、版式规整、图像干净，识别率自然可观。而如今不少高校古籍整理团队与科研机构已将OCR纳入数字化标准流程，但用的绝不是“拿来即用”的通用模型。一旦转向古籍，三类落差会同时出现：

• 字符集规模爆炸：古籍以繁体书写，叠加异体字、俗字、避讳字，历代字形总量可达十几万量级，大量字形落在Unicode的CJK扩展区。识别模型的类别数从数千膨胀到数万级，且呈长尾分布——常用字样本充裕，生僻字样本奇缺。
• 版面规则完全相反：古籍竖排、从右至左、先右栏后左栏，一页内可能混排眉批、旁批与双行小字夹注，还有筒子页、版心、鱼尾等版式元素。按现代“水平切行”逻辑处理的通用OCR，输出往往是行序颠倒、批注与正文粘连。
• 图像天然劣化：纸张老化、墨迹脱落、虫蛀水渍、扫描透光（背面文字串扰）在古籍中是常态而非例外。

因此，古籍数字化的核心命题不是“换一个识别率更高的工具”，而是围绕字符、版面、图像、语义四个层面，搭建一条针对性的技术流水线。

二、四大技术难点拆解

2.1 超大字符集与形近字干扰

• 异体字：同一字的历史写法多样，如“脈/脉”“癥/症”“薑/姜”。识别系统必须内置“异体字—标准字”映射，否则后续校勘与检索无从对齐。
• 类间相似：形近字（“己/已/巳”“日/曰”“末/未”）在低分辨率下笔画粘连，极易混淆。
• 长尾样本稀缺：模型对生僻字的召回率天然偏低，需要合成样本与数据增广补齐训练分布。

2.2 复杂版面与阅读顺序

版面分析要解决三个子问题：

1. 区域切分——区分正文、夹注、眉批、旁批、图表与版心；
2. 顺序重建——按“从右至左、先右栏后左栏、栏内自上而下”的规则输出；
3. 结构保持——批注需与对应正文位置关联输出，否则校勘价值尽失。

工程上通常以目标检测或语义分割模型做区域提取，再叠加古籍版式规则完成排序。

2.3 图像退化

透光、歪斜、污渍三类问题有相对成熟的预处理对策（见第四节），但分辨率不足不可逆：低于300DPI时，夹注小字的笔画可能只占一两个像素，任何算法都无力回天。

2.4 语义级校勘需求

古籍多通假字、古今字，同一字形在不同语境对应不同本字。以中医古籍为例，“反”字可能是“返”的通假，也可能就是本义“相反”，单靠字形无法判定，必须引入上下文与领域知识做消歧。同时要区分两种输出模式：

• 存真模式：保留原书异体字形，服务版本学研究；
• 规范模式：归一为标准字形，便于检索与统计分析。

理想的流水线应支持双轨输出。

三、高识别率流水线的五层能力

一条可靠的古籍OCR流水线可以概括为：

图像预处理 → 版面分析 → 文本行识别 → 语义后处理 → 人机协同校对

3.1 字形字典层

维护覆盖Unicode基本区与CJK扩展区的“异体字↔标准字”映射表，支持按项目需求扩充。它既是输出归一化的依据，也是校对阶段快速检索异体字的工具。

3.2 版面分析引擎

输出结构化的区域结果（第几栏、第几行、类型是正文还是夹注），下游才能按学术规范整理成可用的整理本。判断一条流水线专业与否，往往就看它能否把边缘批注按对应位置单独成层输出，同时正确区分图表区域。

3.3 行识别模型

主流做法沿用“卷积特征提取＋序列建模＋CTC/注意力解码”的经典范式，以整行为单位识别，避免单字切分误差累积。面向古籍的适配要点有三：

• 解码类别数扩展至数万级；
• 用刻本、抄本语料微调，或以字体渲染加扰动合成训练样本；
• 行切割的方向参数需针对竖排文本调整。

3.4 语义后处理

以n-gram或预训练语言模型对识别候选字重排序，再叠加领域词典（如方剂名、穴位名、人名地名等）做局部纠错。这一层对通假字与形近字的消歧贡献最大，往往是“能用”与“好用”的分水岭。

3.5 人机协同校对

系统输出逐字、逐行置信度，低置信片段自动高亮；校对人员按“先低置信、后分层抽样”的策略复核。学术交付的文本要经得起文献学检验，这一步不可省略。

四、数据准备与工程实践

再强的算法也救不了糟糕的源图像。项目启动的第一件事，是把扫描规范定死：

项目	建议值	说明
分辨率	≥300DPI，夹注小字建议600DPI	分辨率不足不可逆
色彩模式	24位彩色或8位灰度	朱墨双色批注需彩色
透光控制	扫描时背面加黑色衬纸	抑制背面文字串扰
归档格式	无损格式存档，有损格式进流水线	兼顾存档与传输

预处理环节的参考流程（伪代码）：

def preprocess(page):
    img = correct_skew(page)        # 纠偏：投影法或直线检测估计倾角
    img = suppress_bleed(img)       # 去透光：估计背面串扰并抑制
    img = remove_stains(img)        # 去污：小连通域滤除斑点
    img = adaptive_binarize(img)    # 自适应二值化：应对光照不均
    regions = analyze_layout(img)   # 版面分析：输出区域及阅读顺序
    return regions, img

效果评估以字符错误率（CER）为核心指标：

def cer(pred: str, gt: str) -> float:
    """CER = 编辑距离 / 参考文本长度，数值越小越好"""
    return edit_distance(pred, gt) / max(len(gt), 1)

两条实践建议：

• 分层抽样评估：按版式（单栏/多栏/带批注）与清晰度（清晰/模糊/残损）分层统计指标，避免同一部文献内部的巨大差异被平均值掩盖；
• 分级设定验收线：规范刻本、抄本稿本、模糊残页应分别设定目标，具体数值由团队在“识别率—校对成本”之间权衡确定，切忌一刀切。

五、方案选型考量

在“调用通用云服务”与“自建或定制管线”之间抉择时，建议按五个维度评估：

1. 字符覆盖：是否支持CJK扩展区与自定义异体字映射；
2. 版面能力：能否处理竖排、多栏、批注并输出结构化结果；
3. 部署方式：馆藏资源常涉及数据安全约束，可能必须私有化部署而非调用公有API；
4. 输出模式：是否同时支持存真与规范化双轨输出；
5. 成本合规：学术团队需考虑发票、授权与预算周期。

通用云OCR（如百度智能云的文字识别类服务）在横排现代印刷体上成熟度高、接入成本低，适合承接数字化流程中的现代文本部分；深度古籍场景则通常需要在通用能力之上叠加字形字典、版面规则与领域后处理的专门管线。与其迷信“某款工具包打天下”，不如把五层能力逐一对号入座，缺哪层补哪层。

六、结语

古籍文字识别的本质，是用工程手段弥合历史文本形态与现代信息处理之间的鸿沟。字符、版面、图像、语义四类难点环环相扣，任何一环的短板都会拖垮整体可用率。把扫描规范、版面分析、领域后处理与人机校对四块基石搭稳，识别率才会成为整条流水线协作的成果，而不是某个模型单点的运气。