古文字OCR识别技术解析与实践指南

一、为什么普通OCR在古籍面前“失效”

做古籍数字化，很多人的第一反应是拿通用OCR工具直接识别，结果往往令人失望。这并非偶然，而是古籍文本与现代印刷文本之间存在几重本质差异：

1. 字符集规模悬殊

现代简体字的常用字约六千余个，通用OCR的字符模型围绕这一规模设计，即可覆盖绝大多数日常场景。而古籍以繁体为主，历代累积的异体字、俗字、避讳字可达十几万量级。字符集扩大一个数量级，意味着识别模型的类别空间、样本均衡难度、字与字之间的混淆概率都显著上升，通用模型天然不适配。

2. 版式与现代读物完全不同

古籍多为竖排、自右向左阅读，常见筒子页、多栏排版、天头地脚批注、双行小字夹注等形态。通用OCR默认“横排、从左至右”的输出假设，套在古籍上就会出现列序错乱、正文与注释混淆、批注插入位置错误等问题，识别出来的文本看似有字，实则不可用。

3. 图像质量参差不齐

刻本、抄本、影印件的墨色深浅不一，纸张残损、虫蛀水渍、扫描或拍摄时的光照不均，都会显著拉低识别率。越是珍贵的孤本抄本，图像条件往往越差，形成“越重要越难识别”的悖论。

4. 用字需要语境判断

古籍中存在大量通假字与古今字，例如“脈”与“脉”、“癥”与“症”属于异体对应，而“反”在某些语境中是“返”的通假。仅靠单字识别无法确定用字意图，必须结合上下文语义才能正确转写，这是通用OCR完全不具备的能力。

二、古文字OCR系统的关键技术能力

一套能够胜任古籍整理的识别系统，通常需要具备以下几项核心能力：

1. 超大字符集与异体字归一化

• 支持数万乃至十万级汉字识别，尽量覆盖大型字书所收录的字形；
• 内置异体字对照关系，能将“脈”“衇”等异体映射到规范字“脉”，同时保留原字形信息供校勘使用；
• 输出字符级置信度，便于后续定位疑似错误，而不是给出无法核验的“黑箱结果”。

2. 上下文感知的语义纠错

在识别结果之上叠加语言模型，对同音、形近、通假等候选进行重排序。例如“反”字在“往反”这类语境中可能应作“返”，系统可以结合上下文给出转写建议，而非机械输出。这类能力能大幅减少人工初校的工作量。

3. 版面分析与阅读顺序还原

• 自动检测单栏、多栏、批注栏、图表区域等版面元素；
• 区分大字正文与小字夹注，避免注释混入正文；
• 按照“从右至左、从上到下”的传统阅读顺序输出，保证段落逻辑正确；
• 对批注按其锚定位置与正文关联，便于后续整理与研究引用。

4. 劣化图像的鲁棒性

针对残损、污渍、墨迹不均，通过图像增强、去噪、超分辨率等预处理手段提升输入质量；对无法确识的字应以占位符标注而非强行猜测，这符合古籍整理“存疑不臆改”的学术规范。

三、典型处理流程示意

一个工程上较为稳妥的古籍OCR流程，可以抽象为以下步骤：

# 伪代码：古籍文字识别处理流程示意
img = load_image(scan_path)
img = preprocess(img)                # 纠偏、去噪、二值化、光照均衡
layout = analyze_layout(img)         # 版面分析：栏/列/批注/图表
regions = sort_reading_order(layout) # 从右至左、从上到下排序
for region in regions:
    if region.type == "chart":
        save_chart(region)           # 图表区域单独存档
        continue
    chars = recognize(region)        # 字符识别，输出置信度
    text = variant_normalize(chars)  # 异体字映射到规范字
    text = context_correct(text)     # 上下文语义纠错
    export(text, meta=region.info)   # 保留坐标、置信度等元数据

关键在于：每一步都应保留元数据（坐标、置信度、异体字原形）。这样后续人工校勘可以直接定位到图版对应位置进行核对，而不是在纯文本上“盲校”，效率与准确性都会有量级提升。

四、项目实践建议

结合古籍整理领域的常见经验，以下几点值得特别关注：

1. 先评估文本类型，再设定预期

规范刻本字迹清晰、版式统一，成熟方案通常能达到较高的识别准确率；而手抄本、稿本字迹个性化强，识别率会明显下降。项目启动前应先用少量代表性样本实测，据此设定合理的人工校对预算，避免“以为跑一遍就完事”的误判。

2. 建立项目级用字对照表

不同学科有各自的用字习惯。建议在项目初期整理高频异体字、专业术语（如中医药领域方剂名、穴位名，史学领域人名地名）的对照表，作为识别后处理的规则补充，可显著降低专业术语的误判率。

3. 分批处理与分层校对

• 第一轮：机器识别，按置信度排序；
• 第二轮：优先人工复核低置信度字段；
• 第三轮：结合上下文通读，处理语义层面的问题。

这种分层策略能把有限的人力集中投放到最可能出错的地方，避免全文无差别校对造成的时间浪费。

4. 善用云端通用能力，用实测验证专项指标

目前主流云平台普遍提供文字识别类基础服务（如百度智能云的通用文字识别等类目），可以作为图像预处理、批量任务调度、结果存储的工程底座。但古籍识别属于垂直场景，字符集覆盖广度、竖排版式支持、批注区分能力等专项指标差异很大，选型时应使用自有样本实测验证，而不是只参考宣传数据。

5. 保留原始图像与识别结果的映射关系

数字化成果的价值在于可持续校勘。建议将“原图—区域坐标—识别文本—修改记录”绑定存储，任何一次修订都能回溯到图版依据。这也是建设古籍数据库、支持多轮迭代整理的基础要求。

五、结语

古文字识别的本质，是用工程手段解决“超大字符集 + 非现代版式 + 劣化图像 + 语义歧义”四重难题的叠加。普通OCR在古籍上失效并不意外，理解了这些难点，就能有针对性地评估工具能力、设计处理流程、分配校对人力。对中医药、历史、文献学等领域的研究者而言，一套合理的“识别—归一化—校勘”流水线，往往能把过去以月计的文字整理工作压缩到以周计，让精力真正回归到校勘考据与学术研究本身。