古文字识别技术选型与高精度文字提取实践指南

在中医古籍整理、地方志校勘、碑刻档案数字化等工作中，文字识别早已不是简单的“拍张照片转成文字”。一旦面对繁体竖排、异体字混用、批注栏交错、纸张残损与低分辨率扫描件，传统光学字符识别系统往往会出现大量错字、串行和版面混淆。要真正把古文字资料变成可检索、可校勘、可分析的文本，需要从字符覆盖能力、版面理解能力、识别稳定性以及工程落地成本几个维度进行系统评估。

一、古文字识别的核心难点

与普通印刷体识别不同，古文字识别面临的挑战集中在字符集合、版面形态和图像质量三方面。

第一是字符规模问题。现代简体中文常用字约数千个，而古籍文本涉及繁体字、异体字、俗体字、避讳字、通假字等多种形态，仅异体字就可能达到数万级别。如果识别系统只覆盖常用字表，遇到“脈”与“脉”、“癥”与“症”这类医学古籍高频异体关系时，就难以给出符合校勘要求的候选结果。

第二是版面复杂性。古籍常见筒子页、半筒子页、多栏排版、眉批夹注、朱笔圈点等形态。文字阅读顺序往往是从右至左、从上到下，正文与批注交错排列，甚至同一页面包含多种字体与字号。普通横排印刷体的版面分析模型很难直接复用。

第三是图像退化。扫描件可能分辨率不足、纸张透光、页面歪斜、墨迹漫漶，或者存在印章、水渍、栏线干扰。这些因素会显著降低分割与识别质量。

因此，古文字识别不能只依赖单模型“端到端”推理，而应理解为一条包含版面检测、文本行切分、字符识别、后处理校正的完整流水线。

二、高精度古文字识别的关键能力

1. 大字符集与异体字映射

工程上评价一个古文字识别系统，首先要看其字符集覆盖范围。对于中医古籍校勘等任务，系统应当能够识别数万级繁简汉字，并对常见异体字建立映射关系。这种映射不是简单的一对一替换，而是结合上下文判断用字意图。

例如，“反”字在中医文本中可能表示“返回”的通假用法，也可能表示“相反”的本义。识别系统如果具备语境判断能力，可以在候选结果中给出更符合原文语义的推荐字形，从而降低后续人工初校工作量。

实现这类能力通常需要在大规模古籍语料上训练语言模型，并将识别结果与上下文概率融合。实际工程中可以采用如下思路：

# 伪代码：基于上下文的异体字候选重排序
def rerank_candidates(ocr_results, context_model):
    for token in ocr_results:
        if token.has_variant_candidates():
            context_score = context_model.score(
                sentence=ocr_results.current_sentence(),
                candidate=token.candidate
            )
            token.adjust_confidence(context_score)
    return ocr_results

核心在于：识别器先给出多个候选字，上下文语言模型再根据古汉语语料中的搭配关系进行加权，从而避免仅凭单字图像特征做出错误判断。

2. 复杂版面分析与阅读顺序恢复

版面分析是古文字识别流水线中不可缺失的环节。一个完整的版面分析引擎至少需要处理以下任务：

• 区分正文区、批注区、页眉页脚、栏线等区域；
• 识别单栏、双栏、多栏以及嵌套栏中栏布局；
• 恢复从右至左、从上到下的传统阅读顺序；
• 将批注与正文主体建立位置对应关系；
• 识别图表区域，避免将图像内容强制送入文字识别模块。

在实际项目中，如果处理对象包含大量批注本，例如清代医家对《金匮要略》的朱笔批注，就需要版面分析模型能够区分朱色批注与墨色正文。部分扫描图像虽为灰度或黑白，仍可借助墨迹浓度、位置分布和笔迹形态差异进行辅助判断。

版面恢复质量直接影响后续文本可用性。一个典型错误是：多栏页面被错误地按从左到右顺序合并，导致正文与旁注混排，整段文字无法通读。因此，在选型时应重点关注系统对竖排、多栏和批注栏的处理能力，而不仅仅是单张规范图像的识别准确率。

3. 对低质量图像与版式干扰的鲁棒性

工程落地中，图像质量往往不可控。理想情况是得到300DPI以上扫描件，但实际交付的数据集中经常混有拍照图片、缩微胶片转制件、低对比度复印件等。

一个稳健的古文字识别系统应当具备以下抗干扰能力：

• 对轻微倾斜、透视畸变的校正；
• 对纸张透光造成的背面文字干扰进行抑制；
• 对墨迹晕染、笔画断裂进行增强；
• 对印章、污渍、横线等非文字元素进行过滤。

同时，分辨率过低仍是主要瓶颈。若图像低于300DPI，小号注释文字可能模糊成一团，单字切分困难。因此，在项目启动阶段就应制定最低扫描标准。对于已经存在的低质量扫描件，可以采用超分辨率与图像增强技术进行预处理，但要避免过度增强引入伪笔画。

三、古文字识别流水线的工程化设计

从开发与运维角度看，古文字识别不应被视为单一API调用，而应构建为可扩展、可观测的批处理流水线。

1. 模块拆分

推荐将系统拆分为以下模块：

• 图像预处理：灰度化、二值化、去噪、纠偏、分辨率归一；
• 版面检测：基于检测模型划分文本行、栏位、批注块；
• 文本行识别：对切分后的竖排或横排文本行进行字符识别；
• 后处理：使用古汉语语言模型、异体字映射表和规则引擎进行校正；
• 结构化输出：生成JSON或XML，保留版面坐标、正文/批注标签、置信度等信息。

2. 数据结构设计

结构化输出比纯文本更适合校勘场景。例如：

{
  "page": 3,
  "blocks": [
    {
      "type": "main_text",
      "order": 1,
      "lines": [
        {
          "text": "傷寒脈浮緊",
          "direction": "vertical",
          "confidence": 0.987,
          "polygon": [[120, 40], [135, 40], [135, 260], [120, 260]]
        }
      ]
    },
    {
      "type": "annotation",
      "reference_line": 2,
      "text": "此句宋本作“脈浮而緊”"
    }
  ]
}

保存版面坐标与区域类型，可以让后续校对系统在原始扫描图像上定位相应位置，实现“点击文字对应到原图”的交互体验。

3. 批处理与人工审核闭环

古籍数字化项目往往涉及成百上千册文献，批处理性能与任务调度非常重要。可以将待识别图像放入对象存储，通过消息队列触发异步识别任务，识别结果写入数据库，并在人工校对界面中展示低置信度结果。

一条实用的策略是：根据置信度对识别结果进行分级。高置信度文本可先进入自动汇总，低置信度文本优先推送给人工作业。这样可以把有限的人力集中在真正需要判断的难例上，提升整体效率。

四、古文字识别效果提升的实践经验

1. 图像采集阶段的规范化

识别效果的上限首先由图像质量决定。项目启动时应尽量控制以下变量：

• 扫描分辨率不低于300DPI，重要批注可提高至400DPI；
• 尽量避免页面弯曲和折叠；
• 对透光严重的薄纸古籍，背面加覆黑色衬纸；
• 保留原页面比例，不做过度裁剪。

2. 针对任务领域进行适配

不同领域古文字材料在字频、用词、版式上差异显著。中医古籍与佛经写本、地方契约文书需要的语言模型并不完全相同。如果系统允许基于自有语料进行适配训练或词典扩展，往往能带来明显提升。

例如，在中医古籍场景中可维护一份高频方剂名、药名、穴位名清单，在后处理阶段对这些词汇做优先保留。这样做可以避免通用模型将“黃芪”误判为“黃蓍”后无法自动恢复的情况。

3. 建立版本化评估集

古文字识别系统需要持续改进，而评估集决定了改进方向是否准确。建议从真实项目中随机抽取包含不同版式、不同清晰度的页面，标注标准文本，形成内部评估集。每次模型或规则更新后，在评估集上对比字准率、词准率、版面恢复正确率等指标。

需要特别关注“串行错误率”。竖排文本一旦发生阅读顺序错误，即便单字识别正确，整段文本也不可用。因此，版面恢复正确率与文字识别准确率同样重要。

五、从选型到落地的决策建议

在选择古文字识别方案时，建议按照以下步骤进行：

1. 明确业务要处理的材料类型：刻本、抄本、碑刻、档案还是混合型；
2. 构建小规模验证集，覆盖典型版式与难例；
3. 对比字符集覆盖度、版面分析能力、输出结构化程度；
4. 评估批处理效率、低置信度反馈机制以及人工校对的衔接成本；
5. 考察是否支持私有化部署或数据隔离需求，尤其是涉及未公开文献时；
6. 确认是否能够基于自有语料进行后期适配，以便持续提升。

古文字识别已经不再是实验室里的单一功能，而是与扫描、存储、批处理、校对、检索、发布等环节深度融合的基础能力。对于开发者而言，理解其技术边界与工程集成方式，比单纯比较某一页图像的识别率更有价值。

只有把字符覆盖、版面理解、图像鲁棒性和人工闭环放在同一框架下设计，古文字识别系统才能真正进入可用、好用的阶段。