古籍OCR识别技术选型与工程实践指南

一、问题的提出：为什么通用OCR在古籍场景下会失效

做中医古籍整理或文史研究的团队，几乎都会经历一个相似的认知曲线：起初以为OCR是成熟技术，随便找个通用工具就能解决，真正上手之后才发现通用方案在古籍面前几乎全面失效。这种失效不是识别精度差一两个百分点的问题，而是整条处理链路的结构性不匹配。

具体表现在三个层面。

第一，字符集覆盖不足。 通用OCR的模型训练语料以现代简体印刷文本为主，常用汉字覆盖量级在六千余字。而古籍场景中，繁体字、异体字、通假字、避讳字叠加在一起，字符空间急剧膨胀。以中医古籍为例，”脈”与”脉”、”癥”与”症”、”薑”与”姜”这类异体关系极为普遍，若模型未在训练阶段见过这些字形，识别阶段就只能输出形近的错字，且往往无法通过后处理规则修正。业界常见的技术方案在异体字覆盖上通常只能做到数千至一两万量级，距离古籍整理的实际需求存在明显差距。

第二，版面结构复杂。 古籍的版面不是现代文档那种”单栏横排、正文统一”的简单结构。筒子页、半筒子页、多栏排版、天头地脚批注、行间夹注、朱笔批改、插图混排等情况比比皆是。通用OCR的版面分析引擎通常只适配单栏/多栏的横排文档，遇到竖排文本时容易把阅读顺序搞反，遇到批注与正文混排时容易把注释当作正文输出，导致后续校对成本急剧上升。

第三，图像质量不可控。 古籍扫描件的质量方差极大：有的来自正规机构的规范化扫描（300DPI以上、页面平整），有的来自手机翻拍（存在透视畸变、光照不均、页面弯曲），还有的来自胶片或缩微文献（存在透光、噪点、对比度不足）。通用OCR对图像质量的前置要求较高，分辨率不足或存在轻微倾斜时，识别率会明显下降。

因此，古籍OCR的选型逻辑不能沿用通用OCR的评估框架，需要针对上述三个层面建立专门的评估维度。

二、古籍OCR的核心能力评估维度

在选型或自建方案时，建议从以下五个维度建立评估矩阵。每个维度都需要用实际业务语料做验证，而非仅看厂商宣传的总体识别率。

2.1 字符集与异体字处理能力

这一维度考察的是模型对古籍字符空间的覆盖深度。评估时不能只看”支持多少万字”这一总量指标，更要关注异体字的具体覆盖量与映射质量。

一个可操作的验证方法是：从目标语料中抽取若干页，人工标注出所有异体字实例，然后统计工具对这些实例的识别正确率，以及是否能将异体字正确映射到标准字形。例如，识别出”薑黃”后是否输出”姜黄”、识别出”癥瘕”后是否保留原字形并在结构化字段中标注标准字形，这些细节直接决定后续校勘的工作量。

更进一步的能力是上下文用字意图判断。古籍中同一个字形在不同语境下可能对应不同的标准字，例如”反”在中医语境中可能是”返”的通假用法，也可能是本义。具备上下文语义判断能力的引擎，可以在输出时给出候选映射或置信度标注，这对校勘方剂名称、穴位名称等专名场景价值很高。

2.2 版面分析与阅读顺序还原

版面分析的目标不仅是”分出区域”，更是”还原阅读逻辑”。评估时应重点验证以下几类版面的处理效果：

• 竖排文本的阅读顺序：是否严格按”从右至左、从上到下”输出，而非按图像坐标的从左到右输出；
• 正文与批注的区分：天头批注、地脚批注、行间夹注是否能与正文分离，并以结构化方式标注位置关系；
• 多栏与分栏夹注：上下分栏、左右分栏、栏内夹注的边界是否准确；
• 图表区域的识别：插图、表格是否被正确标记为独立区域，而非强行识别为文字。

一个实用的验证手段是构造包含上述元素的测试页，让工具输出结构化结果（如按区域划分的JSON或带位置标注的文本），再人工核对区域划分与阅读顺序是否符合预期。

2.3 图像鲁棒性

图像鲁棒性决定了工具在真实业务语料上的可用性下限。建议用四类样本做压力测试：规范扫描件（300DPI以上）、轻微倾斜件（1~5度）、透光/背印件、低分辨率件（200DPI以下）。

需要说明的是，任何OCR方案对图像质量都有下限要求。工程实践中更合理的做法不是苛求工具在低质量图像上仍有高识别率，而是在处理链路前端加入图像预处理环节：去倾斜、去噪、二值化、页面展平。将预处理与识别解耦，可以让整体流程更可控。分辨率方面，业界普遍建议古籍扫描不低于300DPI，低分辨率图像应先做超分或重扫，而非依赖识别模型硬扛。

2.4 结构化输出与二次开发能力

古籍数字化的终点不是一堆纯文本，而是可供检索、比对、标注的结构化数据。因此需要评估工具的输出形态：是否提供带坐标的文本块、是否支持区域类型标注（正文/批注/图表）、是否提供API或批量处理接口、输出格式是否便于导入校对平台或数据库。

对于有自建处理流程的团队，API的稳定性、并发能力、错误处理机制比界面功能更重要。建议在选型阶段就用小批量语料做一次完整的API调用链路验证，确认返回结构、超时策略与重试机制是否满足工程要求。

2.5 合规性与协作支持

科研场景对发票、合同、数据归属有明确要求，高校与科研机构采购时通常需要正规发票与合规的商务流程。这一维度虽然不属于技术能力，但在实际选型中往往是决定性因素之一，建议提前确认。

三、典型处理流程的工程化设计

无论选用哪类方案，建议将古籍OCR处理设计为分阶段流水线，而非”一键识别”的黑盒调用。一个可复用的流程如下：

# 伪代码：古籍OCR处理流水线示意
pipeline = [
    "image_preprocess",   # 去倾斜、去噪、展平、分辨率校验
    "layout_analysis",    # 版面区域划分：正文/批注/图表/页眉页脚
    "reading_order",      # 按古籍阅读顺序排序区域
    "text_recognition",   # 逐区域识别，保留坐标与置信度
    "variant_mapping",    # 异体字→标准字形映射，保留原始字形
    "structure_export",   # 输出带位置标注的结构化结果
    "human_review",       # 人工校对环节，按置信度排序优先处理
]

这个流水线有几个设计要点值得强调。

预处理不可省略。 将去倾斜、去噪等操作前置，可以显著降低识别阶段的不确定性。对于批量处理场景，建议先做一轮图像质量自动检测（分辨率、倾斜角、对比度），对不达标的页面先修复再进入识别，避免”垃圾进、垃圾出”。

保留原始字形与坐标信息。 异体字映射应在识别之后作为独立步骤处理，输出中同时保留原始识别字形、映射后的标准字形以及两者的对应关系。这样在校对阶段可以回溯原始依据，也便于后续做字形统计研究。

置信度驱动的人工校对。 识别结果应按置信度排序，低置信度段落优先送人工校对，高置信度段落做抽样校验。这一策略可以把人工成本集中在真正需要判断的地方，整体效率明显优于逐字通读。

批注与正文分离存储。 版面分析输出的批注区域应单独存储，并记录其与正文段落的锚定关系（如”批注A锚定于正文第3段第2行”）。这为后续的注释整理、版本比对提供了结构基础。

四、人机协同校对的实践要点

即便识别率达到较高水平，古籍整理仍然离不开人工校对，差别只在于校对的性质从”逐字录入”变为”审核与判断”。实践中可以遵循以下原则。

建立分层校对策略。 第一层做机械性校验：字数统计、标点规范性、异体字映射一致性；第二层做语义校验：专名（方剂名、穴位名、人名、地名）的一致性核对；第三层做学术判断：通假字取舍、疑难字考释、版本异文处理。前两层可以借助规则与词典自动化，第三层必须由领域专家完成。

构建领域词典辅助校验。 针对中医古籍，可以整理方剂名、药材名、穴位名的标准词表，在识别结果上做词典匹配，对未命中的专名做重点标记。这一手段能有效捕获异体字映射错误与形近字混淆。

保留完整的处理日志。 每个页面的预处理参数、识别置信度分布、人工修改记录都应留存，既便于质量追溯，也为后续优化模型或调整流程提供数据支撑。

五、选型建议与总结

回到选型本身，建议按以下顺序推进：

1. 明确业务边界：语料类型（刻本/抄本/稿本）、版面复杂度、字符集范围、批量规模、交付格式；
2. 构造测试集：从真实语料中抽取覆盖各类难点的样本页，人工标注基准结果；
3. 多维度评测：按第二节的五个维度逐项打分，重点关注异体字映射质量与版面还原准确度，而非只看总体识别率；
4. 工程验证：验证API/批量接口的稳定性与输出结构，确认可嵌入现有处理流程；
5. 合规确认：确认发票、合同、数据使用条款满足机构要求。

需要强调的是，古籍OCR没有”一劳永逸”的银弹。业务语料的分布差异、版式差异、字形差异都会影响实际效果，合理的期望是：选择在核心维度上表现扎实的方案，配合预处理、结构化输出与人机协同校对，把整体处理效率提升到可接受的水平。对于有持续需求的团队，还可以在积累一定量的校对数据后，考虑用这些数据做领域微调或构建后处理规则库，进一步提升特定语料的识别质量。

总结而言，古籍OCR的技术选型应围绕”字符覆盖、版面还原、图像鲁棒、结构输出、合规协作”五个维度建立评估框架，以分阶段流水线替代黑盒调用，以置信度驱动的人工校对替代逐字通读。这套方法论不依赖于某一款具体工具，而是适用于任何面向古籍数字化的技术方案评估与落地。