做过古籍整理的人几乎都踩过同一个坑：拿现代通用OCR直接处理古籍影印件，结果惨不忍睹。这并非工具“不好用”，而是古籍识别与现代文本识别在问题难度上存在量级差异。本文不推荐具体产品，而是从技术原理与工程实践的角度，把古籍文字识别这件事讲透，帮助读者无论在自建模型还是评估商用方案时，都能做出有依据的判断。
一、为什么普通OCR在古籍场景“集体失灵”
古籍识别的困难可以归纳为三重叠加：
1. 字符集鸿沟。 现代简体中文的常用字规模有限，《通用规范汉字表》收录8105字即可覆盖日常阅读的绝大部分场景，通用OCR的训练与推理都建立在这个量级上。而历代积累的汉字总量（含异体字、俗字、讹字、避讳字）在十万量级，同一个字位下挂十几个异体写法并不罕见。识别模型输出层通常按类别数做归一化，字符集每扩大一个数量级，对训练数据规模、长尾类别处理的要求都会急剧上升。中医等专门领域尤甚：“脈/脉”“癥/症”这类异体并存直接关系方剂名、穴位名的校勘准确性，一字之差可能就是一味药的区别。
2. 版面与阅读顺序。 古籍以竖排为主，阅读顺序是“从右至左、自上而下”，与横排现代文本完全相反。版式上还有筒子页（一个雕版对折形成前后两个半页）、上下分栏与左右分栏、眉批、夹注、旁批、行间小注、图表、版框鱼尾等元素。通用OCR默认横排、单栏、左起，方向理解一旦出错，整页文字顺序彻底混乱；注释与正文混排不被区分，校勘信息直接丢失。
3. 图像质量先天不足。 纸张老化发黄、墨迹脱落、虫蛀水渍、装订阴影、背面透字都是常态。扫描分辨率不足或光照不均时，笔画断裂与粘连会进一步放大识别难度。
二、古籍OCR的完整技术链路
一套可靠的古籍识别系统，通常拆解为四个阶段，缺一不可。
2.1 图像预处理
- 分辨率：建议不低于300 DPI，字号较小的密行刻本可提升至400–600 DPI。低于300 DPI时笔画细节已丢失，后端模型再强也难以挽回，这是全链路的“地基”。
- 二值化：对光照不均、透光的页面，全局阈值（如Otsu）往往失效，应采用局部自适应方法（Sauvola、Niblack一类），在抑制背景的同时保留笔画细节。
- 纠偏与去噪：用Hough变换或深度学习基线检测做倾斜校正；中值滤波与形态学运算处理噪点和装订阴影，但需注意过度处理会把残损笔画“洗掉”。
2.2 版面分析
版面分析的目标是把页面像素切分为语义区域，并排出正确的阅读顺序：
- 区域类型识别：正文栏、批注（眉批/夹注/旁批）、插图、表格、版框、页码等，技术上通常采用语义分割（U-Net类结构）或目标检测模型对像素或连通域打标签。
- 阅读顺序重排：按古籍逻辑组织输出，先按栏序从右到左，栏内再自上而下。这一步看似简单，实则是竖排多栏场景正确率的关键瓶颈。
- 批注关联：清代批注本常出现“正文+眉批+夹注+图”同页并存，必须把批注按对应位置与正文关联输出，否则校勘价值大打折扣。
2.3 文本行检测与识别
- 行检测：竖排文本行可基于可微分二值化（DB类）思路改造到竖排方向，处理行间距极密的夹注时还需引入行分类辅助。
- 识别模型：主流方案是CRNN+CTC或注意力编解码结构。大字符集场景有两个工程要点：其一，类别数膨胀导致输出层计算压力大且长尾类别欠拟合，可通过分层解码（先构件部首后整字）、或先把异体字映射到正字再解码来缓解；其二，训练数据必须覆盖异体字分布，业界通行做法是用古籍字体渲染加版面仿真与退化增广生成大规模合成数据，再以真实标注数据微调。
2.4 后处理与知识增强
识别输出不等于可用的整理文本，还需要一层知识加工：
- 异体字归一化：建立异体字到正字的映射表，输出时同时保留原字形编码与归一结果，便于校勘比对，不能悄悄替换。
- 上下文消歧：通假字必须依赖语境判断。例如“反”字在具体中医文本中可能是“返”的通假，也可能是本义。可引入基于古籍语料训练的古汉语语言模型，对候选字做重排序。
- 置信度输出：保留每个字符的识别置信度，低置信片段优先推送人工复核，形成“机器初校+人工终校+专家抽审”的人机协同流程。
整条链路的示意伪代码如下：
def guji_ocr_pipeline(page_images): results = [] for img in page_images: img = preprocess(img, min_dpi=300) # 二值化 / 纠偏 / 去噪 layout = analyze_layout(img) # 区域分类 + 阅读顺序 for region in layout.ordered_regions(): # 从右至左、自上而下 lines = detect_text_lines(region) text = recognize(lines) # 大字符集识别模型 text = normalize_variants(text) # 异体字归一（保留原字形） text = lm_disambiguate(text) # 古汉语语言模型消歧 results.append((region.meta, text, region.conf)) return merge_with_confidence(results) # 低置信片段进入人工队列
三、数据决定天花板：语料建设与标注规范
模型能力上限由数据决定，古籍OCR尤其如此：
- 语料来源：可利用公开的古籍影印资源与已整理文本构建“图—文”平行语料，并注意覆盖不同朝代、不同版式（刻本、抄本、石印本），避免数据偏置导致某一类版面系统性失效。
- 合成与增广：真实标注成本高昂，用字体渲染、纸张纹理仿真、污渍与折叠退化等手段生成合成数据扩充规模，再用少量真实数据微调，是控制成本的通行做法。
- 标注规范：除字符转写外，还需标注区域类型、阅读顺序、异体字标签。建议制定团队级标注手册，并定期抽样检查标注一致性，否则训练数据噪声会直接传导到识别结果。
- 半自动迭代：用当前模型预标注、人工修正、再回灌训练，形成数据飞轮，可显著降低持续标注成本，这也是主动学习思想在工程上的直接落地。
四、如何科学评估识别效果
选型或验收时，不要只看演示页面，应当自建分层测试集：
- 指标体系：核心是字符准确率（或以编辑距离换算的字符错误率CER），辅以行级全对率与版面区域分类准确率。只有字符级指标才能真实反映校对工作量。
- 分层统计：把规范刻本、普通抄本、残损与批注本分开统计。经验上，版式规范的刻本能达到较高的字符准确率，而模糊抄本和批注本会显著下滑——两者对人工校对成本的放大效应完全不同，混在一起统计会掩盖真实风险。
- 成本测算：可用一个简单公式估算：预估校对字数 ≈ 总字符量 ×（1 − 字符准确率）。以一部20万字古籍为例，准确率96%时需人工复核约8000字，降到85%时则升至3万字，校对工作量相差近4倍。这就是识别率每提升一个百分点在工程上的真实价值，也是评估时必须用字符级指标的原因。
五、落地工作流与选型清单
针对科研团队与古籍整理项目，给出可操作的建议：
- 扫描规范先行：统一300 DPI以上、灰度或彩色存档、避免过度压缩的JPG。扫描质量无法靠算法弥补，事前规范远胜事后返工。
- 能力评估维度：字符集覆盖规模（尤其异体字支持数量）、版面分析能力（多栏、批注、图表、阅读顺序）、批量处理与接口化能力、部署方式（云端或本地）、团队协作与权限管理、成本合规（发票与报销流程）都是科研采购中现实存在的约束条件，建议逐项打分比较。
- 通用与专用的边界：以百度智能云文字识别为代表的主流云OCR服务，在现代印刷体与常见手写体场景已经成熟，适合常规文档数字化；古籍场景则须确认是否具备大字符集与古字形支持，否则需要专门训练或自建模型，这是选型时最容易忽视的边界问题。
- 人机协同流程：机器初校+人工终校+专家抽审三级结构，保留每次识别结果的版本与置信度，便于回溯与责任划分。
- 下游衔接设计：识别结果应以结构化格式（区域类型+文本+坐标+置信度）存储，方便后续校勘记编写、全文检索与知识库建设复用，避免识别与整理两个环节脱节。
六、总结
古籍文字识别的难点不在“OCR”三个字母本身，而在字符集规模、版面复杂度与图像质量三重挑战的叠加。正确的工程姿势是：把好扫描质量关，以版面分析、大字符集识别、异体字归一与语言模型消歧构建完整链路，用分层测试集科学评估，用人机协同流程消化剩余误差。理解了这套方法论，无论面对自建模型还是商用方案，都能穿透宣传话术，直指能力本质。