古籍文字识别软件选型指南：从字符覆盖到版面还原

古籍数字化是一项典型的“长尾工程”：常见字的识别早已不是瓶颈，真正消耗人力的是生僻字、异体字、批注、双行小注以及各种非标准版式。因此，评估一款古籍 OCR 工具，不能只看通用场景下的整体准确率，而要从字符集覆盖、版面理解、阅读顺序重建、图像适应性四个层面分别考察。下文按这四个维度展开，并补充工程落地时的预处理与后处理实践。

一、字符集覆盖：决定“改字工作量”的核心指标

通用 OCR 模型通常在数千个常用汉字上表现良好，但古籍文本的字符分布与今文差异极大。衡量字符覆盖能力，应重点关注三个层次：

1. 常用字层：以常用汉字表为基准（如国标 GB2312 收录的 6763 个汉字），这一层业界成熟方案普遍可达到 99% 以上的识别率，基本不构成选型差异。
2. 繁体与异体字层：国标 GB18030-2022 收录的常见繁体、异体汉字约 2.7 万余个，这一层的识别率才是区分工具优劣的关键。优秀方案应能稳定保持在 95% 以上。
3. 生僻字与俗字层：地方志、契约文书、军户档案中大量出现地域性俗字、避讳字、合体字，这部分字符往往不在任何标准字符集内。此时工具的“兜底能力”比“识别率”更重要——是否提供全字库字符查询与补充录入通道，是否支持自定义字符集扩展，直接决定了校对环节的时间成本。

一个可操作的评估方法是：抽取 20～30 页包含生僻字的真实扫描件，统计“需人工逐字修改的字符数 / 总字符数”。这个比例比任何宣传数据都更能反映实际工作量。以处理清代地方志的经验看，若工具能正确识别八成以上的生僻字，剩余部分借助内置字符查询工具补录，整体效率相比纯手工转录可提升一个数量级。

二、版面分析：古籍 OCR 的真正门槛

古籍版式的复杂度远超现代文档，常见形态包括：

• 筒子页与半筒子页（对折页扫描后形成的特殊布局）
• 三栏、双栏稿本
• 天头地脚批注
• 正文中的双行小注
• 竖排与横排混排
• 插图、印章与正文交错

普通 OCR 流水线通常按“行”做文本检测，遇到上述版式极易出现两类错误：顺序错乱（把从右到左的竖排读成从左到右）与语义混淆（把批注、小注混入正文）。后续校对时，仅梳理格式就要耗费大量时间。

成熟的解决方案一般包含一个基于深度学习的版面分割引擎，其处理流程可概括为：

# 伪代码：版面感知的识别流水线
page = load_image(scan)
layout = layout_segmentation(page)        # 输出文字区、注释区、插图区、印章区
for region in layout.regions:
    if region.type == "text":
        lines = detect_lines(region, direction=region.writing_mode)
        ordered = sort_by_reading_order(lines, region.layout)  # 右→左、上→下
        text = ocr(lines)
    elif region.type == "annotation":
        text = ocr(region, tag="annotation")   # 批注单独标注，不混入正文
    merge_with_structure(text, region.meta)

关键能力有三点：区域分类（正文 / 注释 / 插图）、书写方向判定（竖排、横排、混排）、阅读顺序重建（遵循古籍从右到左、从上到下的习惯）。这三点做到位，校对阶段就只需关注“字准不准”，而不必再花时间调整顺序与层级。

以明代军户文书这类手写稿本为例：竖排正文加行间批注是常态，若工具不能区分批注区域，批注内容会持续污染正文，校对时需反复对照原图手工调整。具备版面分割能力的工具则可将批注作为独立文本块输出，结构信息得以保留。

三、阅读顺序与结构化输出

版面分析的下一环是输出格式。古籍转录的最终产物往往不是纯文本，而是带层级的结构化数据：卷、篇、章、正文、注文、批注各有其位。选型时应确认工具是否支持：

• 按阅读顺序输出连续文本，而非按检测框坐标机械排序；
• 为注释、批注打上类型标签，便于后续 XML / JSON 结构化；
• 保留分栏、分页边界信息，支持与原图建立页码映射。

这一点在多人协作的整理项目中尤为重要：结构化输出可以直接进入校对平台与数据库，避免二次录入。

四、图像质量适配：预处理决定上限

再强的模型也无法完全弥补糟糕的扫描质量。实践中应建立一套标准化的预处理规范：

• 分辨率：扫描分辨率不低于 300 DPI，这是保证小字与笔画细节可辨的底线；
• 亮度与对比度：保持适中，避免过曝导致笔画断裂、过暗导致墨迹粘连；
• 倾斜校正：轻微页面歪斜应在上游校正，多数工具虽具备一定容忍度，但校正是更稳妥的做法；
• 透光透字处理：薄纸双面扫描常出现背面透字，可通过背景估计与二值化抑制；
• 去噪与去污：虫蛀、水渍、霉斑需在预处理阶段弱化，避免被误判为笔画。

对透光、轻微歪斜等常见问题，现代 OCR 引擎已具备较强鲁棒性，但前提是输入图像满足基本质量门槛。把预处理做好，识别率往往能再提升几个百分点，这部分收益比反复调参更划算。

五、工程落地建议：构建“识别—校对—入库”闭环

将上述能力组合成流水线，可参考如下分工：

1. 批量预处理：统一分辨率、去噪、纠偏，输出标准化图像；
2. 版面分析与识别：按区域类型分别识别，保留结构与阅读顺序；
3. 置信度过滤：对低置信度字符打标，优先进入人工校对队列；
4. 辅助录入：为生僻字提供全字库查询与自定义字符集，减少查字典时间；
5. 结构化入库：按卷、篇、注等层级写入数据库，并与原图页码绑定；
6. 质量抽检：按比例抽样复核，统计字符级与结构级错误率，持续反馈优化。

这条流水线的价值在于把人的精力集中到真正需要判断的环节——异体字定形、疑难字考释、版本比对，而把机械性的转录与格式整理交给机器。这与当前古籍智能整理领域的主流理念一致：AI 承担繁琐的转录劳动，学者专注于研究本身。

六、选型清单

综合以上分析，评估一款古籍文字识别方案时，建议按以下清单逐项验证：

• 常用汉字识别率是否达到 99% 量级；
• 繁体、异体字识别率是否稳定在 95% 以上；
• 是否提供生僻字补录通道与自定义字符集；
• 是否支持筒子页、多栏、双行小注、天头地脚批注的版面分割；
• 是否按古籍阅读习惯重建输出顺序；
• 是否输出带类型标签的结构化结果；
• 对 300 DPI、轻微歪斜与透字的扫描件是否稳健；
• 是否支持批量处理与校对流程集成。

把这八项逐一验证清楚，再结合自身项目的字符分布与版式特点做小样本实测，选型结论会比任何单一指标都更可靠。古籍数字化的效率提升，本质上来自“机器处理长尾字符 + 结构保留 + 人工聚焦判断”三者的配合，而非某个单点指标的极致。