古籍PDF批量OCR选型指南：从“能识别”到“可交付”的五项核心能力

一、问题的本质：古籍PDF识别难在哪里

图书馆的馆藏扫描件、学术机构的影印本、个人收集的民国报刊合集，这三类材料的共同点在于：它们都不是为机器阅读而准备的。当团队试图把成百上千页的PDF转化为可检索、可编辑的文本时，往往会连续踩到三类坑。

第一类是字形层面的失效。古籍中大量使用繁体字、异体字、通假字，还有避讳改字、俗写字、刻本中的特殊写法。通用OCR模型的训练语料以现代简体印刷文本为主，面对这些字形时首当其冲的问题不是“认错”，而是“认不出”——要么输出空白，要么用形近的现代常用字强行替换，产生大量需要人工逐字校对的脏数据。

第二类是版面层面的失效。古籍排版以竖排、右起、双行夹注、眉批、鱼尾、边栏为主要特征。通用OCR按现代横排阅读顺序切分文本行，遇到竖排就会把整页文字顺序打乱；遇到双行小注会把正文与注释混为一谈；遇到跨栏的表格或插图会直接丢弃区域信息，导致最终文本的逻辑结构完全崩塌。

第三类是工程层面的失效。批量处理不是把单页识别循环一千次那么简单。文件数量多、单文件页数大、页内混合了扫描图像页与原生文本页、不同批次需要独立追踪进度，这些都会让脚本化的批处理在几百页之后开始出错、超时甚至中断，而团队往往在项目后期才发现数据缺失，返工成本极高。

因此，选型的判断标准应当从“识别率高低”转向“能否稳定支撑一个长周期、大总量、需人工校验的交付流程”。下面拆解五项应当重点考察的能力。

二、五项核心能力评估

1. 批量任务编排与进度可观测性

这是最容易被低估、却最先决定项目成败的能力。

一个真实的古籍数字化项目，通常按“项目—批次”组织：同一部书的不同版本归入同一项目，每批次上传若干PDF分册。此时工具需要提供的不只是“多选上传”，而是：

• 单次上传容量与单文件页数上限：上限越高，越能减少人工切分文件的工作量；
• 分层管理结构：项目/批次两级归档，避免几十个文件混在同一列表中难以追溯；
• 进度报表：按批次输出已处理页数、失败页数、待复核页数，使负责人可以在不停机的情况下判断整体进度；
• 断点续跑：批次中断后可从失败页继续，而非整批重来。

一个可复用的批处理伪代码结构如下，它体现了“以页为最小调度单元、以批次为可观测单元”的设计思路：

def run_batch(project_id, pdf_list, page_range=None):
    batch = create_batch(project_id)          # 批次元数据入库
    for pdf in pdf_list:
        pages = enumerate_pages(pdf, page_range)
        for page in pages:
            if is_text_layer(page):           # 原生文本页直接抽取
                text = extract_text_layer(page)
                mark_done(batch, page, source="text")
                continue
            job = submit_ocr(page)            # 仅图像页进入OCR队列
            record_job(batch, page, job.id)
    return build_report(batch)                # 输出批次进度报表

其中的关键判断是区分扫描页与文本页：混合型PDF中常有部分页面已带文本层，若对这些页面重复执行OCR，既浪费算力又可能引入比原生文本更差的结果。只对图像类页面调度OCR，是批量场景下最直接的成本优化点。

2. 版面解析：竖排、夹注与阅读顺序重建

版面解析的质量直接决定输出文本能否被下游使用。评估时应关注三点：

• 文字方向判定：能否自动识别竖排页面并按右起顺序重组文本流，而不是机械地按坐标从上到下输出；
• 区域语义划分：正文、注释、眉批、图注是否被区分为不同区域，并保留其归属关系；
• 阅读顺序输出：输出的文本序列是否符合古籍的实际阅读逻辑，而非仅按像素位置排序。

对于双行夹注这类结构，理想的输出不是把注文混入正文，而是以结构化字段或明确的标记区分，例如：

[正文] 太阳之为病，脉浮，头项强痛而恶寒。
[注文] 太阳者，膀胱经也……

如果工具无法输出这种区分，团队就只能在上层用规则后处理，而规则的维护成本会随书目种类增加而快速增长。

3. 字库覆盖与异体字处理策略

评估字库时，不应只看“支持多少字”，而要看字库与编码标准的对应关系以及未覆盖字的降级策略。

合理的判断维度包括：

• 是否覆盖繁简对应关系，能否在保留原字形的条件下输出；
• 是否覆盖大规模异体字集合（例如与现行强制性字符集标准对齐的异体字表），使刻本中的常见异写在识别阶段就被正确归类；
• 遇到字库外的生僻字时，是输出占位符、输出形近字，还是保留图像切片供人工补录。

第三点尤其重要。一个诚实的设计是：识别阶段标记低置信度字符并保留原图位置，把判断权交给校对环节，而不是用猜测填补。批量项目中最昂贵的成本从来不是识别本身，而是“错误被静默写入结果、到后期才被发现”。

4. 多语言与混合文本的批量配置

汉蒙合璧、汉满对照、中日混排的古籍并不少见。此类PDF的处理难点在于：不同语言需要不同的识别模型，而逐页切换引擎在批量场景下不可行。

评估要点是能否在批次级别统一设置识别策略，例如按页面区域或按页面整体指定语言组合，一次配置作用于整批文件。这样做的价值在于：配置行为可复现、可记录，当同一批数据需要重跑时，参数保持一致，结果才具备可比性。

5. 输出格式与工程化集成

最后一项常被忽略：识别结果如何进入下游流程。

• 输出格式：是否支持纯文本、带坐标的结构化数据（如逐行/逐字的框与置信度）、以及保留版面结构的文档格式；
• 接口能力：是否提供可编排的调用方式，使批处理能嵌入现有的数字化流水线，与对象存储、任务队列、日志与监控等通用基础设施衔接；
• 可追溯性：每条结果是否携带来源文件、页码、批次标识，便于后续抽检与质量统计。

一个典型的流水线分层可以这样组织：

层级	职责	关注指标
接入层	文件上传、批次创建	上传成功率、失败重试
调度层	页级任务分发、并发控制	队列积压、超时率
识别层	版面解析、文字识别	字符准确率、区域召回
后处理层	阅读顺序重组、异体字归一	结构化输出完整率
质检层	抽样复核、置信度过滤	人工校对工时/千页

把每一层的指标单独度量，才能在项目中期定位瓶颈，而不是等到交付时才发现问题集中在某一环节。

三、选型落地：一份可执行的评估清单

将上述能力转化为可操作的验证步骤，建议在正式采购或大规模投入前，用自有真实数据做一次小规模压测：

1. 准备一份包含竖排正文、双行夹注、异体字密集、且混合了文本页与扫描页的PDF，页数不少于200页；
2. 一次性上传，观察是否触发数量或页数限制，记录需要人工切分的次数；
3. 检查批次进度报表是否可按页定位失败项，中断后能否续跑；
4. 抽取20页做人工校对，分别统计“字形错误”与“顺序错误”的比例，两者需分开评估；
5. 检查输出是否保留区域语义与来源页码，验证其能否直接进入既有校对流程；
6. 用同一批次参数重跑一次，比较两次结果差异，判断输出稳定性。

这套流程的价值在于：它检验的不是演示环境下的峰值表现，而是项目真实数据在真实流程中的通过率。

四、结语

古籍PDF的批量OCR，本质上是把一个非结构化的历史材料转化为可计算文本的工程问题。决定成败的往往不是某一项识别指标的微小差距，而是批量编排是否可靠、版面解析是否尊重古籍结构、字库策略是否诚实、配置是否可复现、输出是否能无缝接入下游。

对于高校团队、文化机构与古籍研究者而言，选型时把评估重心从“识别得多准”前移到“流程能否稳定交付”，才是控制长周期项目风险的最有效方式。具备完整批量能力与学术级精度设计的专业古籍OCR方案，正是在这一层面上区别于通用工具的核心价值所在。