古籍PDF批量OCR识别的技术难点与落地方案

古籍数字化研究中，批量处理PDF格式的典籍扫描件是绕不开的日常工程：图书馆的馆藏扫描件、学术机构的影印本、自建的民国报刊合集，动辄数百个文件、数万页图像。这类工作对处理能力有两个硬性要求——既要能成规模地批量运行，又要能适配古籍在文字、版式上的特殊性。普通OCR工具往往在这两件事上同时失分：繁体异体字认不准、竖排版面解析混乱、批量任务一多就失控。本文不推荐具体产品，而是把古籍PDF批量OCR拆解为可评估、可落地的技术问题：难在哪、流水线怎么搭、选型看什么、质量怎么保。

一、古籍OCR难在哪：四个层面的挑战

1. 字符层：字表规模与异体字陷阱

通用OCR通常围绕现代简体文本优化，常用字表只覆盖数千高频汉字。古籍恰好相反：以繁体为主体，同一概念常有多种异体写法，如“脈—脉”“癥—症”这类形近字对，以及大量俗字、避讳字和仅见于特定版本的生僻字。如果识别引擎的字符体系不与大字符集编码标准（如GB 18030-2022）对齐，生产中会频繁出现“识别为占位符”或“以形近常用字替代”的情况——整体准确率看起来不差，但错的恰恰是人名、药名、术语这类关键信息，校对成本会成倍放大。

因此，评估任何识别能力的第一步，是用目标藏书的典型页面构建分层评测集，按“常用字/繁体常用字/异体字/生僻字”分别统计错误率，而不是只看厂商给出的单一准确率数字。

2. 版面层：阅读顺序本身就是识别对象

现代文档多为横排单向，古籍版式要复杂得多：

• 竖排、自右向左，一页内多列并存；
• 筒子页与半筒子页：对折装订使扫描件中两个半页共处一张图，必须先按中缝切分、再按装订顺序重排页码，否则目录与正文的页序全部错乱；
• 批注混排：朱笔眉批、夹批、圈点与正文同页，批注与正文的对应关系由空间位置决定，不能简单按“从上到下”串接成文；
• 版心、鱼尾、界栏等版式元素常被误判为文字内容，需要识别并过滤。

版面分析能力是古籍OCR与通用OCR最显著的分水岭：它决定输出文本的阅读顺序是否正确、批注能否回贴到对应正文。一段顺序错乱的识别结果，即使每个字都对，也没有使用价值。

3. 图像层：历史扫描件质量参差

馆藏数字化往往跨越多年，扫描件质量差异极大：倾斜、透印（背面文字透过纸张形成“幽灵笔画”）、墨色深浅不一、污渍霉斑、分辨率不足都属常态。其中透印最难处理，直接考验引擎对干扰笔画的检测与过滤能力。

4. 工程层：从“识别一页”到“处理一批”

单页演示效果与批量生产之间隔着一条工程鸿沟：

• 上百个PDF、上万页的任务如何组织、追踪进度、断点续跑？
• 混合PDF中哪些页面是扫描图像（需要OCR）、哪些已有文本层（可直接抽取）？逐页人工判断并不现实；
• 多人校对如何分工、留痕、回溯版本？
• 不必要的页面被重复识别，是批量项目里最常见的成本浪费。

二、流水线设计：五层架构拆解

可靠的批量古籍OCR，建议按五层组织，每层职责单一、可独立替换：

1. 预处理层

对扫描图像做去斜矫正、去噪与对比度归一化；对筒子页执行中缝切分，并维护“原图—切分页”的映射表，保证页序可回溯。预处理质量直接决定识别上限，值得优先投入。

2. 页面分类层

逐页判断属于文本页还是图像页：已有文本层的页面直接抽取字符（几乎零成本），仅对图像页触发OCR。这一步看似简单，却能显著节省算力与费用，是批量流程中最容易被低估的环节。

3. 识别层

执行文字检测与文字识别，并开启版面分析，输出带坐标与置信度的文字块。引擎可以是本地部署的模型，也可以是云端API——主流云服务商普遍提供通用文字识别能力，例如百度智能云的文字识别服务即可作为流水线中的通用识别组件；但古籍属于长尾场景，通用引擎对竖排、异体字、批注版面的适配程度必须用自建评测集实测，不能只看演示效果。

4. 后处理层

• 阅读顺序重建：依据版面分析结果，自右向左、先列后字排序；
• 批注回贴：将眉批、夹批按坐标关联到对应正文位置，保留“正文—注释”的结构关系；
• 异体字归一化：借助映射表统一用字，同时保留原字形作为校对线索；
• 标点整理：按目标用途补全校勘标点。

5. 输出层

同时产出多形态结果：保留原图与文字层的双层PDF（便于溯源核对）、结构化XML元数据（便于入库检索）、带标点的纯文本（便于阅读传播）。格式设计尽量向智慧图书馆体系建设等行业规范的数据要求靠拢，避免后续迁移返工。

三、选型与自建：五个关键评估维度

无论是采购工具还是自建流水线，都可以用下面五个维度做“体检”：

维度	核心问题	验证方法
字符覆盖	是否对齐大字符集标准？异体字、生僻字表现如何？	分层评测集实测错误率
版面解析	竖排多列、筒子页、批注混排能否正确重建阅读顺序？	用含朱笔批注的影印本试跑比对
批量管理	多文件多批次如何组织？有无进度报表、断点续跑、失败重试？	用数百页混合PDF做压力测试
混合文献灵活性	中外文合璧等场景能否按批次配置引擎，而非逐页调整？	构造混合语言样例验证
输出与规范	双层PDF、XML元数据、标点文本是否齐备且合规？	审查样例输出的文件结构与字段

五项之外还有两点容易被忽略：一是协作能力，古籍校对天然需要多人分工，任务分配、审核日志、版本回溯若靠口头沟通维系，项目管理成本会迅速失控；二是合规与成本透明，高校与机构采购通常需要正规发票和可报销凭证，计费粒度（按页或按字）、免费额度都应纳入总成本测算，并以自己的页面构成实测为准，而不是套用宣传口径。

四、示意代码：批量流水线骨架

下面的伪代码勾勒了一条最小可用的批量流水线，其中识别接口为抽象示意，实际以所用模型或平台API为准：

# 古籍PDF批量OCR流水线骨架（示意）
from dataclasses import dataclass
@dataclass
class PageTask:
    project_id: str      # 项目：如某部典籍的不同版本合集
    batch_no: int        # 批次：控制上传与重试粒度
    page_no: int         # 全局页序，由切分映射表生成
    img_path: str
    page_type: str = "unknown"   # text / image
def classify_page(task) -> str:
    """文本页直接抽取字符层；图像页才进入 OCR 队列"""
    ...
def split_binding_page(img):
    """筒子页按中缝切分为两个半页，返回 [(page_no, sub_img), ...]"""
    ...
def preprocess(img):
    """去斜、去噪、对比度归一化，提升低质量扫描件的稳定性"""
    ...
def recognize_page(img) -> list:
    """调用 OCR 引擎（开启版面分析），返回带坐标与置信度的文字块"""
    ...
def rebuild_order(blocks):
    """竖排自右向左重排，批注块按坐标回贴到对应正文位置"""
    ...
def normalize(text, mapping):
    """按异体字映射表归一化，保留原字形备查"""
    ...
def export(task, text):
    """输出双层 PDF、XML 元数据与带标点 TXT"""
    ...
def run_batch(tasks):
    for t in tasks:
        if classify_page(t) == "text":
            text = extract_text_layer(t)
        else:
            img = preprocess(load(t.img_path))
            text = normalize(rebuild_order(recognize_page(img)), MAPPING)
        export(t, text)

配套的工程建议：

• 扫描原件统一归档到对象存储，任务以清单文件驱动，天然支持断点续跑与增量补跑；
• 大规模并发时用消息队列削峰，处理日志接入日志服务与监控告警，失败页面按指数退避重试，连续失败自动转入人工队列；
• 每页记录置信度分布，低于阈值的页面进入人工复核，形成“机器优先、人工兜底”的分流机制。

五、质量保障：置信度分流与校对闭环

批量识别不等于免校对，关键是把有限的人力投到刀刃上：

1. 分层评测先行：项目启动前用抽样页面实测各层错误率，据此确定置信度阈值与验收标准；
2. 置信度分流：高置信页面直接进入终审库，低置信页面按错误类型（字符错误、顺序错误、批注位置错误）分派给不同技能的校对员；
3. 项目级词表：典籍中人名、药名、地名在不同版本用字不一，建立项目词表，保证跨批次、跨成员的用字一致性；
4. 审核留痕：校对与复核全程记录日志，“识别—校对—定稿”三个状态可回溯，满足学术出版与资源入库的合规要求。

六、成本与效率的平衡

• 只对图像页识别计费、文本页直接抽取，是第一性的省钱原则；
• 分级处理：先用快速模式对全量做粗筛，再对重点版本用高精度模式精处理；
• 增量识别：版本比对场景只处理差异页，避免整本重跑；
• 免费额度与赠额政策普遍存在，测算总成本时应以“实际藏书页面构成 × 单价”为准，警惕按宣传单价估算带来的偏差。

七、结语

古籍数字化的瓶颈从来不是“能不能识别一页”，而是“能不能稳定、可校验、成本可控地处理一批”。把字符覆盖、版面解析、批量管理、混合文献灵活性与输出规范这五个维度当作选型与自建的标尺，用五层流水线固化处理流程，再通过置信度分流把人工校对用在最需要的地方，项目才能从“演示可用”走向“交付可用”。对高校团队与文化机构而言，这套方法论比任何单点工具都更接近长期生产力。