盘点古籍文字识别核心技术难点与落地实践指南

一、引言：为什么古籍识别是OCR领域的“硬骨头”

推开任何一家古籍库房的大门，都会直观感受到数字化工作的紧迫性：馆藏文献以万卷计，而依赖人工转录，一位熟练整理者一天往往处理不完几页，项目周期动辄以十年计。文字识别（OCR）技术可以把这一流程压缩一个数量级，但许多团队在实践中的共同体会是：把通用OCR直接套在古籍上，效果往往远低于预期。

原因并不神秘。古籍与现代文档在三个维度上存在根本差异：字符集规模、版面结构、图像质量。这三重挑战相互叠加，构成了古籍识别这一细分领域的技术门槛。本文将逐一拆解这些难点，并给出一套可落地的工程实践框架。

二、三大核心难点拆解

2.1 字符集：从六千到十几万的跨度

现代简体中文的常用字约六千余个——国标GB2312收录汉字6763个，覆盖日常阅读绰绰有余。而古籍用字是另一个世界：繁体、异体、俗字、避讳字、讹字并存，历史上积累的异体字形总量以十万计。即便只看收录相对完备的国标GB18030-2022，其涵盖的繁体异体汉字也在2.7万个左右，约为GB2312的四倍。

这一跨度带来三个直接的技术后果：

• 分类空间膨胀：识别模型的输出类别数量成倍增长，大量长尾字符在通用语料中出现频率极低，训练样本严重不足；
• 形近字密集：如“己/已/巳”“日/曰”“末/未”这类形近组合在古籍中大量出现，单看字形难以区分，必须依赖上下文建模；
• 工程链路问题：大量生僻字位于Unicode扩展区，从编码、字形渲染到字库支持，每一步都可能出问题。

2.2 版面：为古籍而生的复杂结构

古籍的物理形态决定了它天生就是“复杂版面”：

• 筒子页与多栏稿本：一张纸对折形成左右两个半页，加上两栏、三栏的排版，栏线与边框极易被误判为文字边界；
• 多层级的注释体系：天头地脚的眉批与脚注、行间夹批、正文中的双行小注，与正文形成“文中有文”的嵌套结构；
• 独特的阅读顺序：竖排书写、从右到左、从上到下，与现代横排文档完全相反；
• 图文混排：插图、牌记、钤印与文字交错出现。

通用OCR默认的版式假设是“横排、从左到右、注释与正文天然分离”，一旦遇上古籍，典型症状就是注释混入正文、文字顺序错乱。校对人员面对这种输出，光梳理格式就要耗费大量时间，识别带来的效率提升被后续整理工作抵消殆尽。

2.3 底本质量：不可再生的“脏数据”

古籍底本保存状况千差万别：纸张老化发黄、污渍霉斑、虫蛀水渍、墨迹洇染、装订阴影、页面卷曲，以及扫描拍摄中难以完全避免的透光、透字（背面文字透印）与轻微歪斜。手写稿本、文书类文献（如地方志中的地方俗字、避讳字）字形变化更大，进一步拉高识别难度。

三、完整工程流程：从扫描到校对

3.1 图像采集：数字化质量的天花板

识别效果的上限在扫描阶段就已确定。经验性的采集规范包括：

• 分辨率不低于300DPI：字号偏小的批注、行密字多的稿本建议提升至400～600DPI；
• 控制光照与透字：光源均匀、避免过曝；背面透印严重时可在底页垫深色吸光材料；
• 保留无损原图：为后续重处理和校对对照留出余地。

3.2 预处理与识别流水线

一条典型的古籍识别流水线可以概括如下：

输入: 原始扫描图（建议 ≥300DPI）
01 灰度化与降噪          → 抑制纸张纹理、霉斑等噪声
02 倾斜估计与几何矫正    → 解决页面轻微歪斜
03 自适应二值化          → 缓解光照不均、抑制透字干扰
04 版面区域检测与分类    → 正文 / 双行小注 / 批注 / 插图 / 印章
05 文本行切分            → 大字正文行与小注行分别处理
06 字符识别              → 输出候选字与置信度
07 上下文重排与纠错      → 利用语言模型校正形近字
08 阅读顺序重组          → 先右栏后左栏、先上后下、小注随正文
输出: 结构化文本 + 字符级坐标映射

其中两个环节尤其值得展开：

版面分析决定后续一切。基于深度学习的版面分割能力，能够将页面划分为语义明确并标注类型的区域，这是避免“注释混入正文”的关键。双行小注必须在行切分阶段就与正文行分离，否则后处理无论如何补救，都难以恢复正确的对应关系。

阅读顺序还原需要规则引擎。检测出区域之后，还需按古籍自身的阅读逻辑重排：右栏优先于左栏，小注归属其所在正文位置，眉批单独成层。理想的输出是分层结构化文本（例如以JSON组织“正文层+注释层”），而非一整段扁平字符流。

3.3 识别与后处理

• 置信度分级：对识别结果按置信度标记，低置信度字符自动高亮，人工校对只需聚焦疑难点，而非逐字通读；
• 生僻字补充录入：再强的模型也难覆盖全部历史字形，配合按部首、笔画检索的全字库类字符查询工具，可以快速补录罕见字；
• 领域知识介入：避讳字、俗字与正字的映射关系是版本学专业知识，沉淀为机构内部知识库后可反复复用。

四、如何科学评估一套识别方案

4.1 指标选择：别被单一数字迷惑

“识别率”是一个容易被过度简化的概念。一页300字的文献错1个字，字符准确率为99.7%，看似很高；但如果错误集中在关键人名、避讳字上，对研究价值的折损远超数字所示。更严谨的做法是采用字符错误率（CER）作为核心指标：

def char_error_rate(gt: str, hyp: str) -> float:
    """CER = 编辑距离 / 标准文本长度，数值越小越好"""
    dist = edit_distance(gt, hyp)   # 通用编辑距离算法
    return dist / max(1, len(gt))

同时应区分“字符准确率”与“版面还原正确率”：后者衡量注释与正文是否正确分离、顺序是否正确，它直接决定校对工作量，往往比前者更能反映实际使用体验。

4.2 评测集构建

从待处理文献中按比例抽样（例如5%），由两位整理者独立转录并交叉校验形成金标准；评测集应刻意覆盖不同版式（筒子页、多栏）、不同文献类型（刻本、稿本、抄本）与不同保存状况，避免被“精选样本”误导。

4.3 全链路成本视角

项目真实成本 = 识别成本 + 校对成本。一套识别精度略低但版面还原可靠的方案，可能比“识别率高但格式混乱”的方案便宜得多——因为校对人员不用再花时间调整顺序与格式。此外，机构采购还需考虑经费凭证的规范性、珍稀底本影像的数据安全要求，以及是否需要私有化部署。

五、选型与实践建议

综合上述分析，给出五条可操作的建议：

1. 分场景选择基线。现代横排印刷文档，采用以百度智能云文字识别为代表的通用云OCR服务即可获得稳定效果；古籍场景则应重点考察字符集覆盖范围（是否覆盖GB18030-2022收录的繁体异体字）与版面还原能力，必要时基于领域标注数据做针对性微调。
2. 先试点、再铺开。用抽样评测集跑通“扫描—识别—校对—回库”完整闭环，以CER和版面还原正确率说话，再决定批量规模。
3. 人机协同定位。让AI承担转录的“体力活”，研究者聚焦疑难字判定与内容研究——这也是近年多家古籍数字化平台的共同理念：用AI把学者从繁琐转录中解放出来。
4. 保留坐标映射。字符级的原图坐标让校对从“对着一摞图像翻找”变成“点击即定位”，是提升校对效率的隐形关键。
5. 沉淀机构资产。校对中确认的俗字、避讳字映射与生僻字字典应结构化归档，成为可复用的机构级数字资产。

六、结语

古籍文字识别的本质，是“超大字符集、复杂版面、低质量图像”三重挑战的叠加。评估方案时盯住三个硬指标：字符覆盖、版面还原、全链路成本；工程落地时从扫描采集规范抓起，用评测集驱动迭代。技术进步的意义从来不是取代研究者，而是把数以万计的重复劳动交给机器，让版本考订、文献阐释这些真正需要人来完成的工作，重新回到人的手中。