古籍数字化中人机协同校勘的技术路径与实践

一、问题的提出：古籍整理为什么需要工程化改造

古籍整理是一项知识密集、规则复杂、容错率极低的工作。传统校勘过程通常包括版本对勘、文字辨识、标点断句、异文记录、校勘记撰写、专名标注等环节，每一步都依赖专业学者的长期积累。然而，存世古籍数量庞大，据不完全统计，中国现存汉文古籍超过二十万种，若完全依靠人工整理，周期可能以数十年甚至上百年计。

从工程视角看，传统古籍整理面临的瓶颈可以归纳为三点：

第一，文字识别环节重复劳动多。大量影印本、拓片、写本需要将图像转为可编辑文本，纯人工录入速度慢，且易因字形相近产生基础性误录。

第二，标点与专名标注规则性强但工作量大。古籍没有现代标点，断句需要语言知识，但大量常规句式、常见书名、官名、人名、地名的识别具有一定规律性，适合部分自动化处理。

第三，审核与质量保障高度依赖专家。异文判断、版本源流分析、史实考订等复杂问题，短期内无法完全交由机器完成。

因此，合理的方案不是追求“全自动整理”，而是构建一套分层处理体系：将可规则化、可模式化的任务交给机器，将需常规判断的任务交给经过培训的志愿者，将高难度学术判断保留给专家。这正是“人机协同”校勘的核心逻辑。

二、分层处理模型：AI初校、人工校对、专家审核

一个可落地的古籍校勘系统，通常设计为三层流水线结构。

第一层：AI初步整理

AI层的任务是在图像和文本之间建立初步映射，并为后续处理提供工作底本。主要包括：

• OCR识别：对古籍扫描件进行文字检测与识别，输出带位置信息的字符序列。由于古籍存在异体字、避讳字、版式复杂、字体差异大等问题，通用OCR模型直接应用效果有限，通常需要针对古籍进行数据增强或领域微调。
• 自动标点：在识别文本基础上进行句读预测。现代序列标注模型可以将标点作为标签加在字符之间，输出带标点文本。
• 专名识别：识别人名、地名、书名、时间、职官等命名实体。古籍中专名常以简称、别称、合称出现，识别难度高于现代文本。
• 不确定性标记：AI在识别或标点置信度较低的位置进行高亮，明确告知后续校对人员“这里需要重点检查”。这一设计将模型的不确定性显式暴露出来，而不是掩藏错误。

AI层的关键产出不是“正确文本”，而是“带置信度标注的候选文本”。这种做法降低了后续人工作业的认知负担：志愿者无须从头阅读原始图像，只需聚焦于机器标记的不确定区域。

第二层：大众志愿者校对

志愿者通常不具备深厚的版本目录学知识，但经过基础培训后，可以胜任以下几类任务：

• 对照原始图像核查OCR结果，修正形近字、脱字、衍字等基础错误；
• 对AI标记的不确定区域逐条确认；
• 检查自动标点是否存在明显不合理之处；
• 按规范填写校对记录，如改了哪一处、依据是什么。

为控制质量，系统通常需要内置多种校验机制。例如，对同一段文本设置“双人独立校对”，两人结果不一致时自动进入第三人复核队列；对修改频次异常的区域触发复审；对志愿者的历史准确率进行统计与分级，高准确率者逐步获得更高权限。

第三层：专家审核

志愿者提交的成果不会直接进入最终库，而是先经过专家抽检或全检。专家解决志愿者无法判断的问题，包括但不限于：

• 异体字与通假字的规范处理；
• 版本异文的选择；
• 避讳字的回改；
• 职官、地名沿革的考订；
• 校勘记的学术表述是否规范。

专家的决策结果可以进一步回流到系统中，形成新的标注样本，供后续AI模型迭代使用。这样，“人”的每一次审核不仅完成当次任务，也同时为系统能力提升贡献了数据。

三、平台能力设计：从单点工具到流水线

古籍校勘要支持数百所高校、数万人协同作业，仅靠单机工具无法完成。平台化能力建设是另一个关键环节。一个完整的古籍整理平台通常需要以下模块。

1. 任务管理与分发

平台将一部古籍拆分为若干整理单元，每个单元有明确的状态流转：待识别、待初校、初校中、待复核、待专家审核、已入库。任务分发需要考虑志愿者的能力标签、历史表现与当前负载，避免集中分配导致瓶颈。

2. 在线校对界面

校对界面需要同时呈现原始影像、AI识别结果和可编辑文本框，并以视觉方式标出AI不确定区域。界面设计应尽量减少切换成本，让志愿者在单一视图中完成比对、修改与提交。

3. 规则引擎与自动校验

系统内置若干规则，用于自动拦截明显错误。例如：

• 原文与校对文本字符数差异超过阈值时提示；
• 志愿者删除AI高亮区域却未填写修改理由时限制提交；
• 两人独立校对结果差异较大时自动标记。

规则引擎的作用不是替代人工判断，而是将低质量提交阻挡在进入下游之前。

4. 版本管理与操作留痕

每一次修改都记录操作者、时间、修改前后内容。完整的操作历史使每一条校勘结果都可以追溯，也为后续抽样质检提供了依据。

5. 数据回流与模型迭代

专家审核后的高质量文本重新进入训练集，逐步提升OCR与标点模型对特定时代、特定文体的适应能力。数据闭环是该体系长期运行后效率持续提升的核心机制。

四、质量控制：从流程设计到度量体系

人机协同必须建立可度量的质量体系。简单来说，可以从三个维度衡量：

准确率：最终入库文本与原书一致的比例。这可以通过抽检统计得出，通常要求达到学术出版级别的极低错误率。

召回率：AI发现的“不确定区域”覆盖真实错误的比例。召回率越高，说明志愿者越少漏掉问题。AI的置信度阈值可以调节：阈值越低，标记越多，召回率上升，但人工负担也增加。需要根据实际数据找到平衡点。

人效比：单位人工时间内完成的整理字数。通过平台日志可以统计每一层级的处理速度。AI层的自动化程度决定了下游人工需要投入多少时间，而界面设计和任务流优化则直接影响志愿者的操作效率。

在实践中，常见的策略是分级质检：正常提交入库后按一定比例随机抽检；抽检发现问题的，扩大该批次的抽检范围；连续多批次不合格的志愿者或任务组会被降权或重新培训。这样能在有限质检成本下控制整体质量风险。

五、关键技术难点与应对思路

尽管分层模型在理念上清晰，工程落地仍面临不少技术难题。

1. 异体字与字形归一化

古籍中大量使用异体字、俗字、古字。OCR可能识别出不同字形，但学术规范要求按特定原则处理。实践中常采用“原文保留+规范对照”的方式：文本层保留原字形，检索层建立异体字映射表，实现“用规范字检索，看原字结果”。这一机制需要依赖较完整的异体字知识库。

2. 版式分析与图文对应

古籍版式复杂，有双行小注、眉批、栏外文字、句读圈点等。OCR前的版式分析如果不够准确，会导致正文与注文混排。平台需要支持对版面区域的精细化标注，并在校对界面上保留原版式信息，使志愿者能准确对应图文位置。

3. 自动标点在特定文体上的泛化

诗歌、骈文、典籍注疏等文体与现代汉语差异大，通用标点模型泛化能力不足。可行的做法是按文体或语料来源划分子模型，并持续以专家标点数据做增量训练。

4. 低资源场景下的模型能力

部分珍稀古籍可用的训练样本极少。此时可利用迁移学习，先在大型通用古籍语料上预训练，再针对小样本微调。同时，借助不确定性标记机制，让模型在低置信区域主动“求助”人工，降低错误扩散风险。

六、从校勘到知识挖掘：整理完成之后的价值延伸

古籍数字化整理完成只是第一步，真正的价值在于后续的知识挖掘与利用。

全文检索是用户最基础的需求。高准确率的文本库配合异体字映射，可以让研究者快速找到某个词在大量古籍中的分布情况。平台需要提供按时代、作者、部类、版本等多维筛选能力。

专名网络构建：在文本层标注人、地、时、书实体后，可以建立实体间的关联关系，支持诸如“某人的交游网络”“某地的文献分布”“某书在后代的引用情况”等研究问题。这些统计与检索能力对文学、历史、哲学等学科都有直接帮助。

数字校勘记：传统校勘记以纸本形式附于书后，检索不便。在数字化环境中，校勘信息可以结构化存储，与正文逐条关联。用户在阅读时点击校勘标记即可查看异文与依据，还可按校勘类型、版本来源等条件筛选。

面向学者的智能辅助：在高质量标注数据基础上，可以构建面向专业研究者的问答式检索服务，例如“某书中有几处提到某地名”“某版本与某版本的异文主要分布在哪几卷”。这需要将自然语言问题转化为对结构化数据的查询，并给出可溯源的回答。

七、工程经验的启示

“人机协同校勘”这一模式给出的启示并不局限于古籍领域，也可迁移到其他大规模、高精度文本处理任务中。

第一，显式标注不确定性是让机器与人工协作顺畅的关键。机器不必伪装完美，反而应该把“不会”的地方清楚标出来，让人的注意力集中在真正需要判断的位置。

第二，任务拆解与分层流转决定了系统可扩展性。不是所有人都要成为全流程专家，而是让不同能力层级的人承担与其能力匹配的工作，通过流程保证整体质量。

第三，数据闭环能带来长期复利。每一次人工修正都在为模型提供训练信号，系统能力随时间提升，而非静态工具。

第四，质量度量是工程化的前提。没有准确率、召回率、人效等可量化指标，就无法评估流程改进的效果，也无法做出理性的资源分配决策。

从工程角度看，古籍数字化并不是一个“AI替换人工”的故事，而是一个典型的“人机协同系统设计”案例。在流水线中，AI降低了边际成本，人类提供了最终可靠性，而平台能力则将单点效率放大为可协作、可度量的生产体系。这套思路，同样适用于法律文书整理、历史档案数字化、学术文献结构化等类似场景。