古籍文本结构化：从数字化到知识化的工程实践

一、背景与问题定义

古籍是人类文明的重要载体，但其原始形态——影印图像或手工录入的自由文本——对现代信息系统的检索、推理与再利用构成了根本性障碍。古籍文本结构化，正是解决这一问题的核心工程环节。

从工程视角看，古籍文本结构化的定义可以概括为：将非结构化或半结构化的古籍文献，经过识别、校勘、标注、建模等工序，转化为符合预定义数据模式的结构化数据，并导入数据库或知识库，使其可被程序化检索、关联与推理。

这一过程是古籍数字化向知识化跃迁的关键中间态。数字化仅解决了“载体迁移”（如扫描为图像），而结构化则解决了“语义可计算”问题。2022年4月，中共中央办公厅、国务院办公厅印发《关于推进新时代古籍工作的意见》，明确提出开展古籍文本结构化、知识体系化、利用智能化的研究和实践，为这一领域的技术攻关与工程落地提供了政策指引。

二、技术流程的分层架构

古籍文本结构化并非单一技术点，而是一条完整的加工流水线。合理的分层架构通常包含以下层级：

2.1 图像层：采集与预处理

输入为古籍扫描图像或数字影印件。预处理包括去噪、二值化、版面分析（区分正文、批注、眉批、印章等区域）、行分割与字分割。版面分析的质量直接影响后续识别的准确率，尤其是对于双行夹注、批点等复杂版式。

2.2 识别层：文字识别（OCR）与版式还原

文字识别是文本结构化与智能利用的关键第一步。针对古籍的OCR面临诸多挑战：异体字、通假字、避讳字、残缺字、竖排右起、无标点等。现代技术方案通常采用：

• 基于深度学习的检测与识别模型：如CTPN、DBNet用于文本检测，CRNN、Transformer-based模型用于字符识别。
• 后处理与语言模型校正：利用古籍语料训练的语言模型对识别结果进行置信度重排与纠错。

识别输出不应只是纯文本，而应保留版面坐标、置信度、候选字等信息，为后续校勘提供依据。

2.3 校勘层：自动与辅助校勘

校勘是古籍整理的核心工序。自动校勘系统通常结合：

• 多版本比对：若同一文献存在多个版本，可通过序列对齐算法自动发现异文。
• 规则引擎：针对避讳、异体字、古今字建立映射规则。
• 专家交互界面：将低置信度字符、异文候选提交给领域专家裁定。

校勘结果应记录修改痕迹与依据，形成可追溯的数据谱系。

2.4 标注层：结构标注与语义标注

结构化不仅仅是“把字认出来”，更重要的是恢复古籍的内在结构：

• 结构标注：卷、篇、章、节、段、行、页等层级；标题、正文、注文、疏文等角色。
• 语义标注：人名、地名、职官、纪年、事件、典籍引用等实体与关系。

标注体系可采用XML/TEI作为交换格式，或直接映射到关系型/图数据库模式。例如，一个简化的TEI片段示意：

<div type="chapter" n="1">
  <head>卷一 序例</head>
  <p>昔者<persName ref="#p001">孔子</persName>述而不作，信而好古。</p>
  <note type="comment">此句出自<ref target="#analects">《论语·述而》</ref>。</note>
</div>

2.5 存储与知识化层

结构化数据最终需导入数据库。常见选择包括：

• 关系型数据库：适合结构规整、关系简单的元数据与全文索引。
• 图数据库：适合实体关系密集、需要多跳查询的知识图谱场景。
• 文档数据库：适合存储层级灵活、模式多变的标注数据。
• 全文检索引擎：提供高性能检索与聚合能力。

知识化则是在结构化数据之上构建知识图谱，支持推理与智能问答。

三、关键工程挑战与应对策略

3.1 数据模式的设计

古籍种类繁多，从经史子集到方志、档案、石刻，结构差异巨大。设计一个“万能模式”既不现实也不经济。更务实的做法是：

• 定义核心元数据模式（如题名、责任者、版本、卷数、页数等）。
• 为不同文献类型定义可扩展的结构模板。
• 采用键值对或JSON字段容纳特异属性。

3.2 质量保障与可追溯性

结构化过程中每一步都可能引入错误。必须建立：

• 置信度传递机制：从OCR到校勘到标注，置信度应逐层传递与聚合。
• 版本控制：每次修改可回溯，支持差异对比。
• 质量抽检与指标：如字符准确率、字段完整率、关系正确率等。

3.3 人机协同的流水线

完全自动化在古籍领域尚不现实。高效的流水线应支持：

• 机器批量预处理与初筛。
• 人工聚焦于低置信度、高价值或歧义部分。
• 专家反馈回流，持续优化模型与规则。

3.4 上下游工序的衔接

识别、校勘、标注不应是孤岛。理想状态下，它们应纳入统一的上下游衔接流程：识别结果直接进入校勘队列，校勘后的文本自动触发标注任务，标注结果实时写入知识库。这种流水线化设计可显著降低数据搬运与格式转换成本。

四、从结构化到知识图谱

结构化数据是知识图谱的基石。以古籍中的人物关系为例：

1. 实体识别：从文本中识别人名、地名、职官等。
2. 实体消歧：同一人物在不同文献中可能有不同称谓，需归一化。
3. 关系抽取：如“A任B职”“A著B书”“A师从B”。
4. 图谱构建：将实体与关系写入图数据库，支持多跳查询与推理。

例如，查询“某人的所有著作及其引用关系”，在图谱中可通过路径查询高效完成，而传统全文检索则难以胜任。

五、实践建议与总结

对于计划开展古籍文本结构化的团队，建议遵循以下原则：

• 先定义数据模式，再动手加工：避免后期返工。
• 保留原始与中间数据：图像、识别结果、校勘记录、标注结果全链路留存。
• 采用开放标准：如TEI、JSON-LD等，便于交换与长期保存。
• 建立质量指标体系：量化评估各环节效果。
• 人机协同，迭代优化：将专家知识沉淀为规则与训练数据。

古籍文本结构化是一项融合文字识别、自然语言处理、数据工程与领域知识的系统工程。它不仅是技术问题，更是文化传承的基础设施。只有将结构化做扎实，知识体系化与利用智能化才有坚实的根基。