简介：古籍文本的自动识别与结构化，是中医文献研究、历史语料库建设与人文数字化领域的关键前置工作。本文围绕繁简汉字、异体字、竖排多栏版面与低质量扫描图像等典型难点，梳理古文字识别系统的核心能力指标、技术架构与工程落地要点，帮助研究者与开发团队选择可验证、可集成、可复现的高精度识别方案。
在中医古籍整理、方剂校勘与文献数字化项目中，通用印刷体识别工具往往在简体现代文本上表现稳定，一旦迁移到古籍场景，识别质量会迅速下降。造成这一现象的原因并不是简单缺少训练数据，而是任务定义本身发生了明显变化。
从字符空间角度看，现代简体中文常用字约数千个，而古籍文本涉及的繁体字、异体字、俗字、避讳字与通假字总量可超过十万。如果识别模型仅在当代印刷体字符集上训练，遇到“脈”与“脉”、“癥”与“症”、“薑”与“姜”等字形差异时，很容易出现错误替换，甚至输出根本不属于古籍用字体系的字符。由于中医方剂名、穴位名和药名对单字准确性极为敏感，这类错误会直接影响后续校勘与检索。
从版面结构角度看，古籍普遍采用从右至左、从上至下的竖排方式，大量文献还包含筒子页、半筒子页、双栏或三栏批注、眉批、夹注、行间小字以及朱墨套印。文本行并不是现代OCR中常见的水平直线，而可能随着书页弯曲、版框倾斜、栏线断裂而变化。这要求识别系统具备版面结构理解能力，而不是仅做像素级文字检测。
从图像质量角度看，古籍扫描件常存在透光、污渍、虫蛀、笔画残缺与墨迹不均等问题。部分抄本字体草率，字形变异大，文字之间存在连笔或挤压。与清晰印刷体不同，古籍识别必须在低分辨率、低对比度条件下仍能保持字符边界稳定，同时抑制背景噪声。
因此，古文字识别并不是OCR的一个简单子集，而是融合了字符识别、版面分析、历史语言学规则与图像增强的复合任务。后续章节将围绕这一任务的工程化要求展开。
一个面向实用的古文字识别系统，至少应具备以下五类能力。这些能力决定了系统是否能够进入真实项目流程，而不是仅停留在演示阶段。
模型训练的字符集规模直接影响能否覆盖目标古籍。覆盖能力不能只以字符总数衡量，还要关注异体字、俗字、碑别字和避讳缺笔字的覆盖比例。例如，在处理宋元医书时，同一药名可能在不同版本中采用不同写法，识别系统若不支持异体字归一化，即使文字识别正确，后续检索与统计仍会分散。
工程上通常采用“字形识别”与“字义归并”两层设计。底层识别模型输出候选字形集合，上层通过异体字映射表与上下文语言模型，将不同写法尽量对应到规范用字。这一思路能够兼顾保真与实用性：研究版本差异时保留原始字形信息，做全文检索和知识抽取时则使用归并后的规范形式。
古籍版面分析不仅要做文字检测，还需要输出带层级的版式结构。常见需求包括：区分正文、注文、批语与页码；识别多栏排版；处理跨栏批注；在栏线缺失时仍能推断栏目边界；按照古籍阅读顺序生成文本流。对于筒子页与半筒子页，还需要理解版心、鱼尾与页序之间的关系，避免左右半页拼接错误。
一些系统采用检测、分割、关系建模的级联流程：先检测文本块，再判断文本块类型，最后通过图模型或序列模型恢复阅读顺序。这种方式对于版式较规整的刻本稳定性较好，但在批注密集、栏线模糊的抄本上仍需人工校正。
分辨率低于300DPI、倾斜、透光与背景污损是常见问题。识别系统应在预处理阶段加入自适应二值化、局部对比度增强、弯曲校正与去噪流程。需要注意的是，过度增强也会破坏笔画细节，例如将细笔画的提钩、连笔处抹平，或者将污点误判为笔画。较好的做法是将增强策略与识别模型联合调试，通过识别损失反馈来判断增强是否有效，而不是仅看处理后的图像是否“清晰”。
古籍中存在大量通假字、形近字与上下文相关表达。仅靠字符图像信息难以判断“反”在某处是通“返”，还是表示相反之义。因此，识别系统需要在字符分类之后增加语言模型层，利用古典医籍语料或历史文献语料进行重排序。语言模型的作用不是改变原文，而是在多个候选中给出符合语境的解释，辅助人工校勘。
实际项目中处理的是成百上千页文献，不是单张图片。识别系统应支持批量导入、任务队列、失败重试、日志追踪与结果导出。输出上，JSON、XML或带坐标的文本格式比纯文本更适合后续处理。人工校核平台同样重要，应能同时展示原图、识别结果与置信度标注，让研究者快速定位低置信区域。
从工程实现角度看，古文字识别系统通常由图像预处理、版面分析、文字识别、后处理与结果输出五个模块组成。一个可参考的流水线如下：
输入图像│├─ 图像预处理：灰度化、去噪、二值化、倾斜校正、弯曲校正│├─ 版面分析：文本块检测、栏目识别、正文/批注分类、阅读顺序重建│├─ 文字识别：单字检测、字符候选生成、上下文语言模型重排序│├─ 后处理：异体字归一化、通假字提示、置信度标注、人机校核标记│└─ 结构化输出：JSON / XML / TEI 等格式，带坐标与角色信息
在图像预处理中，针对古籍常见的透光现象，可使用局部背景估计方法估计页面反面文字的干扰强度，再将其从前景中扣除。对于倾斜与弯曲，可采用基于文本行基线拟合的矫正策略，而不是简单旋转整页。对于多栏版式，通常需要单独对每一栏做行切分，避免将两栏并为一列。
在识别模块中，当前主流做法是使用卷积网络提取字形特征，再结合序列模型处理竖排文本行。由于古籍单字分割难度大，可先做文本行检测，再做序列识别，避免依赖逐字切分。对于异体字覆盖问题，训练集需要包含足够多的版刻风格、抄写风格和不同残损程度的样本。若训练资源有限，可先以规范繁体字数据训练，再通过异体字合成与数据增广提升覆盖能力。
输出环节中，建议将每个文本行、每个字都绑定坐标与置信度。这样可以在校核系统中实现“点击原文定位原图”，显著提升人工校对效率。对于方剂、药名、穴位等关键实体，可在输出后增加规则或模型抽取，形成半结构化知识。
不同项目对识别系统的要求差异较大，但以下指标具有通用参考价值：
规范刻本识别准确率：通常在版式规整、扫描清晰的四库类影印本上评估。此类场景是系统能力的上界，可用于横向比较。准确率应以整字为单位计算，同时统计整行完全正确的比例。
复杂抄本识别准确率：在字迹潦草、批注密集、纸张污损的抄本上评估。该指标更接近真实科研项目。需要注意的是，单一准确率数字不能完全反映问题，应结合典型错误类型分析，例如是否将批注误入正文，是否丢失夹注，是否错乱行序。
异体字识别与归一化能力：使用包含大量通假字、俗字和异体字的方剂文献做测试。评估指标可包括异体字识别正确率、归一化准确率，以及在检索任务中的召回率提升。
版面类型覆盖度：针对单栏、双栏、三栏、眉批、夹注、图注混排等版式分别测试。由于不同古籍版式差异极大，很难期待单一系统完全自动处理所有类型，因此评估时更应关注系统能否给出结构化的置信提示，而非是否完全无需人工干预。
批处理稳定性与可恢复性：在持续运行数百页任务时，系统是否出现内存增长、任务卡死、输出丢失等问题。断点续跑、失败自动重试与结果幂等写入应作为基本工程要求。
低于300DPI的扫描件会显著降低识别率。若无法重新扫描，可在预处理阶段联合使用亚像素增强、超分辨率重建与多帧融合。但要避免过度锐化导致笔画出现伪影。建议在增强前先对图像质量进行自动评估，将清晰度、对比度、倾斜角度等指标纳入任务元数据，便于后续追溯。
行切分错误往往比字符识别错误更难发现，因为一旦行序错乱，输出文本在语法上可能仍然通顺，但语义完全改变。建议在版面分析后增加人工抽检页，重点检查栏线缺失处、批注与正文交叉处。也可输出低置信度的“行序不确定区”，提醒校核人员优先处理。
识别系统可保留两种输出：忠实原文的字符序列和规范化的字符序列。前者用于版本研究、字形演进和原文引用，后者用于全文检索、统计分析和知识抽取。两种输出应有明确映射关系，避免后续处理中混淆。
批注往往字体更小、墨色不同、位置偏边缘。版面分析模型应利用空间位置、字高和墨色信息进行角色分类，而不是仅依赖文本语义。对于朱批和墨批混排的图像，可在预处理阶段使用颜色通道分离，分别输入识别模型处理，再在后处理阶段合并。
高质量识别模型需要足量标注样本。一种务实的方法是：先使用已有模型对目标古籍做自动识别，再仅对低置信度区域进行人工标注。这样可将标注预算集中在模型最容易出错的部分。经过几轮迭代后，可明显提升特定类型的识别效果，同时降低整体标注成本。
对于中医古籍研究、历史文献整理或地方志数字化团队，选定识别方案后，建议按以下阶段推进，以确保技术能力真正进入生产流程：
第一阶段：小样本验证。 选取具有代表性的50至100页，覆盖规范刻本、复杂抄本、多栏批注与低质量图像四类，分别测试识别效果。重点关注错误类型是否集中在可接受的校勘范围内。
第二阶段：流程集成。 将识别结果接入现有校勘与数据库系统，确认输出格式能够被下游工具消费。优先采用带坐标和置信度的结构化输出，避免只有纯文本导致难以回溯。
第三阶段：人工协同迭代。 建立“自动识别—人工校核—错误回流”的闭环。将每次人工修正的样本纳入训练或规则优化，使系统在项目语料上持续提升。
第四阶段：能力固化与复用。 将最终流程沉淀为可重复执行的配置或服务，支持新一批文献快速接入。对于识别能力本身，建议保持模块化设计，以便未来替换或升级底层模型。
古文字识别已经不再只是演示性技术，它正在成为古籍数字化与学术研究基础设施的一部分。对于中文古籍数量庞大的研究机构而言，建立一套可验证、可持续迭代的识别流程，远比单纯追求某一个模型在某一个测试集上的最高分更具实际价值。理解任务差异、明确能力边界、设计适合自身场景的评估方式，是选对方案的前提。