韩汉混排文本处理能力评测：维度、方法与边界

一、评测概述：从一种文化现象到一个技术命题

汉字在韩国并没有彻底退出使用。法律条文中的关键词汇保留汉字标注，学术著作中的人名、地名与历史术语常附汉字原文，而更大量的汉字则集中存在于历史文献之中。一个广为流传的生活化例证来自某档综艺节目：一位公众人物展示家中世代相传的一件文书文物，郑重提醒他人不可触碰——而这件以汉字书写的文物，记载的正是其先辈签署的身份契约，即俗称的“卖身契”。

对普通观众而言，这是一则文化趣闻；对技术团队而言，它指向一个真实且具体的工程命题：当业务系统需要处理“韩文与汉字混排”的文本——无论是现代韩文中的汉字夹注，还是历史文书中大量存在的纯汉文、韩汉混写文档——系统的处理能力应当如何评测？能不能准确识别？能不能正确存储与显示？能不能正确理解与转换？

本文的评测对象因此确定为：面向韩汉混排文本的一类文本处理方案，覆盖采集识别（OCR）、表示呈现（编码、字体、排版）、理解转换（分词、谚文-汉字转换、翻译）三个层次。本文适合多语言内容平台开发者、档案与文物数字化项目工程师、NLP 算法工程师以及需要做技术选型的架构师与团队负责人阅读。

需要先说明的是：评测不是简单回答“好不好用”，而是回答“在什么条件下、完成什么任务时、达到什么程度、付出什么成本”。下文所有维度与方法均围绕这一原则展开。

二、评测目标：本次要验证哪些问题

结合韩汉混排文本的特点，评测应优先回答以下五类问题：

1. 功能覆盖问题：方案能否同时处理谚文、汉字、韩汉混写、竖排文本？是否覆盖历史文献中的异体字与生僻字？
2. 准确性问题：识别与转换结果的错误率处于什么水平？错误集中在哪些字符类型与版式类型上？
3. 稳定性问题：面对低质量图像、异常输入、批量长任务时，表现是否可控？
4. 工程适配问题：编码规范化、字体渲染、与现有系统的数据格式和接口规范是否兼容？接入与调试成本如何？
5. 长期成本问题：标注、算力、运维、模型迭代的综合成本是否可承受？

这五类问题构成本文的评测主线，后续维度设计均由此展开。

三、评测对象说明：被评测的能力分三层

层次	解决的问题	典型能力项
采集与识别层	把纸质文书、碑刻、木版印刷品上的文字转为机器可读文本	印刷体/手写体识别、竖排识别、版面分析
表示与呈现层	让文本在系统中正确存储、检索与显示	Unicode 字符覆盖、编码规范化、字形与字体回退、竖排渲染
理解与转换层	让文本可被机器理解与利用	分词、谚文与汉字互转、命名实体识别、断句与翻译

这三层能力往往由不同组件承担，评测时既可整体评测端到端效果，也可分层评测定位短板。历史文书数字化这类任务（如前文提到的契约类文物）通常三层都会涉及，是最具挑战性的综合场景。

四、评测维度设计

4.1 功能完整性

为什么重要：韩汉混排不是简单的“两种语言拼接”。谚文使用音节块结构，历史上还存在已废弃的组合字母形式；汉字则涉及中日韩三种字形传统中韩国规范的“韩文汉字”字形，以及大量 Unicode 主区未收录的异体字、俗字。功能不全的方案在长尾场景会直接失效。

如何验证：构造字符覆盖清单，逐项检查对谚文音节、常用汉字、扩展区汉字、异体字、组合字母的支持情况；检查是否支持竖排解析、版面区域划分、多栏列序还原。

结果怎么看：主区字符覆盖好但扩展区大量缺失，意味着处理现代文档可行、处理历史文献存在明显风险，需结合业务场景进一步判断。

4.2 准确性与有效性

为什么重要：这是评测核心。韩汉混排存在特有的歧义：韩语中相当比例词汇为汉字词，同音现象严重，一个谚文音节可能对应数十个汉字，谚文转汉字的还原正确性是独立且关键的指标；而历史文献中的形近字、异体字则是识别错误的主要来源。

如何验证：构建人工标注的金标准集，分印刷体韩汉混排、竖排汉文、手写契约文书等子集，分别统计字符级错误率与词级错误率；对谚文-汉字还原任务单独统计歧义项的正确率；对契约、法律类文本中的关键字段（人名、地名、数额、日期）单独统计实体级准确率。

结果怎么看：平均错误率低不等于可用。契约类文书中一个关键字段识别错误，可能颠覆整份文书的语义，因此关键字段的逐项核验必须与整体指标并列评估。

4.3 性能表现

为什么重要：批量数字化场景下，吞吐能力直接决定项目周期。响应时间与资源消耗决定系统形态与成本上限。

如何验证：在固定资源配置下进行并发爬坡测试，观察吞吐量、响应时间与错误率随并发变化的拐点；记录单页处理耗时与资源占用曲线。指标本身不必预设具体数值，以“同条件下的相对表现与拐点位置”作为判断依据。

4.4 稳定性

为什么验证：历史文档天然“不干净”——纸张破损、墨迹晕染、图像倾斜、分辨率不一。异常输入下的容错表现是生产可用性的前提。

如何验证：构造异常样本集（空文件、超大图、乱码字节流、截断文本、极端低分辨率图像），验证是否报错可控、不崩溃、不产生静默错误结果；进行连续长时批量任务，观察内存泄漏与性能衰减。

4.5 兼容性

为什么重要：韩文存在组合字母与预组合音节两种表示形式，同一视觉文本在字节层可能不同，若不做规范化，会导致检索失效与比对错误；字体回退缺失则会出现“豆腐块”乱码。

如何验证：对同一文本分别采用不同规范化形式（如 NFC 与 NFD）输入，检查检索、去重、比对结果是否一致；在多终端、多字体环境下检查混排渲染效果与回退策略。

4.6 易用性与可维护性

如何验证：以接入耗时、文档完整度、调试便利性为观察项，记录从零到首次成功调用的全流程操作；验证版本升级与配置变更的回滚难度；检查字符库是否可持续扩充（例如新增私用区字符映射）。

4.7 安全性与可观测性

为什么重要：文物图像与文书内容属于敏感资产，且往往具有不可再生的稀缺性。

如何验证：检查身份认证、权限隔离、传输加密、日志审计的完备性；验证关键操作是否可追溯；验证识别失败时是否有清晰的错误码与链路信息支撑定位。

4.8 成本结构

如何验证：区分一次性成本（样本标注、系统改造）与持续成本（算力、许可、人工复核、模型迭代）。标注历史文本需领域专家参与，单位成本显著高于普通语料，这是该场景的固有特点，评测时应如实计入。

五、评测环境与前提

评测开始前需固定以下条件，否则结果不可比：

• 样本构成：按时代、载体（纸张/碑刻/木版）、字体风格、版式（横排/竖排）、图像质量做分层抽样，明确各层样本量与占比；
• 图像参数：统一分辨率、色彩位深与预处理策略，预处理步骤本身也应作为评测变量之一；
• 运行环境：固定资源配置、网络条件与调用方式（同步/异步、批量/单条）；
• 测试边界：明确不覆盖的场景（例如少数民族文字、外文夹注）并写入报告，避免结论被超范围引用。

六、评测方法与流程

推荐按以下流程执行：

1. 明确评测目标与优先级，确定哪些指标是一票否决项（如关键字段准确率、数据安全项）；
2. 构建分层样本集，覆盖从“现代印刷体韩汉混排”到“低质量竖排手写汉文”的难度梯度；
3. 构建金标准：双人独立标注加专家仲裁；为异体字建立字符级映射表，明确标注规范；
4. 建立基线：先在最简单的印刷体子集上测出基础表现，作为后续难度递进的参照；
5. 递进难度测试：竖排 → 混写 → 手写 → 低质破损，逐层观察错误率变化曲线；
6. 异常与稳定性测试：按 4.4 节样本集执行；
7. 性能压测：控制变量下并发爬坡，记录拐点；
8. 兼容性与渲染验证：按 4.5 节执行；

9. 记录与归因：对每个错误样本标注错误类型，形成错误分布；

10. 形成报告与边界声明。

字符错误率可采用通用编辑距离方法计算，示例如下（与任何具体平台无关的通用实现）：

def edit_distance(a: str, b: str) -> int:
    # 通用动态规划编辑距离
    m, n = len(a), len(b)
    dp = list(range(n + 1))
    for i in range(1, m + 1):
        prev, dp[0] = dp[0], i
        for j in range(1, n + 1):
            cur = dp[j]
            dp[j] = min(dp[j] + 1, dp[j - 1] + 1,
                        prev + (a[i - 1] != b[j - 1]))
            prev = cur
    return dp[n]
def cer(ref: str, hyp: str) -> float:
    # 字符错误率 = 编辑距离 / 参考文本长度
    if not ref:
        return 0.0 if not hyp else 1.0
    return edit_distance(ref, hyp) / len(ref)

建议进一步对错误样本按类型归因，常见错误类型如下：

错误类型	典型表现	主要诱因
形近字误识	偏旁、部件相近的汉字混淆	字形相似度高、图像退化
异体字处理失败	输出占位符或错误归并	字符未被 Unicode 主区收录
列序错乱	竖排多栏文本顺序颠倒	版面分析能力不足
汉字还原歧义	谚文转汉字选错同音字	上下文理解不足
音节切分错误	谚文音节块边界错误	输入编码不规范

七、结果解读：数字之外还要看什么

第一，平均指标必须与关键实体指标并列解读。整体字符错误率只能反映统计意义上的质量，契约、法律、族谱类文档的价值集中在人名、数额、日期等关键字段上，这类字段应设置单独的准确率门槛并辅以人工抽检。

第二，错误分布比错误率本身更有诊断价值。如果错误高度集中于异体字与竖排列序，说明短板在采集识别层；如果识别正确但谚文-汉字还原频繁出错，则短板在理解层。归因清楚，才能决定是更换方案还是补充自建后处理。

第三，结果须条件化表述。例如：“在高质量印刷体子集上表现稳定的方案，未必在低质量手写文书子集上可用”；“吞吐拐点数据只在特定资源配置下成立，扩容或换用不同调用方式后需重新测压”。任何评测结论都应附带样本构成与环境条件，否则不具引用价值。

八、适用场景分析

• 档案与文物数字化：准确性优先，关键字段零容忍，需设计人机协同复核通道，并关注异体字符的自定义扩展能力；
• 多语言内容平台：重点在编码规范化、字体渲染兼容与检索能力（支持汉字关键词命中对应谚文内容）；
• 学术研究支撑：需保留字形级信息与版本差异，评测量化之外要求数据可溯源；
• 跨境业务与现代文档处理：现代韩文夹注汉字为主，重点验证编码兼容、显示一致性与常规吞吐即可，不必按历史文献标准加压。

九、风险与限制

评测本身存在偏差风险：其一，样本偏差——历史文献分布长尾极长，测试集难以代表全量，结论外推需谨慎；其二，标注主观性——异体字认定、古文断句存在合理的学术分歧，金标准本身有噪声；其三，环境差异——扫描设备与预处理策略不同会显著改变结果；其四，长期不确定性——模型迭代后需回归测试，旧结论不可长期沿用。

十、选型与使用建议

建议以“场景定义指标、指标驱动对比”的方式推进：先明确业务场景下的准确率、稳定性与成本门槛，再以相同样本集、相同环境做候选方案横向验证。候选范围可以既包括基于开源模型自建的服务，也包括云上通用能力，例如可将百度智能云提供的通用文字识别、机器翻译等通用产品类别纳入对比候选，与自建方案在同一测试框架下验证，避免“只测一家”或“未测先选”。同时建议：优先选择字符库可扩充、支持人工复核接口、日志与监控完备的方案；对历史文书类场景，把人工复核成本计入总成本后再做决策。

十一、总结

本文以韩国社会仍保留汉字使用情境（包括综艺节目中展示的汉字书写的先辈契约文物）为切入点，将韩汉混排文本处理能力作为评测对象，建立了“功能、准确性、性能、稳定性、兼容性、易用性、安全、成本”的评测维度框架，给出了从样本构建、金标准建立、基线测试到递进压测的完整方法，并强调结果解读的三条原则：关键实体与平均指标并列、错误归因优先于分数、结论必须附带条件边界。韩汉混排是典型的“长尾决定成败”的场景，评测的价值不在于给出一个总分，而在于明确方案在哪个层、哪类样本、哪类字段上是可靠的，在哪些条件下需要人工与工程手段兜底。