汉字生成评估的粒度困境：从OCR黑箱到结构感知的评测方法

一、问题的提出：为什么AI总是写错中文字？

让文生图模型生成一张带有中文标语的海报，往往会出现一种典型现象：远看整体布局像模像样，近看却发现某个字多了一撇、某个偏旁被挤压变形，甚至整个字的结构都发生了错位。这不是某一款模型的个别缺陷，而是当前文生图系统在面对笔画复杂的汉字时普遍存在的通病。

要理解这个问题的根源，需要先区分两个层面：生成能力和评估能力。前者决定模型能否画出正确的字形，后者决定模型在训练过程中能否获得有效的改进信号。业界通常采用强化学习对生成模型进行后期训练，而强化学习依赖一个“裁判”对生成结果打分。如果裁判本身无法准确区分“错一点点”和“错得离谱”，那么模型就得不到有意义的梯度信号，优化自然无从谈起。

问题的关键恰恰出在这个裁判身上。

二、OCR裁判的工作机制及其根本局限

2.1 OCR裁判的打分逻辑

当前主流的评估方案是使用OCR（光学字符识别）模型作为裁判。其流程可以简化为：

生成图片 → 裁剪文字区域 → OCR识别 → 与目标文本比对 → 打分（对/错）

逻辑非常直接：识别结果与目标文字一致则给满分，不一致则给零分。这种二值化的打分方式在英文场景下基本够用，因为英文的最小单位是字母，26个字母的排列组合构成了所有单词，OCR对字母的识别已经相当成熟。

2.2 汉字为什么不一样

汉字与英文有着本质的结构差异。英文是一维的线性序列，而汉字是二维的积木结构。一个汉字由偏旁部首按照左右、上下、包围等空间关系组合而成，这种结构规律被称为“汉字构型”。例如：

• “尬”字由“九”和“龙”的变体左右排布而成；
• “想”字由“相”和“心”上下叠放而成；
• “国”字是“玉”被“囗”包围的结构。

这意味着汉字的错误有多种粒度：可能是一个笔画写错了位置，可能是一个偏旁写变形了，也可能是整个部件的空间关系搞反了。但在OCR裁判眼中，这些统统只是“识别不出来”或“识别成了别的字”，最终都归为零分。

2.3 一个直观的类比

设想你在批改一份100道选择题的试卷，但评分规则是：全对给100分，只要有错就给0分。那么一个错了1道题的学生和错了90道题的学生得到的结果完全相同。这样的反馈无法告诉学生“你哪里需要改进”，学生也就不知道该往哪个方向努力。OCR裁判面临的正是同样的困境——它无法告诉生成模型“你的这个字左边偏旁对了但右边写错了”，只能给出一个笼统的零分。

三、现有改进方案的尝试与不足

面对OCR裁判的局限，业界已经出现了一些改进尝试，但各有其局限性。

3.1 多模态大模型作为裁判

一类思路是引入多模态大模型来替代传统OCR。多模态模型具备语言理解和上下文推理能力，在某些情况下能够结合语境“猜”出正确的字。例如，当生成图中“尬”字的结构出现问题时，多模态模型可能根据上下文推断出这里应该是“尬”，从而给出正确的判断。

但这带来一个新的问题：假阳性。模型靠语言能力蒙对了答案，而图上那个字形明明是错的。这种“脑补式”的正确判断会误导生成模型，让它以为自己的字形没有问题，从而失去改进的动力。

3.2 专门的错字检测工具

另一类思路是使用专门检测“写错字”的工具。这类工具能够准确判断出字形结构是否存在问题，比多模态大模型的“脑补”更为可靠。但其处理方式通常是将异常字形标记为一个特殊符号（如“#”），然后直接打零分。

这种方法虽然避免了假阳性，但同样是一种非黑即白的判断：要么正确，要么错误，中间没有灰色地带。它能够检测到“这个字有问题”，但无法量化“问题有多严重”，更无法指出“问题具体出在哪个部件或哪种空间关系上”。

四、核心洞察：汉字错误本就有程度之分

上述所有方案的共同缺陷在于，它们都假定汉字的正确性是一个二值变量。但事实上，汉字的错误天然具有程度之分：

• 笔画级错误：多一笔、少一笔、笔画位置偏移；
• 部件级错误：某个偏旁写错或写成了形近偏旁；
• 结构级错误：左右结构写成了上下结构，或包围关系搞反了；
• 整体级错误：完全写成了另一个字。

一个只错了一个笔画的字和一个结构完全崩坏的字，在人类看来质量差异巨大，但在现有评估体系下得到的分数完全相同。这种评估粒度的缺失，直接导致了生成模型无法在训练中获得精细化的改进信号。

五、结构感知的评估思路

要解决这个问题，评估方法需要从“整体识别”转向“结构分析”。核心思路是：将汉字拆解为构型要素，分别评估每个要素的正确性，再综合成一个有粒度的分数。

具体而言，这种结构感知的评估方法包含以下几个关键步骤：

5.1 汉字构型的形式化表示

首先需要将汉字表示为一个结构化的数据形式。一个可行的方案是采用树形结构：

汉字
├── 部件A（如“九”）
│   ├── 笔画1
│   ├── 笔画2
│   └── ...
├── 部件B（如“龙”的变体）
│   ├── 笔画1
│   └── ...
└── 空间关系：左右排布

这种表示方式将汉字从“一个不可拆分的整体”转化为“一组可独立评估的要素及其组合关系”。

5.2 分层评估与加权打分

在获得结构化表示后，可以对不同层级分别评估：

• 笔画层：检测每个笔画的存在性、位置和形态；
• 部件层：检测每个偏旁部首的正确性和完整性；
• 结构层：检测部件之间的空间关系是否正确；
• 整体层：检测最终组合是否与目标汉字一致。

每一层的评估结果可以赋予不同的权重，最终综合成一个连续的分数。例如：

def evaluate_character(generated, target):
    score = 0.0
    # 笔画层评估
    stroke_score = evaluate_strokes(generated.strokes, target.strokes)
    score += 0.3 * stroke_score
    # 部件层评估
    component_score = evaluate_components(generated.components, target.components)
    score += 0.4 * component_score
    # 结构层评估
    structure_score = evaluate_structure(generated.layout, target.layout)
    score += 0.3 * structure_score
    return score  # 连续值，而非0/1

5.3 梯度信号的价值

这种连续打分方式的核心价值在于：它为生成模型提供了有意义的梯度信号。当模型生成的“尬”字只是左边偏旁略有偏移时，它能得到一个较高的分数（如0.75），从而知道“大方向对了，只需微调”；而当它把左右结构写成了上下结构时，得到的分数会很低（如0.2），从而知道“结构层面出了严重问题，需要大幅调整”。

六、对开发实践的启示

对于从事文生图应用开发的工程师而言，这一思路带来了几点实际启示：

第一，评估环节的设计与生成环节同等重要。 很多团队在优化生成模型时，将大量精力投入到模型架构和训练策略上，却忽视了评估信号的质量。实际上，一个粗糙的评估函数会从根本上限制模型的上限。

第二，领域知识的引入可以显著提升评估质量。 汉字构型知识是一种典型的领域知识，将其形式化并嵌入评估流程，能够将“黑箱打分”转变为“可解释、可调试”的评估体系。类似思路也可以推广到其他具有复杂结构的生成任务中，如化学分子式、电路图、建筑平面图等。

第三，连续反馈优于离散反馈。 在强化学习或任何迭代优化框架中，反馈信号的粒度直接决定了优化效率。设计评估函数时，应尽可能保留中间状态的区分度，避免过早地将连续空间压缩为二值判断。

第四，可解释性评估有助于错误分析与迭代。 结构化的评估结果不仅能作为训练信号，还能作为调试工具——开发者可以清晰地看到模型在哪些部件、哪些结构关系上容易出错，从而有针对性地调整训练数据或模型设计。

七、总结

汉字生成的评估困境，本质上是一个“评估粒度”的问题。传统OCR裁判将汉字视为不可拆分的黑箱，只能给出对/错的二值判断，无法区分不同程度的字形错误。多模态大模型虽然具备语言推理能力，但可能产生假阳性；专门的错字检测工具虽然准确，但同样缺乏粒度。

解决这一问题的方向是引入汉字构型知识，将汉字拆解为笔画、部件和空间关系等结构化要素，在多个层级上分别评估并综合成连续分数。这种方法不仅能为生成模型提供更有效的训练信号，还能提升评估过程的可解释性，为开发者提供更有价值的调试信息。从更广泛的视角看，这一思路对于任何涉及复杂结构生成的场景都具有参考意义：好的评估，从来不只是判断对错，而是告诉模型“哪里对了、哪里错了、错了多少”。