拆开汉字看结构：让AI写对中文的评估之道

一、现象与根因：轮廓对了，细节全崩

让文生图模型生成一张带中文标题的海报，结果往往是“远看像回事，近看全是错”：某个字多了一撇，某个偏旁被挤成四不像，整体轮廓正确、笔画细节崩坏。这不是某一家模型的偶然失误，而是当前文生图技术面对汉字时的普遍短板。

从技术上看，原因可以拆成两层：

• 生成侧：主流扩散类模型以连续的图像内容为建模对象，缺少“笔画必须横平竖直、部件必须各就各位”这类离散符号约束。汉字数以万计、部件组合方式繁杂，单个字形在训练数据中的出现频次有限，模型很难仅凭统计记忆把每个字都“背”下来。
• 评估侧：这是更隐蔽也更关键的一环。模型能力的提升通常依赖强化学习后期训练，而训练质量高度依赖奖励信号的质量。如果“裁判”本身看不懂汉字的内部结构，模型就不可能被引导到正确的优化方向。

近期国内某高校研究团队的工作，正是瞄准了评估侧这个长期被忽视的漏洞：现有评价方法从一开始就在用错误的方式“看”中文字。

二、三类“裁判”的失效模式

先交代背景：OCR（光学字符识别）是让机器“认字”的技术，把图像中的文字转换为计算机可处理的文本。在文生图的训练闭环里，常见做法是裁出生成图中的文字区域，交给OCR识别，再与目标文本比对，一致得高分、不一致得低分。这套逻辑看似合理，实际存在三种失效模式。

1. OCR黑箱判零：认不出就是零分

汉字与英文有本质差异。英文的最小书写单位是26个字母，错误的影响范围天然较小；汉字则是二维积木结构——“想”由“相”与“心”上下叠放，“街”由多个部件沿左中右排布。这种由偏旁部首按左右、上下、包围等空间关系组合而成的结构，称为汉字的构型。

OCR在处理这类复杂结构时，经常把整个字直接判定为“不认识”，要么瞎猜一个形近字，要么放弃输出。于是无论生成的字是错了一笔还是错了半边，只要最终认不出，裁判给的分数一律是零。

2. 多模态大模型脑补：假阳性污染奖励

换用更强的多模态大模型当裁判，会出现另一类问题：它可能结合上下文语境“猜”出正确答案。图上的字形明明是错的，模型凭借语言能力蒙对了识别结果，给出满分。这是典型的假阳性——奖励信号被语言先验污染，模型一旦学会钻这个空子，字形质量反而可能被放任。

3. 错字检测工具：非黑即白的异常标记

还有一类专门检测错字的工具，能准确判断“这个字结构有问题”，但输出方式是把整个字标记成一个异常符号，同样落入零分。它不会被“脑补”骗到，却依然无法区分错误程度：对或错，中间没有灰色地带。

这就像批改一份100道选择题的试卷，学生错1道和错90道都给零分——评分完全无法告诉学生“哪里需要改进”。对强化学习而言，这意味着奖励稀疏且无方向，策略梯度缺乏着力点，模型学不到该往哪个方向优化。

三、关键洞察：汉字的错误本来就有程度之分

上述方案共同的盲区在于：把“整字能否被识别”当作唯一判据。而汉字的书写错误，其实可以在多个层级上分解、定位和量化：

• 整字层级：这个字能否被正确识别；
• 部件层级：“湖”字的三点水是否画成了两点水，某部件是否多了一撇、缺了一角；
• 布局层级：左右结构的比例是否失调，上下结构是否被压扁，包围结构是否漏了封口；
• 笔画层级：横竖撇捺的走向、连接与交叉关系是否正确。

同样是“认不出”，错一个部件和错三个部件、部件写错和布局错乱，性质完全不同。评估若只能输出0或1，这些宝贵的信息就被全部抹掉了，模型也失去了精细改进的依据。

四、结构化评估：把“黑箱打分”改成“拆开算账”

相关研究提出的解决思路，可以提炼为六个字：先拆解、再对齐、后加权。不同工作的具体实现各有差异，但核心步骤是相通的。

1. 构建汉字构型先验

汉字的部件与布局有成熟的拆分规范可循。对目标汉字，可以离线解析出一棵“结构树”：根节点是整字，中间节点是部件，叶子节点是笔画，节点之间的边标注左右、上下、包围等空间关系。例如“湖”可拆为“氵”与“胡”，“胡”再拆为“古”与“月”，属于典型的嵌套左右结构。这些先验属于通用语言知识，可以在训练前一次性构建完成。

2. 部件级视觉对齐

在生成图像上，用检测或分割类的视觉模型定位各个部件所在区域，再与先验逐一比对：该出现的部件是否出现、不该出现的部件是否混入、各部件的相对位置是否符合布局约束。这样，“错在哪里”就从一句模糊的“认不出”，变成了可定位的差异清单。

3. 细粒度奖励合成

把整字识别、部件命中、布局一致性等多个维度的得分加权融合为连续奖励，示意如下（伪代码仅表达设计思想，不代表任何真实接口）：

def reward(generated_img, target_char):
    # 离线构建的构型先验：部件集合 + 布局关系
    parts, layout = decompose(target_char)
    # 视觉侧：定位生成图中各部件区域
    detected = locate_parts(generated_img)
    part_score   = part_iou(detected, parts)       # 部件命中与形状相似度
    layout_score = layout_match(detected, layout)  # 空间关系一致性
    ocr_score    = ocr_equals(generated_img, target_char)  # 整字识别，0/1
    # 识别正确是底线，部件与布局提供连续梯度
    return 0.4 * ocr_score + 0.4 * part_score + 0.2 * layout_score

与0/1打分相比，这种奖励的关键差异是“有方向”：错一个部件的样本得分高于错三个部件的样本，部件写对但布局失调的样本又高于整体崩坏的样本。

4. 与强化学习的衔接

连续且有层次的奖励，让策略梯度重新变得有效。模型在更新时会自然学到一条合理的改进路径：先把主要部件画对，再调整比例与间距，最后打磨笔画细节。训练信号的方差下降，优化曲线也随之更平稳。

五、实践建议：把“结构可分解”当作评估设计原则

对从事图像生成、智能设计相关工作的开发者，无论自研模型，还是调用云上文生图类服务构建应用（例如基于百度智能云等平台的AIGC能力），以下几点都有参考价值：

1. 评估先行。在投入强化学习训练之前，先审视奖励函数与评测指标是否具备“可分解性”。二元指标无法指导精细优化，这是许多训练效果不佳的隐性原因。
2. 警惕语言先验泄漏。用多模态大模型当裁判时，应屏蔽或弱化上下文提示，避免模型靠“猜”得分；更稳妥的做法是以无语境的单字裁剪图作为标准评测输入。
3. 分层验收。构建评测集时，按整字、部件、布局、笔画四个层级分别统计错误率，才能定位模型的真实短板，而不是笼统地看一个“识别准确率”。
4. 数据侧配合。训练数据中文字样本的字体多样性、清晰度与部件完整性，直接决定模型对构型的先验强度；数据质量不足时，奖励函数设计得再好也难以弥补。
5. 思路可迁移。“结构先验 + 细粒度奖励”的框架并不限于汉字。凡是“由离散单元按规则组合”的生成目标——公式、图表标签、界面截图、乐谱等——都值得把评估拆到单元级。

六、结语

汉字之美在于结构，汉字之难也在于结构。让AI写对汉字，第一步未必是更强的生成器，而是一双更懂结构的“眼睛”：当裁判能够指出“左边的水旁画成了两点水”，而不是笼统地判一个零分，模型才真正获得了改进的方向。把汉字拆开来看，既是这类研究所展示的方法论，也是处理一切“结构化符号生成”问题时值得铭记的设计原则。