汉字结构识别：破解文生图模型中文生成质量评估的关键问题

一、问题并不只是“生成不好看”

在很多文生图任务中，模型已经能够生成构图合理、风格统一、细节丰富的画面。但一旦画面中需要出现中文字符，尤其是笔画较为复杂的汉字，生成结果往往在细节上出现系统性偏差。常见表现包括：

• 某个字多一笔或少一笔；
• 偏旁与声旁的比例失衡；
• 左右结构被挤压成上下结构；
• 包围结构缺边、开口方向错误；
• 形态接近但细看并非目标汉字。

这些问题并非随机噪声，而是模型对汉字内部结构缺乏稳定建模能力的直接体现。

更值得关注的是：即便生成结果存在明显错误，在很多自动化评估中依然可能获得较高分数。这说明，当前评估体系针对“中文字符是否正确生成”这一目标的度量能力，本身存在结构性缺陷。

二、汉字不是线性字符序列

要理解评估为何失效，首先需要回到汉字本身的构型特征。

与英文等拼音文字不同，汉字不是由少量字母线性排列形成的字符串。一个汉字在视觉上通常是二维结构，由若干部件按照空间关系组合而成。例如：

• 左右结构：如“林”“河”“明”；
• 上下结构：如“音”“想”“花”；
• 包围结构：如“国”“回”“区”；
• 嵌套与复合结构：如“赢”“器”“瓣”。

这种结构被称为汉字的构型。构型不仅决定一个字“看起来对不对”，也是识别、书写和教学中的核心维度。一个汉字是否成立，既取决于部件是否存在，也取决于部件之间的空间关系是否合理。

因此，对文生图模型而言，“生成一个正确的中文字”并不只是“生成一个正确类别的图像块”，而是一个包含部件选择、空间布局、比例控制、笔画连接等多个子任务的复合问题。评估这类任务，显然不能只使用面向整字识别的粗粒度信号。

三、现有评估方式的结构性缺陷

3.1 OCR评分：把汉字当成不可拆分的黑箱

在利用强化学习优化文生图模型时，通常需要一个奖励模型来判断生成结果质量。针对中文生成任务，行业常见的做法是引入OCR模型作为奖励来源。

其流程大致如下：

1. 从生成图像中截取文字区域；
2. 使用OCR模型识别该区域字符；
3. 将识别结果与目标文本比对；
4. 识别一致则给予正向奖励，否则给予负向奖励或零奖励。

这种方式的问题在于：OCR模型通常以整字为单位进行识别，输出结果是“识别成了哪个字”，而不是“这个字在结构上有多接近目标字”。

当一个汉字内部部件写错、笔画缺失或空间错位时，OCR模型可能识别为另一个字，也可能直接输出未知字符。但无论属于哪种情况，在奖励函数中通常都表现为“识别错误”。也就是说，模型无法从反馈中知道：

• 是哪个部件写错了；
• 是左右结构错位，还是包围结构缺失；
• 错误程度是否接近可接受阈值；
• 是否只差一笔，还是整体结构完全崩溃。

这就类似于批改试卷时，只告诉学生“答案不对”，却不指出哪一步出错。强化学习模型得到的奖励信号过于稀疏，自然难以沿着正确方向优化。

3.2 多模态大模型判断：上下文脑补可能掩盖字形错误

另一种替代方案是使用具备视觉与语言能力的多模态大模型进行判断。这类模型不仅看图，也会结合场景语义和上下文进行推理。

例如，在一张海报中生成一个接近“尬”的字符，如果多模态模型认为该场景应当出现“尴尬”一词，即便字形本身不完整，它也可能根据上下文将其判定为正确字符。

这种判断在对话式应用中或许可以接受，但用于生成质量评估时就会产生假阳性：字形本身错误，语义推理却“猜对”了目标字符。

也就是说，多模态模型可能使用语言先验补全了视觉信息中的缺陷。它不是严格判断字形是否生成正确，而是判断“结合上下文，这个区域最可能是什么字”。这种机制与文生图模型需要学习的底层视觉构建能力并不完全一致。

3.3 错字检测工具：非黑即白的异常标记

部分方案引入专门的错字检测工具，用于判断生成字符是否存在结构异常。这类工具能够识别出结构不合理的字形，并判定为异常。

但问题依然存在：这类工具往往只输出“正常”或“异常”的结果。对于异常字形，它不会给出错误部位、错误类型或结构化反馈。

例如，一个“想”字如果上下比例严重失衡，工具可能标记为异常；一个“国”字如果包围结构缺失一边，也可能标记为异常。模型收到的反馈都只是“异常”，无法据此判断修复方向。

更重要的是，汉字错误本身存在程度差异。一个仅缺少最后一点的字，和一个完全无法辨认的字，不应获得相同的惩罚。可当前的二值化判断方式，无法体现这种差异。

四、细粒度中文生成质量评估的难点

4.1 需要从整字识别转向结构分析

要让模型知道“错在哪里”，评估系统需要具备拆分汉字结构的能力。这至少涉及：

• 部件切分：识别目标字由哪些部件组成；
• 部件定位：在生成图像中定位各部件区域；
• 部件比对：判断每个部件是否出现、是否变形；
• 空间关系判断：判断部件之间的上下、左右、包围关系是否正确；
• 笔画级差异估计：识别缺失、多余或错误连接的笔画。

只有将这些信息转化为可微分的奖励信号，强化学习才能有效引导模型改进。

4.2 目标字与生成字之间需要更细的比较方式

当前OCR比对通常是字符串级别的相等判断。更合理的方式可能是引入字形相似度度量。例如：

• 比较生成字与目标字在部件层面的重合度；
• 比较两者的结构类型；
• 计算部件形变程度；
• 评估笔画完整性。

这些度量可以组成一个多维奖励向量，而不是单一的一个标量分数。

4.3 避免单纯依赖语言先验

在多模态判断中，需要设计机制隔离语言推理对字形判断的影响。例如，可以要求模型先判断字形是否符合目标字结构，再输出结论；或者单独评估字符区域，不提供上下文语义。

否则，评估系统就可能变成“猜字系统”，而不是“检字系统”。

五、构建结构化奖励的可行方向

5.1 将汉字拆分为部件级表示

一种直接做法是，在评估前先依据汉字构型数据库，将目标字拆分为部件和结构类型。例如：

目标字：想
结构类型：上下结构
部件序列：木 + 目 + 心

随后在生成图像中分别检测这些部件是否出现、是否位于预期位置、是否保持合理比例。这样，评估器就可以给出类似下面的细粒度反馈：

部件完整性：2/3
结构匹配度：上下结构一致
空间比例：下部过窄
整体评分：中等偏下

这种反馈显然比单一的1或0更具指导意义。

5.2 引入构型标签作为辅助监督

在训练或微调过程中，可以为生成任务增加构型预测目标。例如，除了判断生成字符是否可识别，还可以要求模型预测该字符的结构类型，并与目标结构进行比对。

这样，模型在学习生成过程中，会被迫关注结构信息，而不仅仅是整体外观。

5.3 建立分级错误度量

可以建立面向汉字的错误分级体系。例如：

• 一级错误：部件完全缺失；
• 二级错误：部件存在但形变严重；
• 三级错误：部件完整但空间关系错误；
• 四级错误：部件与结构均基本正确，但存在笔画级偏差。

这种分级不仅便于评估，也可以用于训练数据筛选、模型版本对比和生成结果自动诊断。

5.4 结合结构检测与OCR形成复合奖励

单一信号往往不可靠。可以设计复合奖励函数，例如：

final_reward = α * ocr_reward
             + β * structure_reward
             + γ * stroke_reward

其中：

• ocr_reward 表示整字识别是否成功；
• structure_reward 表示结构类型与部件位置是否正确；
• stroke_reward 表示笔画完整性。

通过权重调整，可以控制评估系统更偏向整字可识别性，还是更偏向字形结构精度。

六、该问题对中文视觉生成的普遍影响

中文生成能力的不足，影响范围并不限于海报生成。

在营销素材制作、教育插图生成、视频字幕叠加、虚拟场景构建、多语言内容本地化等场景中，中文字符的正确渲染都是基础能力。一旦字形错误，不仅影响观感，还可能造成信息误读、品牌表达错误甚至合规风险。

因此，提升中文生成质量，不只是“把字写对”这一单一任务，而是涉及模型训练、评估体系、数据构造与产品链路多个环节的系统性工作。其中，评估反馈是否足够细粒度，往往决定了优化工作能否有效推进。

七、结语

汉字作为二维结构化的视觉符号系统，其生成错误不能简单归类为“识别失败”。当评估器只提供非对即错的粗粒度反馈时，强化学习模型无法建立对部件、结构与笔画的稳定感知，中文生成能力的优化也会陷入瓶颈。

下一步的关键不是继续堆叠更多整字识别信号，而是建立面向汉字构型的结构化评估能力。只有让模型知道“错在哪里”“错到什么程度”“往哪个方向修正”，中文文生图任务才可能从“模糊接近”走向“结构正确”。