汉字结构约束下的文生图文字生成优化方法

一、问题背景：为什么文生图模型总是画不好中文字

在文生图任务中，模型需要同时理解自然语言描述与视觉布局，并将文字作为图像的一部分进行渲染。对于英文或数字，字符集规模较小、笔画结构简单，模型相对容易学习。但当中文进入生成目标后，情况会迅速恶化。

常见表现包括：某字多一笔或少一笔、偏旁比例失衡、部件之间发生错误挤压、左右结构变成上下结构、包围结构缺边少角等。这类错误在低分辨率下不容易被察觉，一旦放大查看，字形就会明显失真。

其根本原因并不只是生成能力不足，而是训练过程中的反馈信号过于粗糙。模型不知道“哪里错了”，只知道“整个字识别不出来”。这种评价方式无法驱动模型在字形层面进行精细调整。

二、汉字构型：一种被长期忽略的结构信息

汉字与拼音文字存在本质差异。英文单词由线性排列的字母组成，识别过程具有明显的序列特征。而汉字是一种二维组合结构，由若干部件按照空间关系构成。

例如，“想”由“相”与“心”上下堆叠，“相”本身又由“木”与“目”左右组合。“尴”由“尢”与“监”拼接，其中“监”内部还包含多个部件。这种多层嵌套关系被称为汉字构型。

构型信息包含两个维度：一是部件集合，二是部件之间的空间关系，包括左右、上下、半包围、全包围、品字形等。文生图模型如果把汉字当作一个整体图案来生成，就很容易丢失这些结构信息。更合理的做法是让模型在生成过程中显式或隐式地感知部件的空间约束。

三、现有评价机制的局限：非黑即白的OCR打分

在强化学习或对抗训练中，通常需要一个评价模型作为“裁判”，对生成结果进行评分。目前常见做法是引入OCR模型，将生成图片中的文字区域裁剪出来进行识别，再与目标文字做比对。

这种方式的核心逻辑可以概括为：

if ocr_result == target_text:
    reward = 1
else:
    reward = 0

这种二值化的奖励信号存在明显缺陷。无论生成的字是只错了一笔，还是整个结构完全错误，只要OCR无法识别为目标字，奖励都是零。模型无法从这种反馈中区分错误程度，也就难以进行有效的梯度更新。

更棘手的是，部分多模态大模型具备较强的语言先验，能够根据上下文“猜”出图片中的文字。例如，一张海报中写着“今天很尴尬”，即使“尴”字结构出现明显问题，模型仍可能根据语境识别为正确结果。这种“假阳性”会进一步污染训练信号。

四、错误程度应该有层级：从二值判断到结构粒度反馈

现实中的字形错误并不是非黑即白。一个字的偏差可能发生在以下多个层面：

• 部件缺失或多余；
• 部件位置错误；
• 部件内部笔画错误；
• 部件比例严重失调；
• 整体结构可辨识但局部变形。

针对这些层级，理想中的评价机制应当能够输出连续或分级的奖励信号。例如，当模型生成的字整体结构正确、只有某一笔画偏差时，应获得高于完全错误结果的分数。这样模型才能通过奖惩梯度逐步逼近正确字形。

有研究尝试引入结构感知的检测工具，对生成字形进行异常标记，但部分方法仍采用整体掩码策略，将异常字统一替换为占位符。这种方式虽然避免了语言先验的干扰，但同样无法提供细粒度反馈。

五、可行的优化方向

1. 引入构型条件

在模型输入端，除了文本提示，还可以加入目标字的构型描述。例如，使用类似以下的结构表示：

想 = 相(左右) + 心
相 = 木 + 目

模型在生成时根据该结构约束逐步布局部件，而不是仅依赖图像生成路径。

2. 结构评分模块

可以设计独立的评分模块，不依赖OCR识别结果，而是直接对生成字形与目标字形进行部件级比对。评分维度包括部件覆盖率、空间关系一致性、笔画完整度等。

3. 强化学习奖励重构

将原来单一奖励改为多分量加权奖励：

reward = α * structure_score + β * ocr_score + γ * layout_score

其中structure_score负责评价字形结构，ocr_score仅为辅助信号。这样即使OCR识别失败，只要结构部分正确，模型仍能获得正向反馈。

4. 生成过程中的字形提示

对扩散模型而言，可以在去噪阶段引入字形草图作为条件输入。草图包含部件位置与大致轮廓，能够显著降低自由生成带来的结构不确定性。

六、实践中的注意事项

在实际工程落地时，还需要关注以下问题：

• 结构评分的计算成本：如果对每张生成图都进行完整的字形结构解析，会增加明显开销。可采用轻量化结构检测器，或只对低置信度样本进行深度评分。
• 多字布局干扰：海报中常出现多个汉字，字间遮挡、艺术字体、透视变换都会影响评分精度。应在评分前做好文字区域切分与透视校正。
• 训练数据分布：如果训练集中某些部件频繁出现，模型更容易学到这些部件的特征；生僻部件则需要额外的采样策略进行平衡。
• 评价指标验证：结构评分模块本身也需要校准，避免与人类主观判断偏差过大。可定期采样生成结果进行人工标注，计算结构评分与人工评分的一致性。

七、总结

文生图模型在中文字生成上的问题，核心不在于模型的图像生成能力不足，而在于训练反馈机制过于粗糙。将汉字构型信息引入评价与生成流程，能够让模型获得更细粒度的纠偏信号。结构粒度反馈、条件化生成与多分量奖励重构，是当前较为务实的改进路径。对于需要在海报、封面、截图等场景中生成准确中文的开发者而言，理解这一机制差异，有助于在设计生成流程时选择更合适的策略与评价方案。