简介:当前文生图模型在生成中文字符时,常出现笔画缺失、偏旁错位等结构性问题,而现有以整字识别为核心的评估方式采用非黑即白的打分逻辑,无法定位具体错误位置与程度,导致模型难以有效优化。本文从汉字二维构型特性出发,剖析整字识别作为奖励信号的局限性,探讨基于偏旁部首与空间关系的结构化评价思路,为提升中文文字生成质量提供可落地的技术方向。
让文生图模型生成一张带中文字的海报,结果往往令人啼笑皆非:乍看整体版式有模有样,凑近细看却发现某个字多了一撇、某个偏旁被挤压得面目全非,轮廓尚在、细节全崩。这并非个别模型的偶发失误,而是当前文生图能力在面对笔画复杂的汉字时普遍存在的系统性短板。
要理解这一问题的根源,需要先看清问题的层次。表层是生成质量不足,深层则是评价机制与汉字结构特性之间的根本错配。在主流的生成模型后训练流程中,强化学习依赖一个”裁判”对生成结果打分,而这位裁判通常由光学字符识别(OCR)模型担任。OCR 的工作方式是把图片中的文字区域截取出来,识别成计算机可读的文本,再与目标文字比对——识别正确则给分,识别错误则不给分。
这套逻辑用于英文等一维字符序列时基本成立,因为字母是最小单位,26 个字母排列组合即可构成词。但汉字是二维的积木结构:一个复杂汉字往往由多个偏旁部首按照左右、上下、包围等空间关系组合而成,这种组合方式称为汉字的构型。例如,一个左右结构的字由两个部件横向排布,一个上下结构的字由两个部件纵向叠放。当 OCR 面对这种结构时,一旦整体无法匹配,它要么猜测一个形近字,要么直接放弃识别。
问题由此产生:无论模型是把一笔写错还是把半边写错,只要最终 OCR 认不出来,得分都是零。 这就像批改一份一百道题的试卷,学生错一道和错九十道得到的分数完全相同,评语永远是”零分”。这样的反馈信号无法告诉模型”错在哪里、错到什么程度”,模型自然也就无从学习该往哪个方向优化。
论文中对现有评价方式的观察,可以归纳为三类典型的失效模式,它们共同指向同一个结论:以整字识别结果作为唯一奖励信号,粒度太粗、信息量太少。
第一种是”认错但给零分”。 生成图中某个字的内部结构已经出错,专用 OCR 模型将其识别为另一个形近字,比对失败,得零分。这个零分在方向上是对的,但它没有区分”错了一笔”与”整体崩坏”——模型只知道结果不对,却不知道错误的具体位置和严重程度。
第二种是”蒙对但给满分”,即假阳性。 换用能力更强的多模态大模型来识别时,模型可能结合上下文语境”猜”出正确答案,给出满分。但图上那个字形明明是错的,评分方只是凭借语言先验补全了语义,而非真正”看”清了字形。这种假阳性比零分更危险,因为它会向生成模型传递错误的正向激励。
第三种是”检测到异常但一刀切”。 也有专门用于检测错字的工具,能够判断某个字的结构存在问题,但处理方式是把整个字标记为一个异常符号,同样给零分。这类方法不会被语言模型的语义补全所欺骗,但依然是非黑即白的二值判断,缺少中间地带。
三类模式的共同缺陷在于:汉字书写错误本身是有程度之分的。 少一笔与错半边、偏旁位置偏移与部件完全缺失,对应的改进难度和优化价值完全不同。一个只能输出”对/错”的裁判,无法承载这种连续的错误严重度信息,也就无法为模型提供有效的梯度方向。
要解决上述问题,思路的关键不在于换一个更强的识别模型,而在于改变评价的观察单位:从”整字是否被认出”转向”部件是否正确、空间关系是否成立”。
具体而言,可以将评价过程拆解为若干可独立打分的维度:
在此基础上,可以为每个维度设计连续的评分函数,而非简单的 0/1 判定。例如,部件完整性可以按”缺失部件数占总部件数的比例”折算得分,空间关系可以按”部件中心点相对偏移量”折算得分。最终的奖励信号由多个维度加权合成,从而形成一条平滑的反馈曲线。
这种设计的价值在于:当模型生成的汉字只错了一个偏旁时,得分会明显高于整体结构崩坏的情况;当部件齐全但排布偏移时,得分又会高于部件缺失的情况。奖励信号的层次感,正是模型学习”往哪里改”的前提。
将结构化评价引入训练流程,还需要处理若干工程细节。
其一,部件标注数据的构建。 结构化评价依赖汉字到部件、部件到空间关系的映射关系。业界已有成熟的汉字结构描述规范可供参考,可基于此构建部件级标注数据集,并为每个部件建立形态模板或参考样本。
其二,评价器的鲁棒性。 部件检测本身也可能出错,若评价器对生成图的部件分割不稳定,会引入噪声奖励。实践中可采用多评价器集成、置信度加权等方式降低单点误差的影响,并对低置信度样本做降权处理。
其三,奖励信号的稀疏性问题。 在训练早期,生成结果可能连基本部件都无法成形,此时细粒度评分可能全部趋近于零。可设计分阶段的课程式训练策略:早期侧重整体轮廓与部件存在性,中期侧重部件形态,后期侧重空间关系与细节精度。
其四,与生成流程的解耦。 结构化评价应作为独立的评分模块存在,通过标准接口向训练流程输出多维分数,避免与具体生成架构强绑定,从而具备跨模型复用的能力。
文生图模型画不对中文字,表面上是生成能力问题,实质上是评价信号与目标结构不匹配的问题。整字识别把汉字当作不可拆分的黑箱,输出的二值判断无法承载错误程度信息,模型因此学不到有效的优化方向。将评价单位下沉到部件与空间关系层面,构建多维度、连续化的评分体系,是让模型”看见”汉字结构、进而”画对”汉字结构的可行路径。这一思路不仅适用于中文文字生成,对于任何具有组合结构特性的视觉生成任务,同样具有参考意义。