简介:文生图模型生成中文字时笔画粘连、结构崩坏,根源在于OCR裁判只能打对错分,无法区分“错一笔”和“错一半”。本文解析一种将汉字拆解为偏旁部首与空间结构的评估框架,帮助开发者理解如何让模型在细微错误上获得梯度信号,从而真正学会写对汉字。
如果你尝试过让文生图模型生成一张包含中文字符的海报,大概率会遇到这样的场景:整体版式有模有样,但细看某个字多了一横、某个偏旁被挤压变形、左右结构比例失调。轮廓大致对得上,细节却全面崩塌。这不是个别模型的缺陷,而是当前几乎所有文生图方案在面对笔画复杂、结构嵌套的汉字时共同的短板。
要让生成模型逐步改善,常见的做法是在后期训练阶段引入强化学习,用一个“裁判”模型对生成结果打分,再将分数作为奖励信号回传给生成模型。裁判通常由光学字符识别(OCR)模型担任:将生成图片中的文字区域裁剪出来,送入OCR进行识别,识别结果与目标文字一致则给分,不一致则不给分。
这套逻辑在英文场景下基本够用——26个字母是最小单位,排列组合成词,识别对错相对清晰。但汉字的情况完全不同。
汉字是一种二维的积木式结构。以“尬”为例,它由“九”和“龙”的变体左右组合而成;“想”则由“相”与“心”上下叠放。这种由偏旁部首按照左右、上下、包围等空间关系组合而成的结构,称为汉字的构型。
OCR模型在处理这类复杂结构时,往往将整个字视为一个不可拆分的整体。一旦笔画或部件出现偏差,OCR很可能直接判定为“不认识”,要么随机猜测一个形近字,要么输出识别失败。无论生成的字是错了一笔还是错了半边,只要OCR无法识别,裁判给出的分数都是零。
用一个类比来说明这种评估方式的局限:假设你在批改一份100道选择题的试卷,但无论学生错1道还是错90道,你给的分数都一样,统统是零分。这样的反馈完全无法告诉学生“哪里需要改进”,模型也就无法学到应该朝哪个方向优化。
论文中给出了一个直观案例:生成图中有一个“尬”字结构出错。专用OCR模型将其识别为另一个形近字,判定错误,打0分。换成多模态大模型去识别,它结合上下文语境“猜”出了正确文字,打了1分——但这是一个假阳性,因为图上那个字形本身就是错的,模型只是靠语言能力蒙对了答案。还有一类专门检测错字的工具,能准确判断该字结构异常,但处理方式是将整个字标记为异常符号,同样打0分。这种方法虽然不会被语言模型的“脑补”欺骗,但依然是非黑即白的判断:对或错,中间没有灰色地带。
问题的根源在于,现有的评估方式将汉字视为一个原子单位,而汉字实际上是可拆解的结构化对象。一个汉字写错了,可能是以下任一情况:
不同的错误程度对阅读体验的影响差异巨大。少一笔可能只是轻微不规范,部件写错则可能导致字义完全改变。如果评估函数对所有错误一视同仁地打零分,模型就无法获得区分“轻微错误”和“严重错误”的能力,也就无法在训练中逐步逼近正确字形。
这就好比训练一个投篮机器人,如果裁判只告诉你“进了”或“没进”,而不告诉你球是偏左还是偏右、力度大了还是小了,机器人很难高效地调整动作参数。它需要的是连续的、有方向的反馈信号。
针对上述问题,一种可行的改进方向是:将汉字评估从“整字识别”转变为“结构感知”的分级评分。具体而言,可以从以下几个层面入手。
每个汉字都可以表示为一棵结构树。根节点是整字,子节点是直接组成该字的部件,叶子节点是基本笔画或不可再分的部首。部件之间的空间关系(左右、上下、包围、半包围等)作为树的边属性。
例如,“想”可以表示为:
想├── 相 (上下结构,上方)│ ├── 木 (左右结构,左侧)│ └── 目 (左右结构,右侧)└── 心 (上下结构,下方)
这种表示方式让评估模型能够逐层比对生成结果与目标文字的结构差异,而不是仅看最终识别结果。
在结构树的基础上,可以设计多级评分函数:
最终得分可以是各层级分数的加权组合。这样,即使整字无法被OCR正确识别,模型仍能从笔画和部件层面获得有意义的梯度信号。
多模态大模型在识别模糊文字时,倾向于利用上下文语言知识“猜”出正确结果。这在评估场景中是一个严重问题——它会把错误的字形判定为正确。因此,评估模型应当:
如果你的团队正在做文生图相关产品,尤其是涉及中文文字生成的场景,以下几点值得关注:
第一,不要只用OCR作为唯一裁判。 OCR适合粗筛,但不适合精细评估。可以引入基于结构比对的辅助评估模块,提供更细粒度的奖励信号。
第二,在数据标注阶段就引入结构信息。 如果训练数据中包含了每个汉字的部件拆解和结构标注,评估和训练都可以更加精准。
第三,关注生成结果的中间表示。 如果生成模型内部有字符级别的中间特征,可以尝试直接在这些特征上做结构约束,而不是等到像素级输出后再用OCR评估。
第四,对错误进行分类而非一刀切。 在强化学习的奖励设计中,区分“轻微笔画偏差”和“严重结构错误”,给予不同的负奖励,有助于模型优先修正严重问题。
汉字生成评估的核心挑战在于:汉字不是原子单位,而是具有层级结构的二维组合体。现有的OCR裁判将汉字视为黑箱,只能给出对错二值信号,无法为模型提供有方向的改进信息。将汉字拆解为偏旁部首与空间结构,并在此基础上设计分级评分函数,是提升中文文字生成质量的一条可行路径。对于从事文生图、OCR、多模态训练的开发者而言,理解汉字构型的结构化本质,并据此重新设计评估与训练信号,可能是突破当前瓶颈的关键一步。