从黑箱到部件：让AI画对中文字的结构化评测

一、问题现场：文生图模型的“汉字失写症”

让当前的文生图模型画一张带中文标语的海报，几乎总会遇到同一个尴尬：整体看版式漂亮、氛围到位，凑近一读，字不对了——有的多一撇，有的偏旁被挤成四不像，有的干脆整个字变成一团“像字的东西”。英文字母的渲染早已基本可用，汉字却始终是重灾区，而且笔画越多、结构越复杂的字，崩得越彻底。

技术上的原因并不难理解：

• 一维序列 vs 二维构图：英文单词是字母的线性排列，模型只需按顺序“写”出26个基本符号；汉字是部件在二维平面上的空间组合，左右、上下、包围关系都要精确落位，出错维度天然更多。
• 精确生成 vs 氛围生成：扩散类模型的强项是整体风格与语义一致性，而文字渲染要求笔画级的像素精度，两类目标并不天然对齐。
• 数据占比：训练图像中清晰可读汉字的样本有限，模型对“字内结构”的建模先天薄弱。

要让模型把字画对，业界通行方案是在预训练之后追加一轮强化学习式的后训练：让模型大量生成图片，由一个“裁判”对文本渲染质量打分，再用分数作为奖励更新策略。于是问题被归结为一点——裁判怎么打分。

二、症结：OCR裁判把汉字当成了黑箱

先解释概念：OCR（光学字符识别）是让机器“认字”的通用技术，把图片中的文字转换成机器可处理的文本，与具体厂商无关。

后训练中最常用的裁判信号就是OCR识别准确率：从生成图中截出文字区域，喂给识别模型，识别结果与目标文本一致记1分，不一致记0分。这套逻辑对英文基本够用，对汉字却存在结构性缺陷：它把一个二维组合结构压缩成一个不可拆的类别标签，只输出“是/不是”，丢掉了全部中间信息。 具体表现为三类典型失效模式：

1. 识别失败，一票归零。 面对结构复杂的错字，专用识别模型常常认不出，或猜一个形近字。此时无论生成结果是错了一笔，还是错了一整半，只要最终没认对，得分都是0，奖励完全没有区分度。
2. 大模型裁判，语言脑补。 把判断交给多模态大模型时，它会借助海报上下文“猜”出本该是什么字，哪怕字形画错也照样给1分。这是典型的假阳性：分数奖励了语言先验，而不是图像质量。
3. 错字检测，只报警不定位。 专门检测错字的模型能可靠发现“这个字有问题”，但输出往往是一个异常标记，最终仍折算成0分——它知道错了，却说不清错在哪、错多少。

打个比方：这相当于批改一份一百道选择题的卷子，规定只要不是全对就给零分。错一道和错九十道同分，学生永远不知道该往哪里改。对强化学习而言，这样的奖励稀疏且高噪声：策略梯度方向混乱，训练低效，甚至可能催生“钻空子”行为——模型学会生成识别器容易认出、但结构上并不正确的字形。

三、关键洞察：汉字本身是可分解的

突破点在于换一个视角看汉字。汉字不是原子化的符号，而是一套有限部件在有限空间规则下组合成的系统：

• 部件层：例如“尬”由“尢”与“介”构成半包围关系；“想”由“相”与“心”上下叠放；“国”是“囗”包住“玉”的全包围结构。
• 空间关系层：左右、上下、左中右、上中下、全包围、半包围等有限拓扑模式，再加上部件间的面积比例与避让规则。
• 层级嵌套：部件本身往往还能继续拆，“想”的上半部“相”又由“木”和“目”组成，“湖”是“氵”加“胡”的左右组合，而“胡”又是“古”与“月”的嵌套。

更重要的是，这套拆解不需要逐字人工标注：国际字符编码标准中有一套表意文字描述序列（IDS），用几何算符（如⿰表示左右、⿱表示上下、⿴表示包围）递归描述整字结构，配合公开字形数据，可以对绝大多数常用字建立“部件—布局”的结构化描述。

一旦接受这个视角，“整字对错”就不再是二值问题，而可以分解为两个可量化的子问题：该有的部件是否出现、形状是否正确；部件之间的空间关系是否成立。

四、方案：把裁判升级为结构化打分器

在此基础上，评测可以从“整字识别”改造成分层打分：

• L1 整字识别层：裁剪单字区域后识别（切断上下文，抑制多模态裁判的脑补），保留传统OCR的底线判断能力；
• L2 部件层：对生成字形做部件检测或分割，与目标字的部件集合比对，计算部件召回与部件精度；
• L3 布局层：比较部件包围盒的相对位置、面积比例与包围关系，度量布局偏差；
• L4 笔画层（可选）：对高分样本进一步比较局部笔段差异，用于精细阶段微调。

示意性的奖励函数大致如下：

def structure_reward(img_crop, target_char):
    # 目标字的结构描述：部件集合 + 空间关系（可来自公开字形数据）
    ref = decompose(target_char)
    # 例如: {"尢": ("半包围外框", 0.4), "介": ("被包部件", 0.6)}
    pred = detect_components(img_crop)      # 从生成图中检测/分割部件
    recall    = part_recall(pred, ref)      # 该有的部件出现了多少
    precision = part_precision(pred, ref)   # 出现的部件有多少是对的
    layout    = layout_distance(pred, ref)  # 位置与比例偏差，越小越好
    ocr_ok = cropped_ocr(img_crop) == target_char  # 底线：整字能否被认出
    return w1 * recall + w2 * precision + w3 * (1 - layout) + w4 * ocr_ok

在这种打分下，错误的“程度”终于被刻画出来：错一撇，只影响个别部件精度，扣一点分；错半边，相关部件归零但另一侧仍得分，拿部分分；整字崩坏，才接近0分。奖励从稀疏的0/1跳变，变成随错误程度单调变化的稠密信号，策略梯度方向随之清晰：先保住部件齐全，再修正布局，最后打磨笔画。

几条配套的工程要点：

• 防假阳性：识别判断一律基于单字裁剪图，禁止裁判读取海报语境；结构分与识别分加权组合，必要时让识别分承担“一票否决”角色，避免“部件都对、拼出来却是别字”的边界情况。
• 评测器与生成器解耦：裁判用标准字形渲染数据构建，独立于被训练的生成模型，避免奖励信号与生成分布共变。
• 裁判本身也要被校准：构造“可控扰动集”——对标准字形做删笔画、换部件、错位、压缩等已知强度的扰动，检验打分是否随错误程度单调下降。一个不可信的裁判，比没有裁判更危险。

五、落地视角：融进现有训练管线

对工程团队而言，这套思路并不要求推倒重来。结构化评测器本质上是一个独立的奖励服务：输入图像与目标文本，输出连续分数。无论是调用百度智能云等云平台提供的文生图与大模型服务做快速验证，还是自建训练集群做完整后训练，都可以把它作为独立服务挂进训练循环，通过消息队列与日志服务和采样、训练进程解耦，便于独立升级、灰度与回滚。

实现部件比对时，常见路径有两条：一是图像空间模板匹配，用标准字体渲染部件模板做多尺度比对，优点是实现简单，缺点是对字体风格敏感，需要覆盖多字体的模板库；二是轻量部件分类/检测模型，用合成数据（对标准字形做部件级扰动、自动生成标注）即可获得充足监督信号，泛化性更好。

六、方法论启示：评测指标决定能力上限

这个案例的价值超出汉字本身：

• 代理指标的粗糙度会封死模型上限。 当奖励只有0和1，模型能学到的最多是“让裁判认得出”，而不是“把字写对”。古德哈特定律在任何以代理指标驱动的训练中都成立。
• “结构可分解”是稠密奖励的钥匙。 凡是有内在组合结构的生成任务——UI截图、图表、版式文档、数学公式——都可套用同一框架：把结果对错拆解为子结构对错加关系对错，让每一处局部错误都获得局部惩罚。
• 奖励设计要从“结果”走向“过程”。 稠密优于稀疏、可定位优于只报警，是强化学习后训练的普适经验。

结语

汉字之美在于结构，汉字之难也在于结构。把评测的黑箱拆开，让每一撇的得失都被看见，AI才谈得上真正“写对”一个字。这既是文生图模型攻克中文渲染的关键一步，也为所有结构化生成任务的奖励设计提供了一个可复用的范式。