汉字结构感知生成技术解析

一、问题的本质：整字比对为何失效

文生图模型渲染中文时的结构性错字，长期被视为“画得不像”的视觉问题，实际上它更接近一个表示粒度问题。行业常见做法是用OCR把生成图像压缩成字符串，再与目标文本做字符串比对，并以此作为强化学习的奖励信号。这条链路有两个隐含假设：其一，汉字是不可再分的整体符号；其二，识别结果正确即代表结构正确。

第一个假设在常用字上勉强成立，但一旦进入生僻字、新造词、多字连排场景就会崩塌——模型没见过该整字组合，只能靠像素记忆拼凑，表现为缺笔画、部件错位、偏旁张冠李戴。第二个假设更隐蔽：OCR识别对轻微结构畸变有容忍度，一个“部件位置颠倒但整体轮廓相似”的字，可能被判为正确，奖励信号因此失真。结果是模型在“看起来对”的方向上被持续强化，结构错误反而被固化。

真正的突破口在于换表示：把汉字从“整体图片”降维成“可结构的部件序列”，让模型先学会“这个字由哪些部件、以什么关系拼起来”，再决定怎么画。这相当于给生成模型补了一门汉字的底层语法。

二、方案总览：以IDS为中间表示的结构奖励

该方案的核心是引入IDS（表意文字描述序列）作为汉字结构的中间表示。IDS用结构算子（如左右、上下、包围等）加可复用部件，把汉字递归表达为树状或序列化结构。相比整字字符串，IDS保留了部件级信息，使“结构是否正确”变成可度量、可对齐的问题。

整体链路可概括为四步：

1. 构建IDS词表：对目标字符集做递归分解，产出结构算子与可复用部件构成的词表；
2. 训练IDS识别器：检测生成图中的文本行，编码后自回归解码出IDS token序列；
3. 序列对齐打分：将预测序列与目标IDS做片段匹配与全局分配，得到token级F1；
4. 奖励融合：结构奖励与整字语义奖励加权，接入生成模型的后训练流程。

其中结构奖励与语义奖励按权重λ融合，典型取值为0.5，兼顾“拼得对”与“意思对”。

三、三段式设计的关键细节

3.1 IDS库构建：递归分解与词表裁剪

第一段负责“字典”。以字符集覆盖范围为边界，对每个汉字做递归分解，深度设上限（如10层），避免过度拆解导致序列爆炸。词表只保留两类元素：结构算子与可复用部件。这一步的工程价值在于控制词表规模与序列长度的平衡——分解太浅则部件复用率低，分解太深则序列冗长、对齐困难。

值得强调的是，IDS库的选型直接决定上限。原始方案采用的库在覆盖度与分解一致性上仍有改进空间，实践中应优先选择经过大规模校验、分解粒度稳定的数据源，并对分解结果做合法性过滤，剔除无法还原为原字的异常路径。

3.2 识别器：检测、编码与自回归解码

第二段负责“读图”。先用文本行检测切出文字区域，再由视觉编码器提取特征，接自回归解码器输出IDS token序列。训练数据通过对汉字近似均匀采样并随机组串渲染生成，目的是让识别器见过足够多样的部件组合，而不是只拟合高频整字。

这里的训练集构造策略值得借鉴：均匀采样缓解了长尾字符被高频字淹没的问题，随机组串则模拟了真实排版中多字连排的上下文，使识别器在序列层面而非单字层面具备泛化能力。

3.3 对齐打分：半全局匹配与唯一计分约束

第三段负责“判分”，也是最容易被忽略却最影响奖励质量的一环。预测序列与目标IDS的候选片段之间用半全局编辑距离做匹配，经非极大值抑制去重后执行全局分配，约束每个目标token只被计分一次，最后取token级F1。

这个设计解决了一个实际问题：若允许多次匹配，模型可能通过重复命中少量易识别部件来刷高分数，结构奖励就退化成“部件出现率”奖励。唯一计分约束强制模型对每个目标部件都给出对应预测，奖励信号因此更贴近真实结构正确性。

四、改进方向：库选型与语法约束

原始模块选型仍有优化空间，主要集中在两点。

其一，IDS库应改用分解更稳定、覆盖更完整的数据源。 库的质量决定了“标准答案”的质量，若库本身存在分解歧义或覆盖缺口，识别器的监督信号就会带噪。建议在接入前做一致性抽检：对同一汉字的多条分解路径做还原验证，剔除不可逆路径。

其二，应对IDS语法施加约束，保证解码出的序列合法。 自回归解码器天然可能产出语法非法的序列，例如结构算子缺少操作数、算子嵌套深度越界、部件不在词表内。若不约束，这些非法序列会污染对齐打分，使奖励与真实结构质量脱节。可行做法包括：

• 在解码阶段引入语法状态机，对每步候选token做合法性掩码；
• 对输出序列做后置校验，非法序列直接判零分或回退到最近合法前缀；
• 在训练数据侧保证全部样本为合法IDS，让模型从分布上倾向合法输出。

# 合法性掩码示意（伪代码）
state = INIT
for step in decoding_steps:
    legal = grammar.allowed_tokens(state)   # 依据当前语法状态取合法token集
    logits = logits.masked_fill(~legal, -inf)
    token = sample(logits)
    state = grammar.transition(state, token)

这类约束的收益是双重的：既提升奖励信号的准确性，也减少无效解码带来的算力浪费。

五、技术突破的实质与边界

这套方案的价值不在“让模型画出字”这个结果，而在于把文字生成从图像记忆推进到结构生成。对生僻字、新造词而言，整字记忆几乎不可行，但部件组合是有限的、可学习的，泛化能力因此显著提升。同时，结构表示与排版、字体控制天然可打通——既然模型理解了部件关系，对字体风格、部件间距的可控性就不再是碰运气。

据公开评测数据，结构质量与语义对齐指标分别达到0.979与0.911，较整字OCR奖励提升约0.026与0.037，较另一类部件级方案提升约0.006与0.014。提升幅度看似不大，但在结构质量已接近饱和的区间，边际改进的难度更高。

边界同样清晰：复杂书法、手写体、艺术字仍是难点，因为这类字形偏离标准IDS结构，部件级监督反而可能给出错误约束。工程落地时应按场景分层——标准印刷体走结构奖励，艺术化场景保留语义奖励权重或引入风格自适应机制。

六、落地建议

对希望在自有生成管线中复现该思路的团队，建议按以下顺序推进：

1. 先做数据侧校验：选定IDS源，完成还原一致性抽检与词表裁剪，明确分解深度上限；
2. 再训识别器：构造均匀采样加随机组串的训练集，重点评估长尾字符与多字连排的序列准确率；
3. 对齐层加约束：半全局匹配加唯一计分约束是底线，语法掩码是加分项；
4. 奖励融合调参：λ从0.5起步，按业务场景在“结构正确”与“语义可读”之间调平；
5. 分场景验收：印刷体与艺术字分开评估，避免用单一指标掩盖场景差异。

汉字结构感知生成的本质，是把“画字”翻译成“组装字”。一旦模型掌握了这套组装语法，错字问题就从不可控的像素玄学，变成了可度量、可优化、可约束的工程问题。