简介:本文说明如何用强化学习训练统一多模态模型,使其在生成图像后自行诊断错误并重绘。文中列出训练轨迹、奖励设计、超参数起点与评测方法,并标明自评奖励的偏差风险与离线校验的必要性,帮助读者判断该方法是否适合自己的场景。
本文介绍一种训练思路:让同一个统一多模态模型完成“生成、诊断、重绘”的循环。它适合对空间位置、颜色绑定和物体数量要求严格的文生图任务,也适合希望减少额外判别模型部署的团队。
以下场景不适合使用该方法:
推理阶段不调用外部打分器,但训练阶段的奖励仍来自模型自身的视觉理解,评测阶段也需要独立的参照。
准备三类数据:
数据量没有统一标准。建议先用小规模数据跑通流程,再逐步扩大,并观察指标是否随数据量稳定增长。
在训练脚本中配置模型路径,确认模型能接收图像输入并输出图文混合内容。然后在离线评测集上测量初始生成的错误率,记为基线。后续所有提升都要与这个基线比较。
强化学习前,模型需要先学会输出格式正确的诊断和修改指令。这一步的目标是让模型学会表达,修复能力留给后面的强化学习阶段。
这是方法的核心。一条完整轨迹包括:生成初始图像,模型自我诊断,按诊断重绘,再次诊断,然后决定停止或继续。
每一步需要记录以下字段:
采样时,对每个提示词采样多条轨迹,并比较它们的最终结果。采样数量取决于算力,通常不少于 4 条,以便计算组内相对优势。
奖励来自两部分。
一致性奖励:用模型自身的视觉理解模块,对修改后的图像与提示词的匹配程度打分。匹配度上升给正奖励,下降给负奖励。
停止奖励:模型声明完成时,若图像确实正确,给予额外正奖励;若声明完成但图像仍然错误,给予负奖励。
这里有三个风险,需要在训练中专门处理。
第一,自评偏差。模型用同一套视觉能力既生成又打分,容易高估自己的输出。校准方法是定期抽取一批样本,由人工或独立的评测模型标注正确与否,再计算自评结果与人工标注的一致率。一致率偏低时,应降低一致性奖励的权重。
第二,奖励欺骗。模型可能学会生成更容易获得高自评分、但不符合提示的图像。检验方法是监控训练中的奖励曲线与离线评测指标是否同步变化。若奖励持续上升而离线指标停滞,应暂停训练并检查。
第三,停止误判。模型可能在错误图像上过早停止,也可能在正确图像上反复修改。应在训练数据中加入大量“本身正