简介：本文围绕生成模型奖励后训练中的两类主流机制展开，解释重新加权与奖励反向传播各自的计算逻辑、失效原因与改进思路，帮助读者理解如何在改图前先评估样本是否值得更新，从而避免模式丢失与过度矫正。

奖励后训练中的样本筛选与梯度更新原理

在文生图模型的优化链路中，奖励后训练（Reward Post-Training）是让模型输出更符合人类偏好的关键环节。其基本思路是引入一个奖励模型对生成结果打分，再依据分数调整生成模型参数。然而，”朝高分方向调整”这一目标在工程实现上并不简单：不同的梯度利用方式会带来截然不同的副作用。本文要解释的核心原理，是奖励后训练中样本级更新决策的机制——即系统在更新参数前，如何判断哪些样本值得学、哪些样本应当保持不动，以及不同判决方式对输出分布的影响。

一、背景问题：为什么”全部重写”不可取

生成模型在初始训练后，往往存在构图不协调、细节缺失、语义对齐不足等问题。奖励后训练通过外部打分信号进行二次优化。但若对每个样本都施加同等力度的更新，会产生两类浪费：

计算浪费：对已经高质量的样本重复优化，边际收益极低；
分布破坏：对高分样本的额外推动可能将其推离真实数据流形，产生不自然的伪影。

因此，一个合理的后训练系统需要在参数更新前完成一次”账目核算”：该样本当前分数如何、改动空间多大、更新方向是否可靠。这正是不同方法产生分歧的根源。

二、核心概念

奖励模型：经过偏好数据训练的评分系统，输入为生成结果（如图像），输出为标量分数，分数越高表示越符合人类审美或任务约束。

KL惩罚：一种分布约束项，限制更新后模型输出分布与原始分布之间的散度，防止模型为追逐高分而偏离过远。

模式丢失：在加权式优化中，低分但具有独特风格的样本被持续压制，导致该风格在后续生成中彻底消失的现象。

奖励反向传播：将奖励模型对生成结果的梯度直接回传至生成模型参数，逐样本推动输出向高分区域移动。

三、系统组成

一个典型的奖励后训练系统包含四个模块：

采样模块：从当前策略生成一批样本；
评分模块：调用奖励模型为每个样本打分；
决策模块：依据分数与约束条件，决定每个样本的更新权重或梯度强度；
更新模块：将加权后的梯度作用于生成模型参数。

两类主流方法的分歧集中在决策模块：重新加权派调整的是样本权重，奖励反向传播派调整的是逐样本梯度。

四、工作流程与关键机制

4.1 重新加权路线

流程如下：

for each iteration:
    samples = policy.sample(batch_size)
    scores  = reward_model.score(samples)
    weights = normalize(scores)          # 高分样本权重大
    loss    = -sum(weights * log_prob(samples))
    loss   += beta * KL(policy || ref_policy)
    update(policy, loss)

其机制本质是重要性加权：不改变采样分布，只在已出现的样本上调整学习强度。KL项则充当刹车，防止策略偏移过大。

问题在于：加权只能放大已有样本的贡献，无法生成分布外的新样本。若某类风格在采样中比例低且得分不占优，其权重会被持续压低。原文提到的三峰分布实验即是典型：占比约22%的冷门峰在KL加权后被压缩至消失。这说明该机制的作用边界是只能重分配、不能探索。

4.2 奖励反向传播路线

流程如下：

for each iteration:
    samples = policy.sample(batch_size)
    scores  = reward_model.score(samples)
    for x, s in zip(samples, scores):
        grad = d_score / d_x            # 奖励对样本的梯度
        x    = x + lr * grad            # 样本向高分方向移动
        loss = distance(x, x_original)  # 或直接反传至参数
    update(policy, loss)

该机制直接利用奖励模型的梯度信号，对每个样本施加定向修正。其优势是能产生原始分布外的新样本，具备探索能力。

但其缺陷同样明显：更新强度与样本当前质量无关。高分样本本无需改动，却仍被推了一把；低分样本的梯度方向未必可靠，可能将其推入不真实的区域。系统缺少一个”是否值得改”的校验环节。

五、改进思路：先核算再更新

综合两类方法的问题，可以抽象出一个通用设计原则：在更新前引入样本级收益评估。伪代码如下：

for each sample:
    s0 = score(x)
    x' = propose_update(x)          # 候选更新
    s1 = score(x')
    gain = s1 - s0
    if gain > threshold and is_realistic(x'):
        accept(x')
    else:
        keep(x)                     # 保持原样

该机制的关键在于三点：

收益判断：比较更新前后分数，避免无效推动；
真实性约束：校验更新后样本是否仍在合理流形内，防止伪影；
选择性保留：对高分或特色样本维持原状，缓解模式丢失。

从系统视角看，这相当于在决策模块中增加了”预估—验证”环节，把无条件更新变为条件更新，从而同时兼顾探索能力与分布稳定性。

六、技术优势与限制

优势：样本级决策可显著降低无效计算，减少对高质量样本的扰动，并保留低频但有价值的风格模式。

限制：收益评估需要额外的前向评分，带来计算开销；阈值设定依赖任务经验；真实性校验若过于严格，会抑制必要的探索。此外，奖励模型本身的偏差会直接传导至决策结果，需配合定期评估。

七、常见误区

误区一：认为加权越大越好。实际上权重集中会加剧模式丢失。
误区二：认为反向传播一定优于加权。两者是互补关系，前者擅探索，后者擅稳定。
误区三：忽略KL项的作用。它并非可有可无的正则，而是分布安全的关键约束。

八、总结

奖励后训练的核心矛盾在于：既要向高分区域移动，又不能破坏输出分布的多样性。重新加权通过样本权重实现稳定但保守的优化，奖励反向传播通过逐样本梯度实现探索但可能过度矫正。理解两者的机制差异与边界，并在更新前引入收益核算与真实性校验，是构建可靠后训练链路的关键。这一原理不仅适用于图像生成，也可推广至其他依赖奖励信号进行策略优化的生成任务。

奖励后训练中样本筛选与梯度更新的原理