简介：本文围绕一步生成模型后训练中的“奖励对齐”与“生成质量保持”两大目标展开对比分析，重点解析基于奖励加权传输蒸馏（RWTD）的思路与传统梯度微调、多步蒸馏等方案的差异。文章从技术原理、实现成本、适用场景、边界风险等维度进行系统比较，帮助算法工程师与技术决策者在具体业务需求下做出合理选型，并给出迁移实践中的关键注意事项。
随着生成模型在图像、语音、文本等领域的广泛应用，一步生成模型（即仅需一次前向传播即可产出样本的生成器）因推理延迟低、计算开销小，逐渐成为实时交互场景的首选。然而，这类模型在完成预训练后，往往需要通过后训练（post-training）来对齐人类偏好或任务奖励信号，例如提高图像美感、增强文本安全性、优化语音自然度等。
问题随之而来：如果直接使用奖励信号对一步生成模型进行梯度微调，模型容易“钻空子”产生高奖励但低质量的样本，即所谓的“奖励过度优化”；而如果沿用多步扩散或迭代去噪的思路做蒸馏或微调，又会破坏一步生成模型原有的“快速生成”优势，甚至导致生成分布偏移。
因此，业界面临一个“既要又要”的难题：既要让模型对齐奖励（听话），又要保持原有生成能力（不丢本事）。本文对比分析当前主流的后训练策略，重点聚焦于一类新兴思路——基于奖励加权传输蒸馏的方法，并与传统梯度微调、参考模型正则化、多步蒸馏等方案进行系统比较。
为便于展开对比，本文定义以下四种策略作为分析对象：
直接奖励梯度微调（Direct Reward Gradient Tuning）：利用奖励函数对一步生成器的输出打分，并将该标量奖励通过可微路径反向传播，直接更新生成器参数。常见实现包括策略梯度类方法或基于似然加权的更新。
带参考模型约束的微调（Reference-Model Regularized Tuning）：在梯度微调的基础上，引入一个冻结的参考生成模型（通常是预训练模型或早期检查点），通过KL散度或分布距离约束，抑制生成分布偏离原模型过远。
多步去噪蒸馏后训练（Multi-step Denoising Distillation-based Tuning）：利用多步生成模型（如迭代去噪模型）作为教师，将奖励信号嵌入教师样本的重新加权中，再蒸馏到一步生成器。典型思路包括对教师生成样本按奖励加权后做蒸馏。
奖励加权传输蒸馏（RWTD，Reward-Weighted Transport Distillation）：这是本文重点讨论的方法。其核心在于不依赖奖励梯度或去噪轨迹，而是构造一个“奖励倾斜分布”：将当前模型和参考模型的生成样本按奖励权重混合，再作为训练目标，让目标分布“自己学着走”，从而同时完成奖励对齐与能力保持。
上述四种策略虽然在实现路径上差异显著，但它们在以下方面具有一致性：
直接奖励梯度微调对奖励函数的可微性要求最高。若奖励函数不可微（如基于人类排序或外部规则判断），则需要使用零阶优化或策略梯度估计，方差较大且稳定性差。同时，梯度信号可能被生成器“利用”，即在低密度区域产生异常样本却获得高分，导致模式坍塌。
带参考模型约束的微调在架构上增加了一个冻结网络，每次更新需同时计算当前模型与参考模型在样本上的分布差异。虽然增加了计算量，但提供了“安全护栏”，可缓解奖励过度优化。但KL约束的权重难以平衡：过大则奖励对齐不足，过小则约束失效。
多步去噪蒸馏后训练依赖教师模型生成多步轨迹并保存中间状态，这要求有一套完整的去噪采样流程，计算成本高，且一步生成器需要能够拟合教师模型的加权样本分布。该方案实质上是“间接优化”，若教师本身未对齐奖励，则蒸馏收益有限。
RWTD则完全不需要奖励梯度，也不需要去噪轨迹。它只需当前模型和参考模型分别生成样本，并用奖励函数给样本打分，再按奖励权重构造混合训练集。这种方法对奖励函数形式无约束（可以是黑盒、非可微、甚至人工打分），架构上更通用。
直接梯度微调几乎不设防，模型参数被推向奖励高地，原始分布的多样性、边缘细节和稀有模式极易丢失。尤其在生成图像类任务中，高奖励区域往往集中在某一风格或构图上，模型会收敛到“安全但单调”的输出。
参考模型约束通过KL散度限制分布漂移，从分布层面保护多样性。但其保护强度取决于KL权重，且对“哪些维度需要保持”无差别约束，可能导致模型在重要语义维度上被过度束缚，奖励对齐效果受限。
多步蒸馏策略中，教师模型本身是生成能力较强的模型，蒸馏过程天然带有“模仿教师分布”的性质，因此生成多样性保持较好。但若教师已被奖励过优化，则会放大教师缺陷。
RWTD的方法学创新在于：它构造的训练目标是“当前模型分布”与“参考模型分布”的奖励加权混合。具体而言，若参考模型生成样本的奖励较低，其权重会被压低；反之，若当前模型在某个区域奖励较高但分布较稀薄，则该区域会被补强。这种机制使得生成器在保持原有高概率区域的同时，逐步向高奖励区域迁移，本质上是“分布传输”而非“参数压制”，对能力保持更温和。
直接梯度微调对学习率非常敏感。奖励函数梯度通常比生成损失梯度更尖锐，容易造成训练震荡或生成质量崩塌。此外，非可微奖励下需要引入基线估计，进一步增加方差。
参考模型方法引入了两个超参数（KL权重、参考模型更新频率），调参空间成倍扩大。若参考模型过于陈旧，其约束方向可能与当前任务冲突；若过于接近当前模型，则约束形同虚设。
多步蒸馏需要管理教师采样步数、温度参数、奖励加权指数等多个维度，训练流程复杂，复现门槛高。
RWTD虽然在概念上简单，但其关键超参数是奖励权重指数（即对奖励分数进行softmax或幂次放大的程度）。这个参数控制着分布迁移的“激进程度”。指数过高，相当于只保留最高奖励样本，模型退化风险上升；指数过低，则奖励对齐速度变慢。但相较其他方法，RWTD对学习率、网络结构等更不敏感，因为它不是通过梯度方向更新，而是通过分布匹配目标来更新，训练过程更平稳。
直接梯度微调只需单模型前向与反向传播，显存占用最低，训练速度最快。但若奖励不可微，需额外生成多个样本用于估计，实际成本上升。
参考模型方法需额外存储一个冻结模型，显存占用翻倍，且每次迭代需对当前模型和参考模型同时前向计算，推理耗时增加约一倍。
多步蒸馏需生成大量多步采样轨迹，如30至50步去噪过程，训练数据生成成本极高，且需要存储中间状态，尤其不适合大规模生产环境。
RWTD在训练阶段需要当前模型与参考模型各采样一批样本，但无需存储梯度轨迹，参考模型也可周期性更新而非实时同步。整体显存开销介于直接微调与参考模型微调之间。在推理阶段，RWTD仅保留一步生成器，无额外在线开销，适合部署在边缘设备或实时服务中。
直接梯度微调容易产生“奖励伪装”行为，即模型在奖励指标上虚高，但在人工审查、语义一致性、抵制对抗攻击等方面退化。
参考模型约束在一定程度上限制模型生成极端分布，但仍可能出现“约束失效区”，尤其是在训练分布与参考模型分布偏离较大的高维空间。
多步蒸馏方法中，教师模型若被诱导生成有害内容，蒸馏后学生会放大这些行为。
RWTD由于同时参考当前模型与参考模型的奖励加权分布，能在训练目标中显式保留原始分布的高概率区域，从而降低“生成分布崩塌到敏感区域”的风险。同时，奖励加权本质上是对样本的“软筛选”，比硬筛选更容易控制合规边界。
| 对比维度 | 直接梯度微调 | 参考模型约束微调 | 多步去噪蒸馏 | 奖励加权传输蒸馏（RWTD） |
|---|---|---|---|---|
| 奖励函数可微性要求 | 严格要求或需大量采样 | 可接受不可微 | 可接受不可微 | 完全无关，支持任意黑盒 |
| 生成多样性保持 | 弱 | 中，依赖KL权重 | 中高，依赖教师质量 | 高，通过奖励倾斜混合分布 |
| 训练稳定性 | 差，易震荡 | 中，调参复杂 | 中，流程繁琐 | 好，分布匹配方式稳定 |
| 计算成本（训练） | 低 | 中 | 高 | 中低 |
| 推理阶段开销 | 低 | 低 | 低 | 低 |
| 实现复杂度 | 低 | 中 | 高 | 中 |
| 适合奖励类型 | 可微标量 | 任意 | 任意 | 任意 |
| 风险控制能力 | 弱 | 中 | 中 | 较强 |
从传统微调方案迁移到RWTD路线时，需要关注以下几点：
一步生成模型的后训练本质上是一场“奖励对齐”与“能力保持”的平衡游戏。直接梯度微调高效但易崩塌；参考模型约束提供护栏但调参复杂；多步蒸馏稳健但成本高企；RWTD则通过奖励加权的传输蒸馏思路，让目标分布在当前模型与参考模型之间“自己学着走”，在不依赖梯度和去噪轨迹的前提下，为“既要又要”问题提供了一种更具通用性和稳定性的可选路径。
最终选型应结合奖励函数形式、团队工程能力、部署环境、评估体系成熟度来综合判断。没有绝对最优，只有在特定约束下最合适的方案。对于生产环境中奖励来源多样、质量要求严格、且需要快速迭代的团队，RWTD是一个值得重点评估的方向。