生成模型对齐新范式：无需偏好对，用标量评分直接驱动视觉生成优化

一、概念定义：TGO是什么

阈值引导优化（Threshold-Guided Optimization，简称TGO）是一种面向生成模型的对齐训练方法，其核心特点是不依赖成对偏好数据，而是直接利用独立样本的标量评分来指导模型策略更新。

在传统偏好优化框架中，训练数据通常以“给定输入，两个候选输出，其中一个优于另一个”的形式组织，模型学习的是相对优劣关系。而TGO改变了这一前提假设：它从大量单样本的分数分布中估计出一个动态阈值，将高于阈值的样本视为“伪正向”样本，低于阈值的样本视为“伪负向”样本，进而构造出可用于策略梯度更新的监督信号。

换言之，TGO尝试回答一个更直接的问题：当反馈不再是“哪个更好”，而是“这个有多好”时，如何让生成模型充分利用这种连续的、绝对的评价信号完成对齐。

从技术视角看，TGO是一种离线对齐算法，不需要在线交互采样，也不需要显式训练独立的奖励模型。它通过自适应的阈值划分，将标量评分转化为可训练的二分类信号，并结合置信度加权机制，使训练过程更稳健、信息利用更充分。

二、背景与价值：成对偏好数据的局限

过去几年，基于成对偏好数据的对齐方法（如基于人类反馈的强化学习及其衍生出的直接偏好优化等）成为大模型后训练阶段的主流方案。这类方法的核心逻辑是：通过比较两个输出，模型学习“好”与“坏”的相对差异，进而调整生成策略。

这类方法具有数学表达上的优雅性：在带KL正则化的对齐目标下，最优策略存在闭式解；而在同一输入下比较成对输出时，归一化项可以相互抵消，使得训练目标化简为分类问题。正是这种结构上的便利，使其成为工业界部署的首选。

然而，成对偏好数据本身存在不可忽视的局限：

• 数据获取成本高：在真实业务场景中，人工标注者打分时更自然的是直接给一个分数，而非同时比较两个结果。
• 信息损失显著：将标量评分强行转化为偏好对会丢失粒度信息。例如，9.5分与7.5分的样本可能同被视为“赢家”，而4.9分与4.8分的样本却被拆成一组“输赢对”，这显然低估了分数差别的意义。
• 构造过程引入噪声：常见的构造方法包括批内排序、两两比较等，这些操作不仅增加流程复杂度，还可能因样本间相关性或分布偏移而引入额外偏差。

TGO的提出正是为了回应上述痛点。它让对齐过程不再被“成对结构”所束缚，而是能够直接消费大量已有的、天然的标量反馈信号，例如自动化评估指标、用户打分、质量评测分数等。这极大拓宽了可训练数据的来源边界。

三、核心组成：TGO的关键模块

TGO的设计由三个关键部分组成：

1. 阈值估计模块

该模块负责从当前训练批次或整个训练数据集的分数分布中估计出一个阈值。阈值的作用是将连续分数划分为两个区域：高分区和低分区。阈值的估计方式可以是批内动态计算（如中位数、分位数），也可以引入可学习的参数，根据训练进程自适应调整。阈值并非固定值，它会随数据分布变化而动态迁移，从而始终维持适当的正负样本比例。

2. 伪标签构造模块

基于阈值，每个样本被赋予伪标签：分数高于阈值标记为正样本，低于阈值标记为负样本。这里需要强调的是，伪标签并非真实的“好”与“坏”判断，而是在当前数据分布下相对可靠的监督信号。这种构造方式降低了对人工精确标注的依赖，使规模化训练成为可能。

3. 置信度加权更新模块

这是TGO中容易被忽略但至关重要的设计。样本分数距离阈值越远，说明其被标记为正或负的置信度越高，因此在策略更新时应赋予更大的权重。反之，靠近阈值的样本因为分类不确定性较大，应降低其影响力。这种加权机制避免了因阈值附近样本的误分而导致的训练不稳定。

四、工作原理：从分数到策略更新的完整流程

TGO的训练过程可以概括为以下几个步骤：

第一步：采样与评分。 对于输入条件（如文本提示词），生成模型产出若干个候选输出。每个输出通过标量评估器（可以是人工打分、自动指标或预训练评估模型）获得评分。

第二步：阈值确定。 在累计一定数量样本后，统计分数分布。根据分布特征确定阈值，既可以采用固定分位数（如中位数），也可以使用基于矩估计的自适应方法。

第三步：伪正负样本划分。 将样本划分为正样本集和负样本集，并记录每个样本到阈值的距离作为置信度权重。

第四步：策略更新。 优化目标由两部分构成：

• 提高正样本相对参考模型的生成概率；
• 降低负样本相对参考模型的生成概率。

两者均以置信度加权形式融入损失函数。与直接偏好优化不同，这里的正负样本并不来自同一个输入的成对输出，而是来自独立样本集合，因此所有输出本身可以是不同的输入条件下的产物。

从数学形式上看，TGO的目标函数类似于一种加权分类损失，但其关键在于权重并非等概，而是由分数距离决定。这也意味着，一个得分极高的样本和另一个刚好超过阈值的样本，虽然同为“正样本”，但前者对策略更新的推动力显著更大。

五、典型应用场景

TGO尤其适合以下几类场景：

1. 无人工成对标注的大规模对齐

在视觉生成、图像编辑、文生图等场景中，用户反馈往往以1～5星、0～100分等形式出现，而非成对比较结果。TGO可直接利用这些历史评分记录训练模型，无需重新组织标注任务。

2. 自动化评估器驱动的持续优化

实践中，可以使用已有的自动评估模型对生成结果打分，然后借助TGO持续迭代生成策略。这种闭环优化方式适合部署在持续集成（CI）环境中，实现无人值守的模型自我提升。

3. 稀疏反馈条件下的对齐

当反馈数据稀缺，无法形成足够的偏好对时，TGO能够从有限样本中提取相对信号，避免因偏好对不足而无法训练的问题。

六、与相关概念的区别

TGO vs 直接偏好优化（DPO）

直接偏好优化依赖成对偏好数据，通过对比同一输入下的两个输出消除归一化项。而TGO不依赖对比结构，通过阈值化处理标量分数，将问题转化为绝对信号下的分类优化。二者在输入数据格式上存在本质差异。

TGO vs 基于奖励模型的强化学习（如PPO）

基于奖励模型的强化学习需要学习一个独立的奖励模型，并使用在线策略采样进行优化，计算开销大、实现复杂。TGO属于离线方法，不需要显式奖励模型，也不依赖在线交互，部署更轻量。

TGO vs 质量排序学习（Learning to Rank）

排序学习同样需要构造多候选之间的顺序关系，本质上仍是成对或列表级偏好。而TGO从根本上绕开了“排序”这一前提，只关注绝对分数的高低。

七、使用注意事项

尽管TGO具备诸多优势，但在实际使用中仍需关注以下问题：

1. 阈值估计的稳定性：如果样本量过小，阈值估计可能波动剧烈，影响伪标签质量。建议在批量足够大时启用动态阈值机制。
2. 分数尺度的敏感性：不同评分器的分数分布可能差异巨大。TGO并不要求分数具有绝对意义，但其相对分布需保持稳定，否则需进行归一化处理。
3. 参考模型的选择：训练中需要指定参考模型作为概率比对的基线，参考模型与当前模型的差异程度会影响更新的平滑性。
4. 置信度加权的调节：若加权函数过于激进，可能导致少数高分样本主导训练，使模型过拟合于特定输出风格；若过于平缓，则难以体现分数差异的意义，需要根据数据分布具体情况调节温度参数。
5. 与监督微调的衔接：TGO适用于对齐阶段，通常在监督微调后使用。如果基础模型能力不足，TGO的收益将受到限制。

八、总结

TGO代表了一种新的对齐思路：它不再将“偏好”视为唯一合法的监督形式，而是将连续的、绝对的质量评分直接转化为训练信号。通过动态阈值划分、伪标签构造和置信度加权三个核心机制，TGO在规避成对偏好数据高成本的同时，保留了策略优化的有效性。

对于视觉生成模型等对反馈质量敏感、且天然产生标量评分的应用场景，TGO提供了一条务实、可扩展的优化路径。它的价值不仅在于一种新算法的提出，更在于重新定义了对齐数据的边界——让“这个有多好”成为驱动模型进化的直接燃料。