简介：本文对比直接偏好优化（DPO）与其令牌级改进方法在技术原理、优化粒度、生成多样性、训练稳定性及适用场景上的核心差异。通过系统分析序列级与令牌级偏好建模的区别，帮助研究者和工程人员理解两类方法的优劣边界，并为对齐训练中的方案选型提供条件化建议。
在大语言模型的后训练阶段，让模型输出更符合人类偏好已成为标准流程。传统做法通常依赖强化学习框架，先训练一个独立的奖励模型来打分，再通过策略优化算法调整生成模型。这一流程虽然有效，但环节多、调参复杂、训练不稳定，给工程落地带来较大负担。
直接偏好优化（Direct Preference Optimization，DPO）的出现显著简化了这一流程。它不再需要显式奖励模型，而是直接利用“首选输出”与“非首选输出”的成对偏好数据，通过一个基于分类损失的优化目标调整模型参数。由于省去了奖励建模和强化学习两个环节，DPO在计算开销和实现复杂度上都有明显优势。
然而，随着应用场景的深入，研究者发现传统DPO的一个关键局限：它的优化目标是序列级别的。也就是说，模型把整个生成序列当作一个整体来判定“好”或“坏”，无法区分序列内部哪些令牌（token）真正贡献了偏好差异，哪些令牌是无关紧要甚至是噪声。这种粗粒度处理可能导致模型在优化过程中过度压缩生成空间，从而降低输出的多样性，甚至在长文本生成、开放式对话等场景中出现退化。
正是针对这一问题，后续研究提出了若干令牌级（token-level）的改进方法。这些方法不再将整个序列视为不可分割的偏好单元，而是尝试为序列中的每个令牌或关键令牌分配更精细的偏好信号，从而在保持对齐效果的同时缓解多样性下降。本文的核心任务，就是将传统序列级DPO与这类令牌级改进方法放在同一框架下进行系统对比，帮助读者理解二者的本质差异与选型逻辑。
序列级DPO的优化目标是直接最大化首选输出序列相对于非首选输出序列的概率差。其数学基础通常源于布拉德利-特里模型（Bradley-Terry model），该模型用成对比较的方式描述“输出A优于输出B”的概率。DPO在这个框架下推导出一个无需奖励模型的替代损失函数，使得模型在参数更新时直接增大首选序列的对数概率，同时降低非首选序列的对数概率。
为了防止策略模型在优化过程中偏离参考模型过远，DPO在目标函数中加入了KL散度正则项。参考模型通常是经过监督微调的同一基座模型。这个正则项的作用是限制模型的更新幅度，避免模型为了最大化偏好概率而产生语言质量退化或输出异常。
从实现角度看，序列级DPO的损失函数可以概括为：对于每对偏好数据，计算策略模型和参考模型在首选序列与非首选序列上的对数概率差，再通过一个sigmoid形式的分类损失进行优化。这种设计简洁高效，但偏好信号只能作用于整个序列。
令牌级改进方法的核心思想是：一个序列之所以被标注为“首选”，并非序列中每一个令牌都同等重要。某些令牌可能承载了关键的语义决策，另一些令牌则只是语法填充或风格性内容。如果能让模型在优化时识别这些关键令牌并分配更高的偏好权重，就可以在更细的粒度上进行参数调整，从而减轻对整体生成分布的过度干预。
这类方法的代表包括基于令牌重要性加权的DPO变体，以及在偏好损失中引入令牌级奖励分解的算法。它们通常需要额外的机制来估计每个令牌对最终偏好的贡献度，例如通过注意力权重、预测置信度、序列间令牌对齐关系，或借助一个轻量的价值函数。部分方法进一步引入了对非关键令牌的放松约束，使得这些位置的更新幅度更小，从而保留更多的生成灵活性。
尽管优化粒度不同，序列级DPO与令牌级改进方法在目标层面存在根本一致性，这也是二者可以放在同一框架下比较的基础。
共同的优化目标。 两类方法都致力于让模型生成更符合人类偏好的输出。它们的最终评价标准是类似的：在保持语言质量和语义正确性的前提下，提高模型在人类评估中的接受度。
共享的偏好数据形式。 两类方法都使用成对的偏好数据，即“首选输出”和“非首选输出”。数据采集方式、标注流程和噪声来源在两种方法中基本相同。
基于参考模型的策略约束。 令牌级改进方法大多继承了DPO的KL散度正则化思想，仍以参考模型为锚点，防止策略模型在优化中过度偏离。这个设计保障了训练过程的稳定性，也降低了偏好优化对基础语言能力的破坏风险。
绕开显式奖励模型的思路。 令牌级改进方法虽然在内部可能引入令牌级的价值估计，但其目标仍然是避免完整训练一个独立的奖励模型。它们可以看作是在DPO的免奖励模型框架内，对偏好信号进行更精细的分解，而非退回传统RLHF。
这是两类方法最根本的差异。
序列级DPO将整个输出序列作为一个不可分割的评估单元。偏好标签只告诉我们“整体上A比B好”，但无法告知模型A中哪些部分好、B中哪些部分差。模型在优化时只能均匀地调整整个序列的生成概率，涵盖所有令牌。
令牌级方法则试图回答一个更细致的问题：在首选序列和非首选序列的分歧点上，哪些令牌的差异真正驱动了偏好判断？如果能够定位这些令牌，模型就可以有针对性地增强关键令牌的概率，同时保持其余令牌的生成空间不被过度压缩。
以一个简单的例子说明：用户询问“如何备份数据库”，首选输出可能包含“定期全量备份”和“增量备份结合”两个关键建议，非首选输出遗漏了“增量备份”。在序列级DPO中，整个首选序列的概率都被抬高，包括那些与非首选序列没有实质差异的通用表述。而在令牌级方法中，模型会优先增强“增量备份”相关令牌的生成概率，对共有的通用部分则保持较小的调整幅度。这种差异在长序列中会显著累积。
序列级DPO的一个已知问题是可能降低生成多样性。原因在于，当模型被训练为最大化整个首选序列的概率时，它倾向于在相似的上下文中重复生成与训练数据中首选输出高度相似的内容。由于偏好数据中通常存在多个合理但表达不同的首选输出，序列级的均匀优化会压制模型对这些不同表达方式的探索能力。
令牌级方法通过将偏好信号集中在关键令牌上，在一定程度上缓解了这个问题。因为非关键令牌的优化压力降低，模型在这些位置保留更多的采样空间，从而在整体输出上呈现更丰富的表达变化。这种设计对于开放式写作、创意生成和需要多样化回复的对话场景尤为重要。
需要注意的是，令牌级方法并非完全消除多样性下降的问题。如果关键令牌的识别机制本身存在偏差，或者模型过度依赖少量高权重的关键令牌，仍然可能造成新的模式坍缩。因此，多样性改善的程度取决于关键令牌识别的准确性和正则化的设计。
序列级DPO的训练流程简单直接。它只需要对首选和非首选序列分别计算前向传播得到对数概率，然后套用损失函数进行反向传播。没有额外的网络模块，也没有需要维护的中间状态。从工程角度看，序列级DPO非常容易实现，且计算开销与普通的监督微调接近。
令牌级改进方法则不可避免地增加了额外计算。为了估计令牌级的重要性或价值，通常需要额外的模型组件或推理步骤。例如，某些方法需要对序列中的每个令牌计算一个权重，这要求在前向传播时保存更细粒度的信息；另一些方法可能引入一个辅助的价值网络来估计令牌级回报。这些设计都会增加训练时的内存占用和计算时间。
此外，令牌级方法的调参空间也更大。关键令牌的识别阈值、非关键位置的约束强度、令牌级损失与序列级损失的混合比例等，都需要根据具体任务进行调整。相比之下，序列级DPO的超参数更少，通常只需要调整学习率和KL正则化系数。
序列级DPO因为在整体序列层面进行优化，其梯度信号相对平滑，训练过程通常比较稳定。KL散度正则项的引入进一步限制了参数更新幅度，使得模型不会在单次更新中偏离参考模型过远。
令牌级方法的梯度信号则更加复杂。由于不同令牌的权重可能差异较大，损失函数在令牌维度上呈现更强的不均匀性。如果关键令牌识别不准确，或者某些令牌的权重设置过高，可能导致训练过程中出现较大的梯度波动。部分方法通过引入额外的正则化来稳定训练，但这又增加了实现复杂度。
在实际应用中，令牌级方法往往需要更仔细的学习率调度和更充分的验证来确保训练稳定性。对于数据质量较高、关键令牌信号清晰的任务，令牌级方法的收益可能超过其额外成本；而在数据噪声较大或关键令牌难以定义的任务中，序列级DPO的稳健性反而更具优势。
从损失函数的形式来看，序列级DPO通常基于整个序列的对数概率差构建。其隐式假设是：偏好概率只与序列级别的总体质量相关。这种假设简洁，但忽略了序列内部的结构化信息。
令牌级方法则需要在损失函数中引入令牌维度的加权项。一个常见的思路是将序列级对数概率差拆解为各令牌对数概率差的加权和，权重由令牌重要性函数决定。这个函数的设计是令牌级方法的核心，不同变体的区别也主要体现在这里。部分方法使用注意力权重作为重要性代理，部分方法使用预测概率的变化幅度，还有方法尝试通过对比首选和非首选序列在令牌层面的对应关系来估计贡献度。
无论具体形式如何，令牌级方法在数学上都比序列级DPO更加复杂，需要处理令牌对齐、权重归一化和梯度传播等问题。
| 对比维度 | 序列级DPO | 令牌级改进方法 |
|---|---|---|
| 优化粒度 | 整个输出序列作为一个整体 | 序列内的关键令牌获得差异化权重 |
| 偏好信号利用 | 仅使用序列级别的偏好标签 | 尝试分解为令牌级别的贡献度 |
| 生成多样性 | 可能因均匀优化而降低 | 通过保留非关键令牌空间缓解下降 |
| 训练复杂度 | 低，接近监督微调 | 较高，需额外机制估计令牌重要性 |
| 计算开销 | 较小 | 增加，视具体实现而定 |
| 训练稳定性 | 较稳定，梯度信号平滑 | 可能出现梯度波动，需仔细调参 |
| 超参数数量 | 较少 | 较多，包含令牌级相关参数 |
| 实现难度 | 简单，易于复现 | 中等偏高，依赖关键令牌识别设计 |
| 适用序列长度 | 短序列效果较好 | 长序列中优势更明显 |
| 对数据质量的敏感度 | 中等 | 较高，关键令牌信号需清晰 |
短文本生成任务。 当输出序列较短时，序列级优化与令牌级优化的差异不大。短文本中每个令牌对整体语义的贡献相对均匀，序列级的均匀调整不会造成明显的多样性损失。此时，DPO的低复杂度和高训练效率是重要优势。
偏好数据质量一般但规模较大的场景。 在大规模且可能存在标注噪声的偏好数据集上，序列级DPO的稳健性有助于避免模型被个别错误标注的偏好对过度影响。因为优化信号是基于整体序列差异的，单个令牌的噪声影响有限。
需要快速迭代和验证的场景。 当团队需要快速搭建偏好优化流程并验证效果时，序列级DPO的简单实现和较少超参数可以显著降低工程门槛。对于资源有限的团队或原型验证阶段，这一优势尤为突出。
偏好差异主要集中在整体风格而非局部细节的任务。 例如某些风格迁移或语气调整任务，偏好判断更多取决于整体的语言风格而非某个具体令牌的取舍。序列级DPO能够有效建模这种整体性的偏好差异。
长文本生成与开放式对话。 在长序列中，偏好差异往往只体现在少数关键决策点上。令牌级方法能够更精准地定位这些点，避免对冗长的共性部分施加不必要的优化压力，从而在长文本场景中更好地保持生成质量。
需要高多样性的创意生成任务。 当应用场景要求模型对同一输入产生多种合理且表达不同的输出时，令牌级方法的细粒度优化有助于保留生成空间。例如在文案生成、故事创作和推荐理由生成等任务中，这种优势具有实际价值。
偏好数据稀疏但对齐精度要求高的任务。 在数据量有限但标注质量较高的场景中，令牌级方法可以更充分地利用每一个偏好对中的细粒度信息。通过精确调整关键令牌，模型可以在较少数据上获得更好的对齐效果。
需要细粒度可控性的任务。 某些应用要求模型在特定维度上进行调整，例如事实准确性、逻辑连贯性或特定格式遵循。令牌级方法允许偏好信号聚焦在这些维度相关的令牌上，从而提高优化的针对性。
在实际选型时，不应将序列级DPO与令牌级改进方法简单对立为“旧方法”和“新方法”，而应根据任务特征和工程约束做出条件化判断。
首先评估任务对生成多样性的敏感程度。如果应用场景对输出的丰富性要求较高，且序列长度普遍偏长，令牌级方法值得优先考虑。反之，如果输出格式相对固定、长度较短，序列级DPO可能已经足够。
其次评估团队的技术能力和调参资源。令牌级方法的实现和调优成本明显更高。如果团队缺少相关经验，或者项目时间紧迫，从序列级DPO起步是一个稳妥的选择。后续根据效果验证再决定是否切换到令牌级方案。
还需考虑偏好数据的特征。如果数据中首选和非首选输出的差异清晰且集中在少数关键令牌上，令牌级方法能够发挥优势。如果数据差异模糊或分布在整个序列中，令牌级方法的关键令牌识别可能失效，此时序列级DPO的表现可能更稳定。
一个务实的技术路线是：先以序列级DPO作为基线验证偏好数据的有效性和训练流程的可行性，在确认基础对齐效果达标后，针对多样性瓶颈和长序列退化问题评估令牌级改进是否必要。这种渐进式策略可以有效控制风险和成本。
如果计划从序列级DPO迁移到令牌级方法，或在新项目中直接采用令牌级方案，需要关注以下问题。
数据标注的一致性。 令牌级方法对偏好数据的质量要求更高。在标注阶段，应尽量确保首选输出与非首选输出在关键信息点上存在明确的对比性，避免仅凭整体印象标注。必要时可引入额外的标注维度，帮助模型更好地识别关键令牌。
关键令牌识别的可靠性。 令牌级方法的收益高度依赖于关键令牌识别的准确性。建议在训练前对关键令牌识别机制进行离线评估，确认其行为符合预期。例如，可以人工检查若干样本，验证识别出的高权重令牌是否确实与偏好判断相关。
训练监控指标的调整。 除了常规的损失函数值和评估集得分，还需要关注生成多样性的变化。可以引入如词汇多样性、n-gram重复率等指标，跟踪模型是否出现新的模式坍缩。同时，监控梯度范数的变化有助于及早发现训练不稳定的信号。
推理阶段的计算影响。 部分令牌级方法在训练阶段需要额外的价值估计模块，但在推理阶段可能不再需要。在选择具体方案时，应确认推理阶段的计算开销是否与训练阶段相同，避免将训练期的额外成本误认为推理期也会存在。
与现有流程的兼容性。 如果项目已经在使用序列级DPO的训练代码和数据管道，切换到令牌级方法通常需要修改损失函数、数据加载和可能的模型结构。建议先在较小规模的数据和模型上进行验证，确认流程稳定后再扩展到完整训练。
评估方案的更新。 因为令牌级方法旨在改善多样性，评估方案除了原有的对齐质量指标外，应增加对输出多样性的系统评估。单一指标无法充分反映两类方法的差异，需要使用多维度的评估体系来支撑选型判断。
序列级DPO通过简化传统RLHF流程，将偏好对齐从复杂的强化学习框架中解耦，以更直接、更低成本的方式实现模型输出与人类偏好的对齐。然而，序列级的优化粒度在长序列和高多样性需求的场景中暴露出明显局限，推动了令牌级改进方法的出现。
令牌级方法的核心价值在于将偏好信号从序列整体分解到关键令牌，在不显著增加推理成本的前提下改善优化精度和生成多样性。但这一价值是有条件的：它依赖可靠的关键令牌识别机制，对数据质量和训练调参提出了更高要求，并且训练复杂度更高。
对于工程决策者而言，序列级DPO和令牌级改进方法之间并没有绝对的优劣之分。关键是根据任务的具体特征——序列长度分布、多样性需求强度、数据标注质量、团队技术能力和迭代周期——来选择合适的方法。在多数情况下，以序列级DPO作为起点，通过系统评估发现瓶颈后再针对性地引入令牌级优化，是一种风险更低、收益更可控的技术路径。