DPO简化多偏好对齐的革新之路

在人工智能领域，尤其是大型语言模型（LLM）的发展中，如何使模型的输出更好地对齐人类偏好一直是一个核心问题。随着OpenAI发布o1后，LLM领域再次掀起了Inference Scaling Law的热潮，其中强化学习的应用显著提升了模型的推理能力。在这一背景下，RLHF（Reinforcement Learning with Human Feedback）和DPO（Direct Preference Optimization）等对齐技术应运而生。

RLHF的架构与流程

RLHF是一种利用人类反馈信号直接优化语言模型的方法。其完整流程包含三个阶段：

1. Self-Supervised Pre-Training：在大量无标注的文本上训练LLM，得到一个base model。
2. Supervised Fine-Tuning（SFT）：使用QA数据对base model进行指令微调，得到chat model。这个模型可以复制一份作为后续使用的参考模型。
3. Alignment Tuning：包括Preference Sampling、Reward Learning和RL Finetuning。首先，输入准备好的问题到chat model，得到答案后，人为标注偏好数据集。然后，使用偏好数据训练奖励模型，使其能分辨哪个答案更好。最后，使用奖励模型的指导，利用强化学习进一步微调模型，对齐人类偏好，常用的强化学习算法是近端策略优化（PPO）。

RLHF的关键组成是奖励模型和PPO强化学习微调部分。奖励模型的难点在于数据的构造以及模型的准确性，而PPO算法则难以训练。

DPO的简化之道

尽管RLHF流程清晰，但实现起来相对复杂。DPO则旨在简化这一过程，同时保持甚至提高性能。DPO的改进之处在于：

1. 不再训练奖励模型：DPO直接使用人类标注的偏好数据，一步到位训练对齐模型，从而避免了奖励模型训练过程中的复杂性和数据构造难题。
2. 简化强化学习方法：DPO通过数学推理，将原始的偏好对齐目标步步简化，最后通过类似于SFT的方式，用更简单的步骤训练出对齐模型，降低了强化学习的训练难度。

DPO的优化目标是在保持模型输出分布与指令微调模型不太远的前提下，最大化对齐模型的奖励得分。这通过对齐模型和参考模型（一般使用指令微调模型）之间的KL散度来衡量，并通过数学变换将优化目标转化为可求解的形式。

从RLHF到DPO的推导

从RLHF到DPO的推导过程涉及统计模型的应用，如Bradley-Terry（BT）模型和Plackett-Luce（PT）模型。这些模型用于分析成对数据间的相对优势或偏好，并可以扩展到多数据偏好排序的场景。

在RLHF中，奖励模型的训练通常使用BT模型或PT模型。BT模型用于处理两个回答的情况，通过比较两个回答的得分来确定哪个更优。而PT模型则用于处理多个回答的情况，通过计算每个回答在所有可能排序中的得分来确定最优排序。

DPO的推导基于PT模型进行，它利用人类标注的偏好排序数据，通过最大化最优排序的概率来优化对齐模型。这一过程中，DPO避免了直接训练奖励模型，而是通过数学变换将优化目标转化为对齐模型的参数更新。

DPO的应用与前景

DPO作为一种简化的多偏好对齐方法，在LLM领域具有广泛的应用前景。它可以用于改进模型的指令理解能力、提高生成的回答质量，并降低模型在训练过程中的复杂性和成本。

例如，在曦灵数字人的开发中，DPO可以用于优化数字人的对话生成能力，使其更好地理解和回应用户的指令和偏好。通过DPO的训练，数字人可以更加自然地与用户进行交互，提供更具个性化的服务体验。

此外，DPO还可以与其他对齐技术相结合，如GRPO、IPO、RLOO等，以进一步提高模型的性能和对齐效果。随着LLM领域的不断发展和技术的进步，DPO有望在更多领域得到广泛应用和推广。

结论

DPO作为一种从RLHF推导而来的简化多偏好对齐方法，在保持甚至提高性能的同时，降低了实现复杂度。它通过直接使用人类标注的偏好数据和简化强化学习方法，实现了对齐模型的快速训练和优化。随着技术的不断进步和应用场景的拓展，DPO有望在LLM领域发挥更大的作用，为人工智能的发展注入新的活力。同时，曦灵数字人等产品的开发也将受益于DPO技术的应用，为用户提供更加智能和个性化的服务体验。