大模型蒸馏方法分类与技术解析

一、什么是大模型蒸馏

大模型蒸馏（Knowledge Distillation for Large Language Models）是一种将大型教师模型所蕴含的知识与能力迁移到规模更小的学生模型中的技术范式。其核心目标是在显著降低参数量、推理成本与部署门槛的同时，尽可能保留教师模型在语言理解、生成、推理等方面的表现。

从技术本质上看，蒸馏属于一种“知识迁移”方法：教师模型在训练过程中形成的输出分布、中间特征或行为偏好，构成了学生模型学习的监督信号。根据监督信号的不同来源与形态，蒸馏方法可以被划分为若干类别。这种分类方式不仅便于学术研究中的对比分析，也直接影响工程实践中数据构造、训练目标设计与系统架构的选择。

二、为什么需要分类理解蒸馏方法

在大模型落地过程中，蒸馏常被用于以下几类需求：

• 降低推理成本：将百亿级参数模型压缩至十亿级甚至更小，满足端侧或高并发场景。
• 保护私有知识：在无法直接开放教师模型参数的情况下，通过输出级监督完成能力迁移。
• 适配特定任务：将通用大模型的能力聚焦到垂直领域，以较小模型达到可用效果。
• 加速迭代实验：用蒸馏方式快速验证小模型的能力上限。

不同蒸馏方法的监督信息粒度不同，对学生模型的要求、对教师模型的访问权限要求也不同。因此，按“教师向学生提供何种监督信息”来分类，是一种既贴近研究文献、又便于工程实践的划分方式。据此，主流方法可分为四类：文本输出蒸馏、概率分布蒸馏、中间表示蒸馏、偏好蒸馏。

三、文本输出蒸馏

3.1 核心定义

文本输出蒸馏是指由教师模型生成自然语言形式的回答，再将“输入 + 教师回答”作为监督数据，训练学生模型模仿教师输出的方法。学生模型学习的目标是：给定相同输入，生成与教师尽可能一致的文本序列。

3.2 典型做法：序列级蒸馏

最常见的实现方式是序列级蒸馏（Sequence-Level Knowledge Distillation）。具体流程如下：

1. 准备一批输入样本（问题、指令或上下文）。
2. 将输入送入教师模型，获取教师生成的完整回答。
3. 将“输入—回答”对作为训练数据，对学生模型进行标准的自回归监督训练。

其训练目标可示意为：

L = - Σ log P_student(y_t | x, y_<t)

其中 x 为输入，y_t 为教师生成的 token 序列。学生模型在每个位置都以教师生成的 token 作为标签进行学习。

3.3 方法特点

• 无需访问教师内部状态：只需要教师输出的文本，因此适用于仅提供 API 的黑盒模型。
• 实现简单、通用性强：可直接复用常规的指令微调流程。
• 信息粒度较粗：学生只看到教师“最终选中的 token”，无法获知其他候选 token 的概率信息。

3.4 推理过程蒸馏的扩展

当教师输出不仅包含最终答案，还包含解释、解题步骤或思维链时，文本输出蒸馏可以进一步扩展为对推理过程的蒸馏。学生模型不仅学习“答什么”，还学习“如何得到答案”。

常见做法有两种：

• 端到端学习完整推理链：直接训练学生生成“推理过程 + 答案”。
• 多任务联合训练：将答案预测与解释生成作为两个任务联合优化，例如“分步蒸馏”思路即采用此类方式。

这一方向在提升小模型复杂推理能力方面表现突出，但也需要注意：高质量推理数据的获取往往受限于教师平台的使用政策，大规模导出思维链可能触发风控限制，工程上需提前规划数据来源与合规边界。

四、概率分布蒸馏

4.1 核心定义

概率分布蒸馏是指让学生模型直接逼近教师模型的输出概率分布。在自回归语言模型中，通常比较同一上下文下师生对下一个 token 的预测分布，使学生不仅看到最终选中的 token，还能学习其他候选 token 的相对可能性。

4.2 为什么比文本标签更丰富

传统的文本输出蒸馏提供的是“硬标签”，即教师最终选中的那个 token。而概率分布提供的是“软标签”，包含了教师对不同候选 token 的偏好程度。例如，在某个上下文下，教师可能给 token A 分配 0.7 的概率，token B 分配 0.2，token C 分配 0.1。这种相对关系携带了更强的监督信号，有助于学生模型学到更平滑、更泛化的表示。

4.3 常见训练目标

• 带温度的交叉熵：通过温度系数平滑教师分布，使学生更容易学习。
• 正向 KL 散度：最小化学生分布与教师分布之间的 KL 距离。
• 反向 KL 散度：在某些场景下可避免学生过度平滑。
• 其他散度度量：如 f-divergence 等更一般的分布差异度量。

4.4 技术约束

• 通常需要访问教师的 logits 或输出概率，黑盒 API 场景下难以直接实现。
• 若师生使用不同的分词器，还需要额外的词表对齐或映射机制。
• 训练与推理阶段的计算开销相对文本输出蒸馏更高。

五、中间表示蒸馏

5.1 核心定义

中间表示蒸馏是指让学生模型学习教师模型内部层级的隐藏状态、注意力矩阵或其他中间特征。其基本假设是：教师模型的中间层编码了丰富的语义与结构信息，直接对齐这些表示可以帮助学生更好地理解输入。

5.2 典型做法

• 隐藏状态对齐：通过投影层将学生隐藏维度映射到教师维度，再最小化两者差异。
• 注意力分布对齐：让学生模仿教师的注意力权重分布。
• 多层联合对齐：在多个层级上同时施加蒸馏损失。

5.3 适用边界

中间表示蒸馏通常要求师生模型在架构上有一定可比性，且需要访问教师内部参数。对于黑盒模型或架构差异较大的师生组合，实施难度较高。因此，它更多出现在白盒蒸馏或同架构压缩场景中。

六、偏好蒸馏

6.1 核心定义

偏好蒸馏是指利用教师模型对多个候选输出的偏好排序或评分，训练学生模型学习这种偏好关系。与概率分布蒸馏不同，偏好蒸馏不要求逐 token 的概率对齐，而是关注“哪个回答更好”这一相对判断。

6.2 典型形式

• 成对偏好：给定同一输入的两个回答，教师判断哪个更优，学生学习模仿该偏好。
• 排序蒸馏：教师对多个候选回答进行排序，学生学习复现排序结果。
• 评分蒸馏：教师给出标量评分，学生回归该评分。

6.3 价值与场景

偏好蒸馏与人类反馈对齐的思路相近，适合用于提升学生模型在有用性、安全性、风格一致性等方面的表现。它在教师只提供黑盒接口、但可以多次采样并比较的场景中尤为实用。

七、四类方法的对比与选择

方法类型	监督信号	是否需白盒	实现难度	典型适用场景
文本输出蒸馏	教师生成的文本	否	低	黑盒 API、通用能力迁移
概率分布蒸馏	token 概率分布	是	中高	白盒蒸馏、精细对齐
中间表示蒸馏	隐藏状态/注意力	是	高	同架构压缩、深层对齐
偏好蒸馏	偏好排序/评分	否	中	对齐优化、风格控制

在实际工程中，这四类方法并非互斥，常可组合使用。例如，可以先通过文本输出蒸馏完成基础能力迁移，再通过偏好蒸馏优化回答质量，或在白盒条件下叠加概率分布蒸馏以提升细粒度对齐效果。

八、使用注意事项

1. 合规与政策：大规模获取教师模型的思维链或概率输出可能受平台政策限制，需提前确认数据来源的合规性。
2. 分词器对齐：概率分布蒸馏中，师生分词器不一致会导致分布无法直接比较，需要设计映射方案。
3. 数据质量：文本输出蒸馏的效果高度依赖教师生成数据的质量与多样性。
4. 容量差距：师生规模差距过大时，学生可能无法完全吸收教师知识，需要合理设置模型规模与训练策略。
5. 评估体系：蒸馏效果应在目标任务、通用能力与安全性等多个维度上综合评估，避免单一指标误导。

九、总结

大模型蒸馏方法按教师提供的监督信息可划分为文本输出蒸馏、概率分布蒸馏、中间表示蒸馏与偏好蒸馏四类。文本输出蒸馏以文本为桥梁，适用于黑盒场景；概率分布蒸馏以软标签传递更丰富的监督信号；中间表示蒸馏深入模型内部特征；偏好蒸馏则聚焦于输出质量的相对判断。理解这些方法的定义、原理与边界，有助于在模型压缩与能力迁移的实践中做出更合理的技术选型。