简介：本文系统梳理大模型蒸馏的主要技术路线，重点解释直接SFT蒸馏、能力蒸馏、数据蒸馏与策略蒸馏的定义、工作原理及适用边界。读者可以理解不同蒸馏方法之间的演进逻辑、各自优缺点，以及在工程实践中选择蒸馏方案时需要关注的数据质量、评测体系与部署成本等关键问题。
大模型蒸馏，通常指将一个大参数规模模型（常称为“教师模型”）所具备的知识、能力或行为模式，迁移到一个小参数规模模型（常称为“学生模型”）中的技术过程。其核心目标是：在显著降低推理成本、内存占用和部署复杂度的前提下，尽可能保留教师模型在特定任务上的表现。
从技术视角看，大模型蒸馏并不仅仅是简单的“模型压缩”。它涉及知识表示的选择、迁移信号的构建、训练目标的重新设计，以及学生模型结构的选择与训练策略的调整。与早期卷积神经网络时代的蒸馏不同，大语言模型的蒸馏对象不再局限于输出层概率分布，而是扩展到了中间表示、生成轨迹、推理过程、偏好信号乃至工具调用模式。
从业务视角看，大模型蒸馏解决的是一个非常现实的问题：一个拥有数千亿参数、需要多卡集群才能完成推理的教师模型，在很多在线业务场景中难以满足延迟、吞吐和成本约束。蒸馏产出的学生模型可以在单卡甚至边缘设备上运行，从而让高质量语言能力进入更多中小型服务、离线应用或端侧系统。
从使用视角看，蒸馏并非“缩小版模型”的简单复制。学生模型的能力往往集中在教师模型曾重点展现过的任务分布上，其泛化边界通常窄于教师模型。因此，理解蒸馏方法的分类、机制与局限，对于技术选型至关重要。
大模型蒸馏的兴起，主要来自四个方面的现实约束。
推理成本压力。 一个千亿级参数模型在常态化业务流量下，单次推理的算力开销可能达到十亿乃至百亿级浮点运算量。当业务请求量上升时，算力成本线性甚至超线性增长，使得许多中小团队难以持续承担。
延迟与吞吐要求。 在线服务通常对首字延迟、端到端延迟和每秒请求数有明确指标。大模型在未经过高度工程优化的情况下，往往难以满足高并发、低延迟的服务等级要求。小参数模型在推理速度上具备天然优势。
私有化与边缘部署需求。 在金融、政务、制造等行业的本地化部署场景中，GPU资源通常是受限的。企业往往只有数张加速卡甚至只有CPU服务器。将大模型直接部署到这类环境几乎不可行，蒸馏后的小模型则提供了可行路径。
定向能力增强与合规可控。 教师模型虽然通用能力较强，但某些业务只需要它在特定任务上表现良好，例如合同审查、客服工单分类、日志异常检测等。蒸馏允许团队围绕这些任务构建专门的训练信号，产出一个行为更可控、输出风格更稳定的学生模型，同时降低模型泄露敏感知识或产生越权行为的风险。
大模型蒸馏的核心由三个部分组成：教师模型、学生模型以及迁移信号。迁移信号的设计是不同蒸馏方法之间的主要区分维度。下面按照技术演进顺序，介绍几种主要的蒸馏范式。
这通常是业界最早大规模采用、也最容易理解的方法。其思路十分直接：既然教师模型能产生高质量输出，那么就将这些输出作为“标准答案”，用来监督训练学生模型。
具体流程一般如下：
这种方法的优点在于工程实现简单、数据构造直观、训练稳定。对于指令跟随、常见问答、文本摘要等任务，学生模型往往能在较短训练周期内获得明显提升。
但它的局限也较为明显。第一，学生模型学到的是教师模型在特定提示分布下的表面行为，而缺乏对其内部推理过程和生成策略的学习；第二，教师模型生成的数据中往往存在噪声、冗余或错误，如果直接使用而不做质量控制，会造成错误传播；第三，该方法高度依赖提示的多样性和覆盖面，一旦线上输入分布与训练提示分布不一致，学生模型表现可能迅速下降。
直接SFT使用的是教师模型生成文本的“硬标签”，即选取概率最高的词作为目标。更细粒度的做法是使用教师模型在生成每个词时的完整概率分布作为监督信号，学生模型在学习时不仅知道“答案是哪个词”，还知道“教师认为其他哪些词也有较高可能性”。
这类方法通常基于KL散度或交叉熵进行优化，目标是让学生模型的输出概率分布尽量接近教师模型。相比硬标签，概率分布携带了更丰富的“软信息”，比如词汇之间的语义相似度、生成时的备选路径宽度等。这种方法在早期小模型分类任务蒸馏中十分常见，在大语言模型微调阶段也有应用。
需要关注的是，对于大语言模型而言，完整概率分布的计算与存储开销较高，尤其在词表规模达到数万甚至数十万时。实际落地中常常结合采样策略，只蒸馏教师模型对部分候选词的概率，以降低工程成本。
如果想让学生模型学到的不只是“输出像教师”，还包括“内部表示像教师”，就需要使用隐状态蒸馏。其核心思想是：在教师模型和学生模型的不同网络层之间建立映射，让学生模型的某些隐藏层输出尽量逼近教师模型对应层的输出。
这类方法的难点在于，教师模型与学生模型的层数、维度、结构往往不同，因此需要设计合理的层对齐策略和维度变换模块。常见做法包括：均匀采样若干层进行对齐，通过可学习的线性投影将学生隐状态映射到教师隐状态空间，并用均方误差或余弦相似度作为损失项。
隐状态蒸馏通常比仅从输出端蒸馏能传递更丰富的表示知识，尤其对需要深层语义理解的任务帮助更大。但它的训练复杂度也显著提高，同时需要保证学生模型有足够的表达容量来承载这些中间信息。如果学生模型容量过小，强行对齐隐状态可能反而损害其泛化能力。
大语言模型的一个重要能力是逐步推理。如果仅蒸馏最终答案，学生模型往往无法掌握“如何一步步想清楚”的能力。因此，研究者开始探索让学生模型学习教师模型生成推理链条的过程。
典型做法包括：
这种方法对于数学题解、程序设计、逻辑判断、多步决策等任务尤为有效。学生模型不仅学会了“答案长什么样”，还学会了“怎样从问题走向答案”。不过，该方法对训练数据的质量要求很高。如果教师模型的推理链中混杂错误步骤或跳跃逻辑，学生模型会继承这些缺陷。因此通常需要引入推理链清洗、正确性筛选或人工校验环节。
教师模型不仅包含“知识”，还包含“偏好”。例如，在同样正确的多个回答中，教师模型可能倾向于更简洁、更礼貌或更有条理的表达。对齐蒸馏的目标，就是让这种偏好信息迁移到学生模型中。
这类方法通常借鉴人类反馈强化学习中的思路。具体地，教师模型对同一提示生成多个回答，再对这些回答进行质量排序或打分，形成“好/坏”或“优/良/差”的偏好数据。学生模型通过对比学习或排序损失，使自身生成结果更靠近高评分回答，远离低评分回答。
与直接SFT相比，对齐蒸馏更关注“回答之间谁更好”而不是“某一个回答是什么”。这使得学生模型在开放性生成、风格控制、安全性等方面具备更好的表现。但偏好数据的收集和标注成本较高，而且偏好标准本身与业务场景高度相关，需要谨慎设计。
综合来看，大模型蒸馏的工作原理可以概括为三个层次的递进。
第一层：行为复制。 学生模型模仿教师模型的外部输出，表现为“相同的提示得到相同的答案”。这一层实现简单，但迁移深度有限。
第二层：表示对齐。 学生模型被强制使内部表示靠近教师模型，从而获得更深层的语义建模能力。这一层迁移更丰富，但工程复杂度更高。
第三层：策略泛化。 学生模型学习教师模型在多种情况下的决策偏好、推理方式与风格取舍，而不仅仅是单次输出。这一层对学生模型泛化能力提升最大，但数据构建和训练信号设计也最困难。
实际项目往往不会只用单一层次的方法，而是结合直接SFT蒸馏建立基础能力，再通过偏好蒸馏微调风格与安全性，必要时增加隐状态对齐损失来辅助训练。
在线客服与工单系统。 企业客服场景对延迟要求高、请求量大、答案格式相对固定。使用蒸馏后的小模型，可以在保证常见问题回答质量的同时，大幅降低线上服务资源消耗。
端侧实时交互。 在输入法联想、文本自动补全、语音助手离线模式等场景中，模型必须常驻终端设备。蒸馏后的小参数模型能够在内存占用和功耗约束下运行，同时保留良好的语言理解与生成能力。
定向任务处理。 某些内部系统只需要模型完成单一任务，例如合同条款分类、邮件路由判断、日志摘要生成等。针对这些任务做定向蒸馏，可以避免大模型的通用能力冗余与误输出风险，也便于评估和审计。
数据增强与标注意见生成。 在缺乏人工标注的情况下，可以用教师模型生成候选标签或数据增强样本，再用蒸馏方式训练轻量级任务模型，降低对人工标注的依赖。
模型压缩与蒸馏。 模型压缩是更宽泛的概念，包括剪枝、量化、低秩分解、蒸馏等。蒸馏是模型压缩的一种方式，其核心特点是通过教师模型提供监督信号，而非仅从结构层面减少参数。
微调与蒸馏。 微调通常指在目标任务的标注数据上继续训练预训练模型，其监督信号来源于人工或自动构造的标准答案。蒸馏的监督信号来源于教师模型，可能是教师模型的输出、分布、隐状态或偏好。两者可以结合，但出发点不同。
主动学习与蒸馏。 主动学习关注“选择哪些数据让人工标注”，以最大化模型提升。蒸馏则关注“如何让教师模型的知识迁移到学生模型”。两者都涉及数据效率，但目标对象和优化路径不同。
数据质量控制。 教师模型生成的数据并非天然可靠。错误、歧义、重复的样本会直接拖低学生模型上限。蒸馏前应建立清洗流程，过滤低质数据，必要时引入自动评分和人工抽检。
任务边界评估。 学生模型通常在教师模型重点展现过的任务分布内表现良好，一旦偏离该分布，能力可能快速衰减。上线前需要在与真实流量相近的评测集上测量性能，而不是仅仅看公开榜单。
评测体系设计。 蒸馏效果不能只用“是否生成了相似文本”来评价。应根据业务目标设计任务正确率、准确率、召回率、延迟、吞吐、安全性与鲁棒性等多维指标。
算力与训练成本。 虽然学生模型推理开销小，但蒸馏过程本身需要调用教师模型生成大量数据，并完成额外训练。因此，蒸馏的总体算力成本并不低。需要评估教师模型调用次数、数据规模与训练机器配置。
安全与合规。 教师模型可能输出违反安全规范的内容，这些内容如果进入训练数据，会被学生模型继承甚至放大。必须对训练数据进行内容审核，并在蒸馏后对学生模型做安全评测。
大模型蒸馏的本质，是在教师模型的知识、能力与学生模型的成本约束之间寻找一个可控的平衡点。直接SFT蒸馏作为最基础的方式，解决了“如何让学生模型初步获得大模型行为”的问题；而后续的隐状态对齐、推理链学习、偏好迁移等方法，则在不断逼近“如何在更小参数规模下保留教师模型的关键能力”。
选择何种蒸馏方法，取决于任务类型、可用数据、训练预算、部署环境以及对安全与可控性的要求。没有一种方法能在所有场景下都最优。理解各类蒸馏范式的定义、工作原理与边界，是做出合理技术决策的前提。