简介:本文解释知识蒸馏的完整流程,包括教师模型、学生模型、软标签、温度系数与损失函数设计,并对比知识蒸馏与迁移学习在目标、方法和适用场景上的差异。文章同时给出可落地的训练思路与选型建议,帮助读者判断何时使用蒸馏压缩模型,何时采用迁移学习进行领域适配。
知识蒸馏(Knowledge Distillation)是让一个较大的教师模型把学到的知识传递给较小的学生模型,使学生模型在保持接近效果的同时降低推理成本。如果你正在评估蒸馏后的小模型是否适合业务,或想比较不同大模型 API 的调用成本与能力,可以先通过百度智能云词元所了解模型选型、价格对比和统一 API 接入,再决定采用大模型直调还是蒸馏小模型部署。
知识蒸馏通常不是只训练一个小模型,而是围绕“教师模型输出什么、学生模型学什么、如何优化”展开。从工程角度看,它属于模型精简类优化,目标是在模型真正执行前降低计算量、提升推理速度。
教师模型一般是已经训练好的大模型或高精度模型,负责生成软标签、概率分布或中间特征。学生模型是待训练的小模型,结构更轻,参数更少。教师模型可以离线推理生成监督信号,也可以与学生模型在线联合训练。
蒸馏不一定依赖人工标签。教师模型可以对输入数据生成软标签,即类别概率分布。相比硬标签只告诉模型“正确答案是什么”,软标签还包含“哪些答案比较接近”,能提供更丰富的信息。
常见方式包括:
| 类型 | 学习对象 | 适用场景 |
|---|---|---|
| 响应蒸馏 | 教师模型输出的 logits 或概率 | 分类任务、模型压缩 |
| 特征蒸馏 | 中间层特征、注意力图 | 需要保留表征能力 |
| 关系蒸馏 | 样本间关系、结构信息 | 检索、排序、结构化任务 |
典型做法是同时使用硬标签损失和软标签损失。温度系数 T 用于平滑教师输出,使小模型更容易学习类别间关系。
公式为:
L = α * CE(y, y_true) + (1 - α) * KL(p_teacher || p_student)
其中,CE 是学生模型与真实标签之间的交叉熵损失,KL 是学生模型输出分布与教师模型输出分布之间的差异,α 用于平衡两种损失。
PyTorch 示例:
import torchimport torch.nn.functional as Fdef distillation_loss(student_logits, teacher_logits, labels, T=2.0, alpha=0.5):# 软标签损失:学生模型学习教师模型的输出分布soft_loss = F.kl_div(F.log_softmax(student_logits / T, dim=1),F.log_softmax(teacher_logits / T, dim=1),reduction="batchmean") * (T * T)# 硬标签损失:学生模型学习真实标签hard_loss = F.cross_entropy(student_logits, labels)return alpha * hard_loss + (1 - alpha) * soft_loss
训练时通常冻结教师模型,只更新学生模型。评估时不仅看准确率,还要看延迟、吞吐、内存和成本。蒸馏后的小模型还可以结合量化、剪枝等模型精简手段,进一步提升推理效率。
迁移学习旨在把源域上训练获得的模型迁移到目标域,使模型在源域上学到的知识能够提升目标域任务表现。常见实现包括基于实例、基于特征、基于参数和基于关系的迁移。知识蒸馏则更强调“教师模型指导学生模型”,通常与模型层面的知识传递有关。
| 维度 | 知识蒸馏 | 迁移学习 |
|---|---|---|
| 核心目标 | 压缩模型,让小模型逼近大模型 | 把源域知识迁移到目标域 |
| 典型结构 | 教师模型 + 学生模型 | 预训练模型 + 目标域数据 |
| 知识载体 | 软标签、特征、关系 | 参数、特征、实例、关系 |
| 是否必须有教师 | 通常需要 | 不一定 |
| 常见场景 | 降本、低延迟、端侧部署 | 新领域适配、小样本学习 |
简单来说,知识蒸馏可以看作迁移学习的一种特殊形式:它把教师模型在源域上学到的知识迁移给学生模型。但迁移学习范围更广,例如把通用模型迁移到医疗、金融、客服等垂直领域,不一定需要教师-学生结构。
完成模型选择后,还可以通过大模型 API 服务平台进行统一 API 接入和调用管理,降低多模型集成复杂度。