大模型持续学习中的自蒸馏技术解析

一、概念定义：什么是自蒸馏

自蒸馏（Self-Distillation）是一类模型训练范式：在训练过程中，由同一个模型（通常共享参数）分别扮演“学生”和“教师”两种角色，通过最小化两者输出分布的差异，将教师侧更丰富的监督信号传递给学生侧，从而实现稠密（token 级）的监督。

它与传统知识蒸馏的关键区别在于不依赖外部更强的教师模型。传统蒸馏需要一个能力显著高于学生的独立教师模型提供 token 级软标签，因而受限于教师的可得性、推理成本以及“师生能力差距过大导致学习困难”等问题。自蒸馏则通过让模型自身在不同条件化上下文下产生两种分布，把“教师”内化到同一套参数中。

在 2026 年初围绕大模型持续学习的讨论中，自蒸馏被进一步具体化为在策略自蒸馏（On-Policy Self-Distillation）：学生只看到问题（或当前上下文），教师额外看到某种“特权信息”（privileged information），两者在同一模型参数上条件化出不同分布；训练时在学生自己采样出的轨迹上最小化两者的逐 token 散度。这一形式同时获得了两个此前难以兼得的属性——在策略（on-policy） 与 稠密监督。

可以将其核心思想概括为一句伪代码式的表达：

for each prompt x:
    y_hat = student.sample(x)            # 学生自采样轨迹（on-policy）
    p_S   = student.logits(x, y_hat)     # 学生分布：只看问题
    p_T   = teacher.logits(x, y_hat, z)  # 教师分布：额外看特权信息 z
    loss  = divergence(p_S, p_T)         # 逐 token 稠密对齐
    update_shared_parameters(loss)

其中 z 即特权信息，在不同任务中可以是标准答案、参考解答、执行反馈、检索到的证据等。

二、背景与价值：为什么这一概念值得关注

大模型后训练（post-training）长期存在三条主流路线，各自都有明显短板：

其一，监督微调（SFT）。 直接模仿专家轨迹，实现简单、训练稳定，但本质上是离线（off-policy） 的：训练分布来自专家数据，推理分布来自模型自身，两者不一致，导致泛化能力受限；在持续学习场景中，分布偏移累积会加剧灾难性遗忘。

其二，可验证奖励强化学习（RLVR）。 以可验证的奖励（如答案对错）做在策略训练，缓解了分布偏移问题，但奖励信号极其稀疏：一个标量奖励被均匀分配给轨迹中的所有 token，信用分配（credit assignment）成为瓶颈；当一批采样轨迹全部正确或全部错误时，优势估计趋近于零，梯度消失，训练效率低下。

其三，知识蒸馏。 提供稠密的 token 级监督，但依赖更强的外部教师，且师生能力差距过大时学生难以有效吸收。

三者的共同困境可以归结为一个问题：能否在不依赖外部教师的前提下，同时获得在策略训练与稠密监督的双重收益？ 自蒸馏正是对这一问题的直接回答。其价值体现在三个层面：

• 信号密度：把只有一个标量的奖励，扩展为每个 token 一个监督信号，显著改善信用分配；
• 分布一致性：监督建立在模型自己采样的轨迹上，训练与推理分布对齐；
• 可持续性：不依赖外部教师，意味着模型可以在一轮又一轮的自我迭代中持续学习，而不必每次等待更强模型出现。

三、核心组成与工作原理

自蒸馏系统通常由四个关键部分组成。

1. 双角色条件化。 学生与教师共享同一套参数，但输入上下文不同。学生看到常规上下文（如问题本身），教师看到附加的特权信息。特权信息的选择决定了监督信号的信息量：信息过强会使教师分布过于偏离学生、学习困难；信息过弱则监督信号退化为噪声。

2. 在策略轨迹采样。 训练数据不是固定的专家轨迹，而是学生当前策略采样出的轨迹。这保证了训练分布随策略演化而更新，是“持续学习”能力的来源。

3. 散度目标函数。 在轨迹的每个 token 位置上最小化学生与教师分布的差异。常用形式包括前向 KL、反向 KL 以及广义 JSD（Jensen-Shannon 散度），后者通过一个插值系数在“模式覆盖”与“模式寻优”之间折中，实践中常取中间值以兼顾稳定性与锐度。

4. 参数共享与更新。 由于师生共享参数，梯度同时影响两种角色，形成一种“自我约束”：教师侧提供目标，学生侧逼近目标，二者在训练中共同演化。这也带来一个需要关注的问题——教师分布本身也在变化，目标并非固定，训练动态需要用较小的学习率、散度裁剪或目标分布停梯度等方式加以稳定。

从信息论视角看，自蒸馏的本质是用特权信息构造一个信息更充分的条件分布，并将其作为学生分布的学习目标。它并不额外引入外部知识，而是把训练数据中原本被浪费的结构（如参考解答中的推理步骤）重新激活为监督信号。

四、典型场景

数学推理。 数学竞赛类数据集天然包含标准解答，其中不仅有最终答案，还有完整的推理过程。传统做法只用答案做二元对错判断，浪费了过程信息；自蒸馏可把标准解答作为特权信息交给教师，使每个推理 token 都获得监督。相较之下，这类方法在采样效率上具备优势：学生每条问题只需少量轨迹即可获得有效梯度，而基于标量奖励的方法往往需要成批采样才能形成优势估计。

代码生成。 代码任务的特权信息可以来自单元测试的执行反馈、参考实现或静态分析结果。教师在这些信息条件下给出的分布，能够引导学生更早收敛到可执行、可通过的解法，缓解仅靠通过/不通过二值奖励带来的稀疏性问题。

持续学习与领域适配。 在模型需要不断吸收新领域知识、又不宜频繁依赖更强外部教师的场景中，自蒸馏提供了一条自我迭代路径：用模型自身在不同信息条件下的分布差异作为学习信号，降低对外部标注与教师模型的依赖，同时因训练建立在自采样轨迹上，对分布漂移更为敏感和及时。

智能体与多轮任务。 在工具调用、多步推理等任务中，特权信息可以是执行环境返回的真实结果或中间状态，教师据此对学生的每一步决策给出稠密评价。

五、与相关概念的区别

• 与监督微调的区别：SFT 在固定专家轨迹上做离线模仿；自蒸馏在自采样轨迹上做在策略对齐，训练与推理分布一致，更利于持续学习。
• 与可验证奖励强化学习的区别：二者都是在策略的，但 RLVR 使用标量奖励、信号稀疏、依赖批次内对比；自蒸馏使用逐 token 分布目标、信号稠密，单条轨迹即可提供有效监督。
• 与传统知识蒸馏的区别：传统蒸馏的教师是独立的外部更强模型；自蒸馏的教师与学生共享参数，仅条件化上下文不同，因而不受教师可得性约束。
• 与自我训练/拒绝采样的区别：后者通常基于最终结果做样本筛选或加权，仍是粗粒度信号；自蒸馏提供的是 token 级分布监督。

六、使用注意事项

特权信息的设计是成败关键。 需要评估其信息量与噪声水平：信息过强会拉大师生分布差距，导致学习困难；信息过弱则监督退化。建议从信息量可控的特权信号起步，逐步增强。

训练稳定性。 由于目标分布随参数同步变化，需关注散度目标的数值稳定性，可采用停梯度、散度裁剪、较小学习率或分阶段调度等通用手段。

散度形式与系数的选择。 不同散度对应不同的模式覆盖行为，系数取值影响锐度与稳定性，应在验证集上做消融，而非沿用默认值。

评估口径。 除最终准确率外，应同时关注 token 效率、采样成本、生成长度约束以及持续学习中的遗忘程度，避免仅以单点指标判断优劣。

适用边界。 自蒸馏的前提是存在合理的特权信息；若任务中无法构造有信息量的额外条件，其收益会明显下降，此时传统在策略方法或监督微调可能更合适。

七、总结

自蒸馏是指同一模型在不同条件化上下文下分别充当学生与教师、通过最小化二者逐 token 分布差异实现稠密在策略监督的训练范式。它用一个统一框架回应了监督微调的分布偏移、可验证奖励强化学习的信号稀疏以及传统蒸馏的教师依赖三重困境，其核心价值在于以较低的外部依赖获得高密度、分布一致的监督信号。理解其定义的关键，是把握“共享参数、条件化差异、在策略轨迹、稠密散度”这四个要素；而其适用边界，则取决于能否为教师侧构造出信息量适中的特权信息。