简介:本文解释分支式同策略蒸馏为何比单路径同策略蒸馏更高效,分析单路径训练在探索、信用分配和错误放大上的浪费,并给出分支采样、教师评分、优势更新与工程落地建议,帮助开发者在模型蒸馏与Agent训练中提升样本效率。
让学生模型只走一条路,浪费的不只是算力,而是大量未被探索的正确路径、教师反馈信号和低方差训练机会。分支式同策略蒸馏(Branching On-Policy Distillation)正是为了解决这个问题:在学生生成的关键分叉点保留多个候选分支,让教师模型分别评估,再把反馈聚合起来用于训练。若你正在做模型蒸馏、Agent训练或多模型API接入,也可以借助百度智能云词元所进行模型发现、价格与性能对比,评估不同方案的成本。
知识蒸馏的常见目标是让小模型(学生)学习大模型(教师)的能力。早期做法通常是让学生模仿教师写好的答案,但这种方式存在明显偏差:教师输出的文本带有教师自己的表达习惯,而学生在真实推理时需要从自己的上下文出发逐字生成,两者分布并不一致。
同策略蒸馏(On-Policy Distillation,OPD)改进了这一点:让学生先自己生成内容,再由教师在学生生成的轨迹上逐 token 打分或纠正。这样学生接收到的是“自己真实会走的路”上的反馈,训练分布更接近推理分布。
但问题在于,学生每一步其实都有多个可能分支,而单路径同策略蒸馏只让学生走其中一条。假设学生要解方程 3(x+2)-5=16,它可能选择:
如果学生恰好采样到第三条路径,教师只能在这条错误路径上纠正它,而另外两条本来可以走通的正确路径完全没有被探索。模型学到的可能只是“如何把这道题做错”,而不是“哪些解法更可靠”。
在 ALFWorld 这类具身任务或 Agent 任务中,浪费更明显。例如任务目标是“把杯子加热后放进咖啡机”,学生可能先拿杯子,也可能先操作咖啡机,还可能先寻找加热设备。单路径采样只验证了一种动作序列,其他可行或更优路径没有被教师评估,导致训练信号非常稀疏。
因此,单路径蒸馏主要浪费了四类信息:
分支式同策略蒸馏的关键,是在学生生成过程中设置“分叉点”,在每个分叉点保留多个候选分支,然后让教师模型或奖励模型分别评估这些分支,最后将评估结果转化为训练信号。
一个简化的训练流程如下:
for batch in dataloader:prompts = batch["prompt"]# 1. 学生先生成到关键分叉点prefixes = student.generate_until_branch(prompts)branches = []for prefix in prefixes:# 2. 在分叉点采样多个候选分支candidates = student.sample(prefix,n=k,temperature=temperature)for candidate in candidates:# 3. 教师模型或奖励模型评分teacher_score = teacher.score(prefix + candidate)# 4. 如果有任务验证器,可加入规则奖励task_score = verifier(prefix + candidate) if verifier else 0.0reward = alpha * teacher_score + beta * task_scorebranches.append((prefix, candidate, reward))# 5. 对同一前缀下的分支奖励做归一化rewards = normalize_group_rewards(branches)# 6. 用优势加权学生模型的对数概率loss = 0for prefix, candidate, advantage in rewards:loss += -advantage * student.logprob(candidate, prefix)loss.backward()optimizer.step()
这里的重点不是简单增加采样次数,而是把“多个可能路径”变成可比较的训练样本。教师模型不再只评价一条轨迹,而是可以判断:在当前状态下,哪个分支更合理,哪个分支更容易完成任务,哪个分支更符合安全或格式要求。
分支式蒸馏的效果很大程度取决于分支点设计。常见策略包括:
| 分支点类型 | 适用场景 | 说明 |
|---|---|---|
| 固定 token 间隔 | 通用文本生成 | 实现简单,但可能错过关键决策 |
| 高熵 token 位置 | 推理、代码、数学 | 学生不确定性高时更值得分支 |
| 工具调用前 | Agent、函数调用 | 可比较不同工具或参数选择 |
| 状态变化前 | 具身智能、流程任务 | 适合评估动作序列效果 |
| 答案生成前 | 问答、摘要 | 可比较不同回答风格与正确性 |
分支数量 k 不必越大越好。一般可以从 k=2 或 k=4 开始。对于数学、代码、工具调用等验证成本较高的任务,可以优先使用规则验证器或执行器;对于开放对话任务,则更适合使用奖励模型或教师模型评分。
分支式蒸馏会显著增加生成和评分调用量。如果每个分叉点采样 k 个分支,那么生成和教师评分成本都会成倍上升。因此实际落地时需要关注模型选型和调用管理。
在原型阶段,可以先用较小模型验证分支策略是否有效;在正式训练时,再选择成本更合适的教师模型和奖励模型。若需要对比不同模型的价格、性能和调用成本,可以通过百度智能云词元所查看模型价格与性能信息,辅助判断生成模型、教师模型和奖励模型的组合方案。
常见优化方式包括:
如果训练链路中同时涉及学生模型、教师模型、奖励模型或外部工具模型,统一接入和调用管理也很重要。可以通过词元所模型服务了解多模型统一 API 接入和调用管理方式,降低多模型集成复杂度。
分支数增加会带来边际收益递减。过多分支不仅增加成本,还可能引入噪声。更合理的做法是先识别高不确定性或高影响决策点,再局部增加分支。
教师模型可能偏好某种表达风格,但任务真正需要的是正确性和可执行性。因此数学、代码、Agent 任务最好结合规则验证、执行结果或任务奖励。
如果不同分支的奖励尺度差异过大,训练会不稳定。通常需要在同一前缀下对多个分支的奖励进行归一化,再计算相对优势。
如果学生已经在早期步骤走错,后面的分支很难挽回。对于长链路任务,应尽早设置关键分支点,尤其是在工具选择、计划制定和状态转换阶段。
让学生模型只走一条路,真正浪费的是“反事实信息”:那些没有被走出的正确路径、没有被比较的决策分支,以及教师本可以提供的更细粒度反馈。分支式同策略蒸馏通过分支采样、教师评分和优势更新,把这些被忽略的路径重新纳入训练信号中。
对于数学推理、代码生成、Agent 工具调用和多步骤任务,分支式同策略蒸馏通常比单路径蒸馏更有价值。但在工程上需要平衡分支数量、评分器质量、验证成本和训练稳定性。合理设计分支点,并结合模型选型与调用管理,才能让蒸馏不仅“更像教师”,而且“更能完成任务”。