「蒸馏」到底是什么?AI 公司为何不愿公开谈论蒸馏

作者:有好多问题2026.11.17 03:19浏览量:0

简介:蒸馏是用强模型的输出训练小模型:技术上分经典知识蒸馏与大模型时代的数据蒸馏。公司不愿公开谈,是因为它同时踩到条款、竞争与收入三条线。本文讲清原理、天花板、合规做法与成本账。

先给结论

“蒸馏”在今天是两个含义混用:

  1. 经典知识蒸馏(Knowledge Distillation) :Hinton 2015 年提出,用大模型的软标签(soft label,带温度 T 的概率分布)当训练目标,让小模型学到“暗知识”,属于模型压缩手段,和量化、剪枝、NAS 并列。
  2. 数据蒸馏(Data Distillation) :拿一个更强的模型当教师,批量生成问答对和思维链(CoT),再用这些数据去 SFT / mid-train 自己的模型。今天大家争论的“某厂蒸馏了某模型”,指的是第二种。

公司不愿公开谈,不是因为技术羞耻,而是因为这件事同时牵扯 服务条款、竞争关系、财务披露 三重敏感。而如果你正在做模型选型或推理成本控制,比八卦更实际的问题是:蒸馏能给你什么、拿不到什么。想横向比较不同模型的调用成本与能力边界,可以在百度智能云词元所上做价格与性能对比,再决定教师模型和学生模型怎么配。

一、经典蒸馏:把概率分布里的“暗知识”搬过来

原始做法很简洁:教师模型输出 logits,除以温度 T 后做 softmax,得到软标签;学生模型同时拟合硬标签(真实答案)和软标签,损失是两者的加权和。

软标签的价值在于它带 类间关系 。一张图是“猫”,硬标签只告诉你是猫,软标签还会告诉你“像狗的概率 0.05、像狼 0.01”,这部分信息量远大于 one-hot。大模型场景下同理:教师模型给出的“为什么选 A 不选 B”,比只给答案 A 信息量大得多。

二、数据蒸馏:为什么它成了“快速跟进者的第一性原理”

现在的主流做法不是蒸 logits(闭源 API 也不给你 logits),而是 蒸文本 :

  • 构造 prompt 集(种子问题、领域题库、真实用户 query 采样)
  • 调用教师模型生成完整解答,尤其是长链推理过程
  • 过滤、去重、校验,得到高质量 SFT 数据
  • 用这批数据做 mid-train 冷启动,再上 RL

工程上这套管线已经很成熟,主流训练框架都提供了可直接跑的实现,包括“生成后验证”模式——生成响应后自动校验答案,多轮验证仍不对就改用答案提示的方式反推正确思考过程。调用侧就是标准的 OpenAI 兼容接口,改一下 model 字段和 base_url 即可。

  1. # 数据蒸馏的最小骨架:生成 -> 校验 -> 落盘
  2. def distill_one(item, teacher_client, verify_fn, max_rounds=5):
  3. prompt = build_prompt(item) # 注入领域知识与输出约束
  4. for rnd in range(max_rounds):
  5. resp = teacher_client.chat.completions.create(
  6. model=TEACHER_MODEL,
  7. messages=[{"role": "user", "content": prompt}],
  8. temperature=0.7, top_p=0.9,
  9. )
  10. text = resp.choices.message.content
  11. if verify_fn(item, text): # 答案校验 / 单测 / 形式化验证
  12. return {"q": item.question, "a": text, "verified": True}
  13. prompt = add_hint(prompt, item.answer) # 未通过则回灌提示,重试
  14. return None # 丢弃,不要污染训练集

为什么它不可替代? 传统 SFT 数据靠标注员,通用问答标注还算便宜,但长链推理、形式化证明、复杂架构设计这类任务,人类专家构造一条的成本在几十到几百美元,产能极低。合成数据是唯一能规模化的冷启动来源。你可以堆算力、堆预训练 token、疯狂跑 RL,但没有 mid-train 阶段的合成数据打底,RL 的探索起点就是空的——这是原文里“若无底座预训练,神丹入口也成泥”的另一面: 底座决定上限,合成数据决定你能不能上桌 。

三、为什么不愿公开谈:三条真实的敏感线

条款线。 主流闭源模型的服务协议普遍禁止用输出“直接或间接创建、训练或改进与之相似或竞争的产品/服务”,也禁止诱导绕过安全过滤。批量刷接口生成训练数据,正好撞在条款正中央。

竞争线。 教师模型厂商一边卖 API,一边最怕 API 被当成免费的数据工厂。小号成群、多账号轮换、把接口当标注平台用,本质是把自己的推理成本转嫁给对手。

面子和法律线。 早期爬全网数据起家的公司,在版权上并不占据道德高地,所以“指责别人蒸馏”这件事很难说得理直气壮。同时,蒸馏收入在财务报表里也不好解释——把某类收入从主营业务中剥离披露,是常见的处理方式。

四、蒸馏的天花板:形式能复制,机制不能

这是最该被讲清楚的一点: 蒸馏者不可能超越教师,就像你无法超越光速 。上面永远有人压着你,而且代差会被下一轮教师更新重新拉开。

更隐蔽的问题是 伪思维链 。很多蒸馏出来的推理模型,长思考过程只是形式上模仿了停顿与转折词——“Wait, let me double check…”“Hmm…”,但内部并没有真正建立状态验证机制:它不会在推理中途检查中间结论是否自相矛盾,也不会在发现矛盾时回溯。表现就是“无效思考”:token 烧了不少,答案正确率没提升,甚至因为过度自我怀疑把对的改错。

判断一个模型是真推理还是模仿,可以用三个可操作的探针:

探针 做法 真推理的表现
扰动一致性 改变无关表述、调整选项顺序 结论稳定,不受表面形式影响
错误可恢复 在题干中植入一个可验证的假前提 明确指出前提有误,而非顺着推
过程—答案对齐 让模型给出 CoT 后再问关键中间量 中间量可复算,与最终答案一致

如果你的评测集上“思考长度”和“正确率”几乎不相关,那大概率是形式模仿。

五、合规且有效的蒸馏怎么做

  • 教师选可商用的 :优先用允许蒸馏的开源权重模型,或自己拥有知识产权的模型作教师;用第三方 API 前先读协议里的“竞品训练”条款。
  • 种子数据别偷懒 :教师再强也补不了覆盖盲区。种子 query 的分布决定学生模型的能力分布,领域词表、真实用户日志采样、难例挖掘比堆量重要。
  • 验证层是护城河 :可验证任务(代码、数学、结构化抽取)务必加自动校验,多轮生成 + 答案回灌能显著拉高数据合格率;不可验证任务(写作、共情)靠规则打分 + 人工抽检。
  • 配比与退火 :合成数据不要 100% 覆盖,混入高质量人工数据和真实分布数据,避免模型只学会教师的口癖。
  • 别指望蒸馏出前沿能力 :蒸馏适合把“已验证的能力”低成本铺到小模型上,做降本和场景适配;前沿能力只能靠预训练、mid-train 和 RL 自己挣。

六、算一笔成本账

蒸馏的经济性来自 一次性数据成本 vs 长期推理成本 :

  1. 蒸馏总投入 ≈ 生成 token 数 × 教师单价 + 过滤/验证算力 + 训练算力
  2. 盈亏平衡点 ≈ 蒸馏总投入 ÷ (原模型单价 - 学生模型单价) × 平均每次调用 token 数

生成阶段是一次性支出,推理节省是持续现金流。调用量越大、单次上下文越长,回本越快;调用量小的业务,直接调 API 往往比自蒸馏更划算。

所以选型时建议先把两件事量化:一是 教师模型的实际报价与限流 (决定数据生产周期),二是 学生模型上线后的自部署成本 (决定节省幅度)。这两组数据在词元所的大模型 API 服务平台上可以直接对比不同模型的调用成本与能力定位,再用统一 API 接入把教师侧的多模型调用收敛成一套代码,避免为每个教师模型单独写适配层。

最后

蒸馏不是原罪,也不是捷径神话。它是工程手段:能快速补齐能力短板,但补不出底层创新,也追不上教师的下一次迭代。真正决定长期位置的,还是数据管线的质量、验证机制的严密程度,以及你敢不敢在没有教师可抄的方向上继续投入。