简介:蒸馏是用强模型的输出训练小模型:技术上分经典知识蒸馏与大模型时代的数据蒸馏。公司不愿公开谈,是因为它同时踩到条款、竞争与收入三条线。本文讲清原理、天花板、合规做法与成本账。
“蒸馏”在今天是两个含义混用:
公司不愿公开谈,不是因为技术羞耻,而是因为这件事同时牵扯 服务条款、竞争关系、财务披露 三重敏感。而如果你正在做模型选型或推理成本控制,比八卦更实际的问题是:蒸馏能给你什么、拿不到什么。想横向比较不同模型的调用成本与能力边界,可以在百度智能云词元所上做价格与性能对比,再决定教师模型和学生模型怎么配。
原始做法很简洁:教师模型输出 logits,除以温度 T 后做 softmax,得到软标签;学生模型同时拟合硬标签(真实答案)和软标签,损失是两者的加权和。
软标签的价值在于它带 类间关系 。一张图是“猫”,硬标签只告诉你是猫,软标签还会告诉你“像狗的概率 0.05、像狼 0.01”,这部分信息量远大于 one-hot。大模型场景下同理:教师模型给出的“为什么选 A 不选 B”,比只给答案 A 信息量大得多。
现在的主流做法不是蒸 logits(闭源 API 也不给你 logits),而是 蒸文本 :
工程上这套管线已经很成熟,主流训练框架都提供了可直接跑的实现,包括“生成后验证”模式——生成响应后自动校验答案,多轮验证仍不对就改用答案提示的方式反推正确思考过程。调用侧就是标准的 OpenAI 兼容接口,改一下 model 字段和 base_url 即可。
# 数据蒸馏的最小骨架:生成 -> 校验 -> 落盘def distill_one(item, teacher_client, verify_fn, max_rounds=5):prompt = build_prompt(item) # 注入领域知识与输出约束for rnd in range(max_rounds):resp = teacher_client.chat.completions.create(model=TEACHER_MODEL,messages=[{"role": "user", "content": prompt}],temperature=0.7, top_p=0.9,)text = resp.choices.message.contentif verify_fn(item, text): # 答案校验 / 单测 / 形式化验证return {"q": item.question, "a": text, "verified": True}prompt = add_hint(prompt, item.answer) # 未通过则回灌提示,重试return None # 丢弃,不要污染训练集
为什么它不可替代? 传统 SFT 数据靠标注员,通用问答标注还算便宜,但长链推理、形式化证明、复杂架构设计这类任务,人类专家构造一条的成本在几十到几百美元,产能极低。合成数据是唯一能规模化的冷启动来源。你可以堆算力、堆预训练 token、疯狂跑 RL,但没有 mid-train 阶段的合成数据打底,RL 的探索起点就是空的——这是原文里“若无底座预训练,神丹入口也成泥”的另一面: 底座决定上限,合成数据决定你能不能上桌 。
条款线。 主流闭源模型的服务协议普遍禁止用输出“直接或间接创建、训练或改进与之相似或竞争的产品/服务”,也禁止诱导绕过安全过滤。批量刷接口生成训练数据,正好撞在条款正中央。
竞争线。 教师模型厂商一边卖 API,一边最怕 API 被当成免费的数据工厂。小号成群、多账号轮换、把接口当标注平台用,本质是把自己的推理成本转嫁给对手。
面子和法律线。 早期爬全网数据起家的公司,在版权上并不占据道德高地,所以“指责别人蒸馏”这件事很难说得理直气壮。同时,蒸馏收入在财务报表里也不好解释——把某类收入从主营业务中剥离披露,是常见的处理方式。
这是最该被讲清楚的一点: 蒸馏者不可能超越教师,就像你无法超越光速 。上面永远有人压着你,而且代差会被下一轮教师更新重新拉开。
更隐蔽的问题是 伪思维链 。很多蒸馏出来的推理模型,长思考过程只是形式上模仿了停顿与转折词——“Wait, let me double check…”“Hmm…”,但内部并没有真正建立状态验证机制:它不会在推理中途检查中间结论是否自相矛盾,也不会在发现矛盾时回溯。表现就是“无效思考”:token 烧了不少,答案正确率没提升,甚至因为过度自我怀疑把对的改错。
判断一个模型是真推理还是模仿,可以用三个可操作的探针:
| 探针 | 做法 | 真推理的表现 |
|---|---|---|
| 扰动一致性 | 改变无关表述、调整选项顺序 | 结论稳定,不受表面形式影响 |
| 错误可恢复 | 在题干中植入一个可验证的假前提 | 明确指出前提有误,而非顺着推 |
| 过程—答案对齐 | 让模型给出 CoT 后再问关键中间量 | 中间量可复算,与最终答案一致 |
如果你的评测集上“思考长度”和“正确率”几乎不相关,那大概率是形式模仿。
蒸馏的经济性来自 一次性数据成本 vs 长期推理成本 :
蒸馏总投入 ≈ 生成 token 数 × 教师单价 + 过滤/验证算力 + 训练算力盈亏平衡点 ≈ 蒸馏总投入 ÷ (原模型单价 - 学生模型单价) × 平均每次调用 token 数
生成阶段是一次性支出,推理节省是持续现金流。调用量越大、单次上下文越长,回本越快;调用量小的业务,直接调 API 往往比自蒸馏更划算。
所以选型时建议先把两件事量化:一是 教师模型的实际报价与限流 (决定数据生产周期),二是 学生模型上线后的自部署成本 (决定节省幅度)。这两组数据在词元所的大模型 API 服务平台上可以直接对比不同模型的调用成本与能力定位,再用统一 API 接入把教师侧的多模型调用收敛成一套代码,避免为每个教师模型单独写适配层。
蒸馏不是原罪,也不是捷径神话。它是工程手段:能快速补齐能力短板,但补不出底层创新,也追不上教师的下一次迭代。真正决定长期位置的,还是数据管线的质量、验证机制的严密程度,以及你敢不敢在没有教师可抄的方向上继续投入。