新闻资讯

当下，大模型参数量已经突破万亿级门槛，但企业正面临算力成本飙升与部署门槛陡增的双重压力‌。DeepSeek的横空出世为行业带来了全新的思考，也让模型蒸馏技术一跃成为了“当红炸子鸡”，其背后行业逻辑也正被重构：从“狂堆参数”转向“精准提纯”，模型训练的门槛正被降低。

简单来说，模型蒸馏技术的核心即是“学习与复刻”，通过构建一个“AI师徒系统”：教师模型输出问题的思考过程和高质量回复，学生模型将其作为优质的训练语料快速吸收。这种“能力移植”如同炼金术，将大模型的推理能力“提纯”至小型模型中，使其在特定场景上的性能可以媲美超大模型。

但模型蒸馏并非简单的“知识搬运”。根据不同的模型需求，在蒸馏过程中，开发者需要进行‌超参数调优等复杂操作，稍有不慎就会“知识迁移失真”，蒸馏效果也大打折扣‌。

那么对于开发者们来说，怎么才能快速、便捷、稳定地完成模型蒸馏？

为了进一步推动技术普惠，让每个开发者都能快速学习、实践模型蒸馏，百度智能云千帆ModelBuilder正式上线了「模型蒸馏」功能，平台原有的“萃取数据->数据处理->精调模型”三步变一步，一键即可完成模型蒸馏全过程。

模型蒸馏，教师模型至关重要。千帆ModelBuilder也为开发者提供了最有价值的“炼金材料”，你可以使用DeepSeek-R1作为教师模型，将思维链内容加入训练，使得原本不具备推理能力的学生模型也可像R1一样思考。除此之外，平台还预置了DeepSeek-V3、ERNIE-4.0-Turbo等效果领先的模型作为教师模型，也支持35+覆盖尺寸广泛的学生模型予以训练，适配多样的业务场景需求。

为了让开发者能够快速上手模型蒸馏，平台还配套提供模型蒸馏样板间，公开提供所需的数据、参数和方法。本文以模型蒸馏样板间为例，手把手教你如何仅用3小时就能复刻一个和R1效果媲美的数学场景模型。

构建蒸馏数据

要保证模型蒸馏的效果，构建高质量的原始数据至关重要。这些数据不仅需要包含具有典型特征的样本，而且难度要按照从易到难的顺序递进，这样才能充分发挥教师模型能力，同时易于学生模型学习。

为此，千帆ModelBuilder预置75+高质量数据集，覆盖文本创作、客服对话、数学判题等多个场景。这些数据经过了千帆算法工程师加工处理泛化增强，可以帮助用户提升场景效果的同时，也不遗忘通识的语料知识。

我们采样公开数据集s1及Math-Step-DPO的部分数据用于构建蒸馏数据。在构建蒸馏数据时，蒸馏任务会使用选择数据集的Prompt字段。准备数据示例的Prompt字段如下：

{"prompt":"如果弗莱彻先生雇了两名工人在他的大院里挖井，第一天他们工作了10个小时，第二天工作了8个小时，第三天工作了15个小时后完成了工作，每人每小时工资为10美元，他们总共能拿到多少钱？"}

数据准备完成后，可选择千帆平台的通用数据集功能，点击创建数据集将数据导入到千帆共享存储中，从而保存为一份可以用于蒸馏的数据集。导入后，在平台上选择模型蒸馏功能，进入到模型蒸馏的流程。

为了让学生模型更好的学习到教师模型思考能力，在教师模型版本中选择DeepSeek-R1，并且打开思维链内容按钮，支持训练模型的思考内容。

学生模型训练及发布

平台提供了丰富的学生模型供用户选择，我们本次选用的是ERNIE-Speed-Pro-128K。这是一款由百度自主研发的大语言模型，依托海量高质量数据完成训练，在文本理解、内容创作、对话问答等方面展现出卓越的能力。

为确保学生模型达到最佳学习效果，我们采用全量更新方法开展训练。在参数配置环节，通常采用平台默认参数值即可，这些默认参数是经过多次实验验证的，凝聚了大量的实践经验。为了使模型能更好地拟合目标效果，我们精心设计并开展了多组实验，用于验证最终的蒸馏结果。在验证集的设置上，我们选取生成后的蒸馏数据的5%作为验证集。验证集作为评估训练过程的关键数据支撑。

蒸馏模型效果评估

训练完成后，选择采样部分公开的GSM评估数据集及TAL-SCQ评估集创建自动评估任务，通过ERNIE-4.0-Turbo-8K作为裁判员模型并自定义评估指标，快速得到评估结果。

模型评估后，具体的打分情况如下：

可以观察到，实验4蒸馏的ERNIE-Speed-Pro-128K表现最好，该实验的内容一致性和直接调用DeepSeek-R1接近。与此同时，其他实验采用了多种参数组合，但是评估结果表明，最后的结果都逊色于实验4。

不仅指标有所提升，蒸馏后的模型回复带有了问题推理的过程，因此我们可以得出结论：在模型蒸馏过程中，ERNIE-Speed-Pro-128K学习到了与R1模型接近的逻辑推理能力，可以进行正确、严密的逻辑推理。

百度智能云千帆ModelBuilder始终致力于为用户提供全流程、一站式的AI服务。除了强大的模型资源，还匹配了完善的一站式模型效果调优工具链，包含数据处理、模型精调、模型评估、模型量化等关键环节，助力企业根据自身业务需求深度优化模型性能。

此外，千帆ModelBuilder具备卓越的模型推理托管能力，支持vLLM、LMDeploy、TensorRT-LLM、SGLang等各类主流推理框架，还支持模型的自定义导入与部署，为开发者提供了高度灵活的开发环境。百度智能云千帆ModelBuilder的模型蒸馏功能，将复杂的技术黑箱转化为‌可视化操作界面‌，把复杂留给平台，把简单交给开发者‌‌，百度智能云千帆大模型平台正以开放性、易用性、低成本的平台理念，进一步推动模型技术走向普惠，为AI技术在更多领域的扩展与应用注入强大动力。