小模型推理蒸馏教程:合规反演与课程SFT

作者:十万个为什么2026.11.18 11:57浏览量:0

简介:本文面向算法工程师,给出可复现的小模型推理蒸馏流程:在合规授权前提下构建推理样本,用生成式反演重建候选思维链,并通过课程式SFT与量化评测提升逐步推理能力。读者可获得数据模板、训练参数、评测指标与排错方法。

一、教程目标与合规边界

本教程目标是在中小参数开源基座模型上,完成一套可复现的“逐步推理能力蒸馏”流程。读者将获得三类可落地成果:

  1. 一套合规的压缩推理样本采集规范;
  2. 一个将“压缩答案/推理气泡”生成式重建为候选思维链的反演训练组件;
  3. 一套包含课程式监督微调、量化评测与问题排查的完整方案。

需要先明确边界:本文所谓“反演”不是从商用闭源模型中恢复其隐藏思维链,也不是绕过模型安全限制、信息保护措施或服务条款。所谓“推理轨迹反演”,更准确的表述是生成式重建:在教师模型输出、题目输入、已知答案或可验证目标的约束下,让一个小型模型学习生成结构完整、可检查的候选思维链。候选思维链必须经过事实一致性、步骤完整性和答案一致性校验后,才能进入后续 SFT 数据。

合规要求如下:

  • 仅采集已获授权、允许用于训练或蒸馏的数据;
  • 不构造提示词诱导闭源模型输出受保护内容;
  • 不尝试绕过速率限制、内容安全限制、身份验证或访问控制;
  • 对用户数据、日志、API 返回结果进行隐私脱敏;
  • 若商用模型服务条款禁止蒸馏、逆向或训练用途,应改用公开数据集、自有教师模型或人工标注数据。

典型适用场景包括:团队已有 7B 到 27B 级开源稠密基座,希望提升数学、逻辑、代码等任务的多步推理表现;同时没有可靠完整思维链,只有最终答案、简短解释或推理摘要。此时可通过合规采集与生成式重建构造训练信号。

二、适用读者与常见疑问

适用读者:

  • 需要复现小模型推理蒸馏的算法工程师;
  • 需要评估课程式微调对长上下文推理影响的工程师;
  • 需要判断“反演样本是否可用”的技术负责人。

常见长尾问题:

  • 反演样本怎么做?先从可验证任务做起,如数学、逻辑题、代码题,因为只有这些任务容易做答案校验。
  • 教师模型怎么选?优先选授权明确、输出格式稳定、答案可验证的教师;不要只看参数量,要看任务正确率与输出稳定性。
  • 常见错误是什么?把“生成补全”误写成“真实还原”;未经校验就把候选链写入训练集;课程阶段跨度过大导致长上下文崩坏。

三、核心概念:推理气泡与生成式重建

所谓“推理气泡”,可以理解为教师模型对外可见的压缩输出,例如最终答案、简短理由或摘要式解释。它不是完整思维链,也可能省略关键步骤。

直接用这种压缩输出训练学生模型,会导致学生只学到“结论”,不学会“如何得到结论”。因此需要引入生成式重建:

  1. 任务输入 + 教师可见输出/答案/简短理由
  2. ↓
  3. 反演解码器生成候选思维链
  4. ↓
  5. 规则校验 + 人工抽检 + 失败样本回流
  6. ↓
  7. 高质量 full_cot 候选链
  8. ↓
  9. 学生模型 SFT

必须强调:反演解码器输出的是候选链,不是必然正确的真实推理过程。候选链必须通过以下校验:

  1. 答案一致性:最终解析出的答案必须与教师答案或标准答案一致;
  2. 步骤完整性:从问题到答案之间不得出现不可解释的跳跃;
  3. 事实一致性:涉及公式、引用、数据、代码结果时必须可核验;
  4. 格式稳定性:标签、编号、结论段落必须统一;
  5. 失败回流机制:低质量候选必须进入复核队列,而不是直接丢弃或直接用。

对于数学与代码任务,应优先使用可执行校验:数学答案用符号计算或数值比对;代码用单元测试。对于开放式任务,应使用 rubric 打分或人工抽检,并降低其在初始训练中的比例。

四、可复现环境清单

建议从最小可运行配置开始,确认数据格式与流程无误后再扩大规模。

1. 硬件与并行策略

场景 建议配置 说明
最小验证 1×24GB 显存,7B 模型 QLoRA 跑通数据格式与 Phase 1
常规实验 2×48GB 或 1×80GB,7B/13B LoRA 可加入多卡数据并行
长上下文实验 2×80GB 以上,13B/27B QLoRA 32K 上下文显存压力较大
全参微调 多卡多机,ZeRO/DeepSpeed 成本高,不建议初期使用

2. 软件版本示例

以下版本仅为可复现示例,实际以团队环境为准:

  1. python -m venv .venv
  2. source .venv/bin/activate
  3. pip install torch==2.3.0
  4. pip install transformers==4.44.2
  5. pip install peft==0.12.0
  6. pip install datasets==2.20.0
  7. pip install accelerate==0.33.0
  8. pip install trl==0.9.4
  9. pip install bitsandbytes==0.43.1

3. LoRA / QLoRA 初始参数示例

  1. {
  2. "method": "lora",
  3. "r": 16,
  4. "alpha": 32,
  5. "dropout": 0.05,
  6. "target_modules": ["q_proj", "k_proj", "v_proj", "o_proj"],
  7. "learning_rate": 2e-5,
  8. "max_seq_len": 4096,
  9. "per_device_batch_size": 2,
  10. "gradient_accumulation_steps": 8
  11. }

4. 数据路径与权限

  1. /data/reasoning_distill/
  2. raw_teacher/ # 原始教师输出,只读
  3. inversion/ # 反演训练数据
  4. sft/ # 学生模型 SFT 数据
  5. eval/ # 固定评测集
  6. logs/ # 训练日志与指标

建议最小权限原则:

  1. chmod 750 /data/reasoning_distill
  2. chmod 640 /data/reasoning_distill/*/*.jsonl

数据进入训练前必须完成脱敏:移除手机号、邮箱、身份证号、密钥、内部 URL、个人路径等。

五、实施步骤

步骤一:合规采集压缩推理样本

做什么:从已授权教师模型或公开数据集收集任务输入与压缩输出,形成结构化样本。

为什么做:这是反演训练的输入骨架,也是学生模型 SFT 的上下文来源。

合规要点:

  • 只使用允许用于训练、评测或蒸馏的输出;
  • 不得通过特殊提示词绕过安全限制;
  • 不得试图提取隐藏推理链、系统提示、内部策略;
  • 对 API 返回内容做隐私与安全过滤;
  • 记录数据来源、授权方式、采集时间、脱敏版本。

最小样本模板:

  1. {
  2. "id": "math_0001",
  3. "task_type": "math",
  4. "prompt": "一个水池有两个进水管...",
  5. "teacher_answer": "6小时",
  6. "teacher_visible_reason": "按合效率计算",
  7. "source": "authorized_api",
  8. "license_note": "allow_internal_research",
  9. "sanitization": "pii_removed",
  10. "collected_at": "2026-01-01T00:00:00Z"
  11. }

注意:如果教师模型只返回最终答案,没有可见解释,反演难度会显著上升。此时应优先引入标准答案、可验证规则或人工标注。

步骤二:构建并训练反演解码器

做什么:训练一个小模型,输入任务与压缩输出,生成候选完整思维链 full_cot。

关键原则:不要写成可逆还原。应写成:基于已知输入和约束的生成式重建。

full_cot 监督数据来源建议:

  1. 人工标注:用于少量高价值样本,质量最高;
  2. 规则模板:适用于数学、单位换算、逻辑推理等结构化任务;
  3. 公开授权 CoT 数据:优先选择与任务匹配的数据;
  4. 多候选生成 + 校验:让教师或中间模型生成多条候选链,用答案与步骤校验筛选;
  5. 失败样本回流:低质量候选进入复核队列,人工或规则修正后重新入库。

标注规范:

  • 每条候选链必须有 candidate_id;
  • 必须记录最终答案与候选链推导答案是否一致;
  • 必须记录步骤数、校验分数、失败原因;
  • 数学题需记录数值/符号校验结果;
  • 代码题需记录单元测试通过情况;
  • 人工复核样本需记录复核人与复核时间。

质量过滤规则示例:

校验项 通过条件
答案一致性 候选链最终答案与教师答案/标准答案一致
步骤完整性 关键步骤数不少于任务类型阈值
重复率 重复 token 比例低于 0.15
事实一致性 公式、引用、代码结果可核验
代码执行 代码题单测通过
人工抽检 每批至少抽检 5%,错误率超过 2% 则回流

反演训练示意流程:

  1. from datasets import load_dataset
  2. ds = load_dataset("json", data_files="/data/reasoning_distill/inversion/train.jsonl")
  3. def format_example(example):
  4. return {
  5. "input": "问题:" + example["prompt"] + "\n教师答案:" + example["teacher_answer"],
  6. "target": example["full_cot"]
  7. }
  8. ds = ds.map(format_example)

训练目标不是让模型“猜出隐藏推理”,而是学习在给定约束下生成可验证的步骤链。建议先在小规模高置信数据上验证反演质量,再逐步放量。

失败样本回流机制:

  1. 将校验失败样本写入 failed/;
  2. 标记失败类型:跳步、答案错误、格式错误、幻觉、超长;
  3. 对可修正样本进行规则修复或人工补全;
  4. 将修复后的样本重新加入候选池;
  5. 每周统计失败类型分布,若某类失败超过 10%,回到数据规范重新设计。

步骤三:把候选 CoT 嵌入 SFT 标签

做什么:将校验通过的候选思维链放入统一标签,与学生模型训练格式对齐。

建议统一使用 think 标签:

  1. {
  2. "messages": [
  3. {
  4. "role": "user",
  5. "content": "请解决该问题:一个水池有两个进水管..."
  6. },
  7. {
  8. "role": "assistant",
  9. "content": "<think>\n第一步:计算甲管效率...\n第二步:计算乙管效率...\n第三步:合成总效率...\n</think>\n最终答案:6小时"
  10. }
  11. ]
  12. }

数据集 A 与 B 建议如下:

  • 数据集 A:高质量逐步推理轨迹,约 9000 条,偏通用推理与格式学习;
  • 数据集 B:复杂多轮逻辑与数学样本,约 5000 条,偏难度与长链条。

字段示例:

  1. {
  2. "sample_id": "A_000001",
  3. "dataset": "A",
  4. "task_type": "math",
  5. "difficulty": "medium",
  6. "messages": [],
  7. "metadata": {
  8. "source": "inversion_candidate_v2",
  9. "quality_score": 0.92,
  10. "answer_verified": true,
  11. "format_verified": true
  12. }
  13. }

冲突样本剔除规则:

  • 候选链答案与标准答案不一致;
  • 同一 prompt 存在多个矛盾答案;
  • 候选链包含明显外部知识臆造;
  • 格式标签嵌套错误;
  • 与评测集重复或高度相似。

步骤四:三阶段课程式监督微调

课程式 SFT 的核心是逐步提升上下文长度与任务复杂度,避免直接上长上下文导致训练不稳定。

阶段 目标 max_seq_len 学习率示例 batch 策略 replay 比例 停止条件
Phase 1 格式成型 学稳定 think 格式 4096 2e-5 per_device 2, accum 8 0% 格式合格率 > 98%
Phase 2 复杂度扩展 中等推理链 8192 1.5e-5 per_device 1, accum 16 5% 推理质量不下降
Phase 3 长上下文 32K 长链条 32768 1e-5 per_device 1, accum 32 10% 32K 截断率 < 1%

通用课程配置示例:

  1. {
  2. "phase": [
  3. {"name": "format", "max_seq_len": 4096, "replay_ratio": 0.00},
  4. {"name": "expand", "max_seq_len": 8192, "replay_ratio": 0.05},
  5. {"name": "longctx", "max_seq_len": 32768, "replay_ratio": 0.10}
  6. ]
  7. }

注意事项:

  • Phase 1 不要引入过长样本,否则格式学习会被长上下文噪声干扰;
  • Phase 2 开始加入中等难度样本,但要保持 5% 左右的旧数据回放;
  • Phase 3 的旧数据回放建议控制在 5% 到 15%,过低会遗忘格式,过高会学不进长上下文能力;
  • 每阶段单独记录 loss、格式合格率、答案准确率、显存峰值;
  • 若 Phase 3 出现输出断裂,优先降低课程跨度或增加回放比例。

步骤五:多教师蒸馏与跨源对齐

如果单一教师存在能力盲区,可引入多个授权来源做补充蒸馏。但必须做归一化:

  • 统一答案格式;
  • 统一难度标签;
  • 统一 think 标签;
  • 剔除风格冲突样本;
  • 对不同来源设置权重,避免低质量源污染训练集。

建议初始阶段只用一个高置信来源跑通流程,再逐步增加第二、第三来源。

六、关键参数说明

参数 类型 建议
反演模型规模 需实测 1B 到 4B 级通常可满足候选链生成,但需验证
学生模型规模 取决于场景 7B 到 27B 级较常见
LoRA rank 需实测 8、16、32 都可试,优先 16
学习率 需实测 课程式 SFT 可逐渐降低,从 2e-5 到 1e-5
replay 比例 取决于阶段 5% 到 15%,Phase 1 可为 0
最大上下文 取决于算力 4K → 8K → 32K 渐进
全参微调 高成本 数据与算力充足时再考虑

七、结果验证与阈值

评测必须固定数据集、固定解码参数,并记录基线对比。

建议评测集包含:

  • 数学题:500 条,可数值校验;
  • 逻辑题:300 条,可规则或人工评分;
  • 代码题:200 条,可单元测试;
  • 长上下文题:100 条,接近 32K 输入;
  • 安全格式题:100 条,检查标签与拒答格式。

量化指标与建议阈值:

指标 定义 建议阈值
格式合格率 输出包含合法 think 标签且结构正确 ≥ 98%
最终答案准确率 最终答案正确样本占比 数学/代码 ≥ 85% 或高于基线 5 个百分点
步骤一致性分 人工 1-5 分,检查步骤是否支撑答案 ≥ 4.0
32K 截断率 因长度限制导致截断的样本比例 ≤ 1%
推理断裂率 输出中途停止、逻辑跳转、标签损坏 ≤ 2%
幻觉率 候选链出现无依据事实或错误公式 ≤ 3%

对比基线口径:

  1. Baseline-0:原始基座模型,不做 SFT;
  2. Baseline-1:只用教师答案做 SFT,无反演;
  3. Baseline-2:无反演但有课程式 SFT;
  4. Baseline-3:有反演但无课程式 SFT;
  5. Final:合规采集 + 生成式反演 + 课程式 SFT。

对比时使用同一评测集、同一温度、同一随机种子。若 Final 相对 Baseline-1 在格式合格率、最终答案准确率、步骤一致性上均无显著提升,则说明反演数据或训练配置无效,应回到数据质量排查。

八、常见问题与排查

现象 可能原因 处理动作
反演结果仍然跳步 监督数据不足或候选链质量低 补充高置信样本,加强步骤完整性校验
反演幻觉明显 缺少事实校验或教师答案错误 增加可执行校验,过滤错误样本,引入人工复核
输出格式漂移 标签规范不统一 重写标签模板,重训 Phase 1,加入格式约束损失或格式样本回放
长上下文推理断裂 课程跨度过大或回放不足 降低 Phase 3 与 Phase 2 的跨度,增加 5% 到 10% 旧数据回放
32K 截断率高 样本清洗不足或长度统计缺失 重新统计 token 长度,剔除超长样本或拆分任务
显存溢出 长上下文、全参微调、batch 过大 使用 QLoRA、梯度累积、梯度检查点、ZeRO 或降低 max_seq_len
数据泄露风险 训练数据与评测集重复 做近似去重,固定评测集,训练前做相似度检查

九、优化建议

  1. 成本优化:优先使用 LoRA/QLoRA 与弹性算力,不要一开始就全参微调。
  2. 数据优化:反演数据的核心不是数量,而是可验证性。数学、代码、逻辑题应优先做成可自动校验样本。
  3. 安全治理:上线前必须做安全评测,包括有害输出、隐私泄露、格式注入、越权回答等。
  4. 可维护性:固定数据版本、标签规范、训练配置、评测脚本,保证实验可复现。
  5. 渐进推进:先用 200 到 500 条高置信样本跑通全流程,再扩大到数千条。

总体来看,这条路线并不是“从闭源模型恢复隐藏思维链”,而是“在合规数据基础上,通过生成式重建与课程式训练,让学生模型学会更稳定的逐步推理”。只要把授权边界、样本校验、课程参数与量化评测做好,就能形成一套可复现、可排查、可迭代的小模型推理蒸馏流程。