简介:本文面向算法工程师,给出可复现的小模型推理蒸馏流程:在合规授权前提下构建推理样本,用生成式反演重建候选思维链,并通过课程式SFT与量化评测提升逐步推理能力。读者可获得数据模板、训练参数、评测指标与排错方法。
本教程目标是在中小参数开源基座模型上,完成一套可复现的“逐步推理能力蒸馏”流程。读者将获得三类可落地成果:
需要先明确边界:本文所谓“反演”不是从商用闭源模型中恢复其隐藏思维链,也不是绕过模型安全限制、信息保护措施或服务条款。所谓“推理轨迹反演”,更准确的表述是生成式重建:在教师模型输出、题目输入、已知答案或可验证目标的约束下,让一个小型模型学习生成结构完整、可检查的候选思维链。候选思维链必须经过事实一致性、步骤完整性和答案一致性校验后,才能进入后续 SFT 数据。
合规要求如下:
典型适用场景包括:团队已有 7B 到 27B 级开源稠密基座,希望提升数学、逻辑、代码等任务的多步推理表现;同时没有可靠完整思维链,只有最终答案、简短解释或推理摘要。此时可通过合规采集与生成式重建构造训练信号。
适用读者:
常见长尾问题:
所谓“推理气泡”,可以理解为教师模型对外可见的压缩输出,例如最终答案、简短理由或摘要式解释。它不是完整思维链,也可能省略关键步骤。
直接用这种压缩输出训练学生模型,会导致学生只学到“结论”,不学会“如何得到结论”。因此需要引入生成式重建:
任务输入 + 教师可见输出/答案/简短理由↓反演解码器生成候选思维链↓规则校验 + 人工抽检 + 失败样本回流↓高质量 full_cot 候选链↓学生模型 SFT
必须强调:反演解码器输出的是候选链,不是必然正确的真实推理过程。候选链必须通过以下校验:
对于数学与代码任务,应优先使用可执行校验:数学答案用符号计算或数值比对;代码用单元测试。对于开放式任务,应使用 rubric 打分或人工抽检,并降低其在初始训练中的比例。
建议从最小可运行配置开始,确认数据格式与流程无误后再扩大规模。
| 场景 | 建议配置 | 说明 |
|---|---|---|
| 最小验证 | 1×24GB 显存,7B 模型 QLoRA | 跑通数据格式与 Phase 1 |
| 常规实验 | 2×48GB 或 1×80GB,7B/13B LoRA | 可加入多卡数据并行 |
| 长上下文实验 | 2×80GB 以上,13B/27B QLoRA | 32K 上下文显存压力较大 |
| 全参微调 | 多卡多机,ZeRO/DeepSpeed | 成本高,不建议初期使用 |
以下版本仅为可复现示例,实际以团队环境为准:
python -m venv .venvsource .venv/bin/activatepip install torch==2.3.0pip install transformers==4.44.2pip install peft==0.12.0pip install datasets==2.20.0pip install accelerate==0.33.0pip install trl==0.9.4pip install bitsandbytes==0.43.1
{"method": "lora","r": 16,"alpha": 32,"dropout": 0.05,"target_modules": ["q_proj", "k_proj", "v_proj", "o_proj"],"learning_rate": 2e-5,"max_seq_len": 4096,"per_device_batch_size": 2,"gradient_accumulation_steps": 8}
/data/reasoning_distill/raw_teacher/ # 原始教师输出,只读inversion/ # 反演训练数据sft/ # 学生模型 SFT 数据eval/ # 固定评测集logs/ # 训练日志与指标
建议最小权限原则:
chmod 750 /data/reasoning_distillchmod 640 /data/reasoning_distill/*/*.jsonl
数据进入训练前必须完成脱敏:移除手机号、邮箱、身份证号、密钥、内部 URL、个人路径等。
做什么:从已授权教师模型或公开数据集收集任务输入与压缩输出,形成结构化样本。
为什么做:这是反演训练的输入骨架,也是学生模型 SFT 的上下文来源。
合规要点:
最小样本模板:
{"id": "math_0001","task_type": "math","prompt": "一个水池有两个进水管...","teacher_answer": "6小时","teacher_visible_reason": "按合效率计算","source": "authorized_api","license_note": "allow_internal_research","sanitization": "pii_removed","collected_at": "2026-01-01T00:00:00Z"}
注意:如果教师模型只返回最终答案,没有可见解释,反演难度会显著上升。此时应优先引入标准答案、可验证规则或人工标注。
做什么:训练一个小模型,输入任务与压缩输出,生成候选完整思维链 full_cot。
关键原则:不要写成可逆还原。应写成:基于已知输入和约束的生成式重建。
full_cot 监督数据来源建议:
标注规范:
candidate_id;质量过滤规则示例:
| 校验项 | 通过条件 |
|---|---|
| 答案一致性 | 候选链最终答案与教师答案/标准答案一致 |
| 步骤完整性 | 关键步骤数不少于任务类型阈值 |
| 重复率 | 重复 token 比例低于 0.15 |
| 事实一致性 | 公式、引用、代码结果可核验 |
| 代码执行 | 代码题单测通过 |
| 人工抽检 | 每批至少抽检 5%,错误率超过 2% 则回流 |
反演训练示意流程:
from datasets import load_datasetds = load_dataset("json", data_files="/data/reasoning_distill/inversion/train.jsonl")def format_example(example):return {"input": "问题:" + example["prompt"] + "\n教师答案:" + example["teacher_answer"],"target": example["full_cot"]}ds = ds.map(format_example)
训练目标不是让模型“猜出隐藏推理”,而是学习在给定约束下生成可验证的步骤链。建议先在小规模高置信数据上验证反演质量,再逐步放量。
失败样本回流机制:
failed/;做什么:将校验通过的候选思维链放入统一标签,与学生模型训练格式对齐。
建议统一使用 think 标签:
{"messages": [{"role": "user","content": "请解决该问题:一个水池有两个进水管..."},{"role": "assistant","content": "<think>\n第一步:计算甲管效率...\n第二步:计算乙管效率...\n第三步:合成总效率...\n</think>\n最终答案:6小时"}]}
数据集 A 与 B 建议如下:
字段示例:
{"sample_id": "A_000001","dataset": "A","task_type": "math","difficulty": "medium","messages": [],"metadata": {"source": "inversion_candidate_v2","quality_score": 0.92,"answer_verified": true,"format_verified": true}}
冲突样本剔除规则:
课程式 SFT 的核心是逐步提升上下文长度与任务复杂度,避免直接上长上下文导致训练不稳定。
| 阶段 | 目标 | max_seq_len | 学习率示例 | batch 策略 | replay 比例 | 停止条件 |
|---|---|---|---|---|---|---|
| Phase 1 格式成型 | 学稳定 think 格式 |
4096 | 2e-5 | per_device 2, accum 8 | 0% | 格式合格率 > 98% |
| Phase 2 复杂度扩展 | 中等推理链 | 8192 | 1.5e-5 | per_device 1, accum 16 | 5% | 推理质量不下降 |
| Phase 3 长上下文 | 32K 长链条 | 32768 | 1e-5 | per_device 1, accum 32 | 10% | 32K 截断率 < 1% |
通用课程配置示例:
{"phase": [{"name": "format", "max_seq_len": 4096, "replay_ratio": 0.00},{"name": "expand", "max_seq_len": 8192, "replay_ratio": 0.05},{"name": "longctx", "max_seq_len": 32768, "replay_ratio": 0.10}]}
注意事项:
如果单一教师存在能力盲区,可引入多个授权来源做补充蒸馏。但必须做归一化:
think 标签;建议初始阶段只用一个高置信来源跑通流程,再逐步增加第二、第三来源。
| 参数 | 类型 | 建议 |
|---|---|---|
| 反演模型规模 | 需实测 | 1B 到 4B 级通常可满足候选链生成,但需验证 |
| 学生模型规模 | 取决于场景 | 7B 到 27B 级较常见 |
| LoRA rank | 需实测 | 8、16、32 都可试,优先 16 |
| 学习率 | 需实测 | 课程式 SFT 可逐渐降低,从 2e-5 到 1e-5 |
| replay 比例 | 取决于阶段 | 5% 到 15%,Phase 1 可为 0 |
| 最大上下文 | 取决于算力 | 4K → 8K → 32K 渐进 |
| 全参微调 | 高成本 | 数据与算力充足时再考虑 |
评测必须固定数据集、固定解码参数,并记录基线对比。
建议评测集包含:
量化指标与建议阈值:
| 指标 | 定义 | 建议阈值 |
|---|---|---|
| 格式合格率 | 输出包含合法 think 标签且结构正确 |
≥ 98% |
| 最终答案准确率 | 最终答案正确样本占比 | 数学/代码 ≥ 85% 或高于基线 5 个百分点 |
| 步骤一致性分 | 人工 1-5 分,检查步骤是否支撑答案 | ≥ 4.0 |
| 32K 截断率 | 因长度限制导致截断的样本比例 | ≤ 1% |
| 推理断裂率 | 输出中途停止、逻辑跳转、标签损坏 | ≤ 2% |
| 幻觉率 | 候选链出现无依据事实或错误公式 | ≤ 3% |
对比基线口径:
对比时使用同一评测集、同一温度、同一随机种子。若 Final 相对 Baseline-1 在格式合格率、最终答案准确率、步骤一致性上均无显著提升,则说明反演数据或训练配置无效,应回到数据质量排查。
| 现象 | 可能原因 | 处理动作 |
|---|---|---|
| 反演结果仍然跳步 | 监督数据不足或候选链质量低 | 补充高置信样本,加强步骤完整性校验 |
| 反演幻觉明显 | 缺少事实校验或教师答案错误 | 增加可执行校验,过滤错误样本,引入人工复核 |
| 输出格式漂移 | 标签规范不统一 | 重写标签模板,重训 Phase 1,加入格式约束损失或格式样本回放 |
| 长上下文推理断裂 | 课程跨度过大或回放不足 | 降低 Phase 3 与 Phase 2 的跨度,增加 5% 到 10% 旧数据回放 |
| 32K 截断率高 | 样本清洗不足或长度统计缺失 | 重新统计 token 长度,剔除超长样本或拆分任务 |
| 显存溢出 | 长上下文、全参微调、batch 过大 | 使用 QLoRA、梯度累积、梯度检查点、ZeRO 或降低 max_seq_len |
| 数据泄露风险 | 训练数据与评测集重复 | 做近似去重,固定评测集,训练前做相似度检查 |
总体来看,这条路线并不是“从闭源模型恢复隐藏思维链”,而是“在合规数据基础上,通过生成式重建与课程式训练,让学生模型学会更稳定的逐步推理”。只要把授权边界、样本校验、课程参数与量化评测做好,就能形成一套可复现、可排查、可迭代的小模型推理蒸馏流程。