如何训练自己的小模型:全参微调与轻量微调对比

作者:沙与沫2026.11.18 11:15浏览量:0

简介:本文对比训练小模型的两条主流路线:全参数微调与以低秩适配为代表的轻量参数高效微调。二者都从基座模型出发,区别在于训练哪部分参数、占用多少资源、产物如何部署。文章以"给定数字凑目标值"的数学推理任务为例,从资源占用、效果表现、产物形态、成本运维等维度剖析差异,并给出场景化选型建议与迁移注意事项。

一、对比背景:自己训练小模型的两条路线

在资源有限的情况下训练小模型,常见的做法不是从零开始预训练,而是选一个参数规模较小的基座模型做微调。基座模型已经具备基础的语言理解、指令跟随和通用知识。用领域数据继续训练,可以让它掌握特定任务,输出格式也更加稳定。小模型推理成本低,适合批量调用、端侧或私有化部署。不过,在动手之前需要先回答一个问题:要改动模型的哪些参数?

两种典型做法:

  • 方案A:全参数微调(Full Fine-Tuning,FFT)。加载完整基座权重后,对所有可训练参数计算梯度并更新。训练完成后得到一份独立的完整模型权重。
  • 方案B:轻量参数高效微调(Parameter-Efficient Fine-Tuning,PEFT)。冻结基座权重,只在模型中注入少量可训练参数,例如低秩适配、适配器模块或提示向量。训练完成后得到的是这部分参数组成的增量权重,可加载到基座上推理,也可合并进基座权重。

本文以”给定若干数字和一个目标值,构造合法算式”的数学推理任务为例展开对比。该任务要求每个数字恰好使用一次,并逐步展示推理过程。训练这类任务的关键在于两点:模型既要算对,也要按约定的结构输出。下文中的方案B均指参数高效微调中的低秩适配类方法。

二、相同点:数据构建与训练流程高度一致

两条路线的起点相同,通常需要走完同一套流程。

1. 数据格式。每条样本包含”给定数字列表”和”目标值”两个字段。数据生成常见两种来源:

  • 用脚本枚举算式,自动计算其结果作为目标值,确保标注正确;
  • 用能力更强的教师模型生成多条解题轨迹,再通过算式校验筛选正确答案。

后一种方式产出的”思考—答案”轨迹,天然带有分步推理的过程。

2. 四层文本处理。样本最终要变成模型能读取的Token序列,一般经过四层处理:

处理层 作用 数学推理任务中的示例(示意)
模板填充 把样本字段填入提示词模板 Using the numbers [1, 2, 3, 4], create an equation that equals 11…
Chat Template渲染 按对话格式拼接角色标记 system设定角色,user描述任务,assistant给出开头
响应提示拼接 预置模型回复的开头,引导输出结构 assistant消息以”Let me solve this step by step.\n\“开头
Tokenization 将文本转为Token ID序列 每个Token映射为整数索引,供训练读取

3. 响应提示的设计思路。assistant消息预置了”逐步思考”的开头,并打开\标签,但不给出闭合的\与\。模型因此必须自己学会先闭合思考标签,再输出最终答案。格式学习与解题学习由此在同一份监督信号中完成,推理内容和输出结构被联合优化。以”用[1,2,3,4]算11”为例,模型输出的轨迹中包含这样的推理:先发现4×3−1=11,但数字2尚未使用;随后调整为(4×3)−(2−1)=11,四个数字各用一次。这种”试错—自检”的轨迹,正是训练要放大的行为。

4. 标签管理与损失计算。需要预先定义”哪些Token参与损失计算”:

  • 通常只计算模型生成部分(response)的损失;
  • 提示词部分(prompt)一般设为忽略(ignore index或mask),避免模型去拟合输入;
  • 预置的响应提示属于输入还是目标,取决于它是否已被完整给出。按本例的训练方式,模型仍需自己生成闭合标签,通常应把闭合标签和答案部分计入损失。

这一约定在两条路线中完全相同,区别在于梯度更新时作用于哪些参数。

5. 训练与评测流程。

  • 训练循环:前向计算 → 计算交叉熵损失 → 反向传播 → 参数更新。
  • 评测:先用校验器解析\标签中的算式,再验证三件事:是否使用了给定数字、每个数字是否恰好使用一次、结果是否等于目标值。
  • 数据切分:按问题划分训练集与验证集,避免同一道题的不同轨迹同时出现在两边,导致指标虚高。

三、核心差异分析

1. 技术架构:参数更新范围决定一切

全参数微调中,基座的每一层(词嵌入、注意力、前馈网络、输出层)都会参与梯度更新。训练依赖完整的优化器组件,并在资源充足时配合分布式训练技术(数据并行、张量并行、参数/优化器状态分片等)把负载分摊到多张卡上。

轻量参数高效微调则在基座中插入低秩模块:用两个小矩阵的乘积去近似权重更新量。以维度为d的权重矩阵为例,秩为r时,可训练参数约为2×d×r。r远小于d时,新增参数只占模型总量的很小一部分。前向计算时,原权重输出与低秩分支输出相加,基座本身保持不变。

解读:架构差异直接带来一个结果。轻量方案训练的是”叠加在通用能力之上的任务层”,基座的通用知识仍完整保留。全参微调则是对整个网络的重新调整。

2. 资源占用:差距主要来自优化器状态

大模型训练中,显存通常被以下几部分占用:

  • 模型权重;
  • 梯度;
  • 优化器状态(Adam类优化器需保存一阶、二阶动量);
  • 前向激活值;
  • 临时计算缓冲区。

轻量方案的基座权重只需读取、无需保存梯度与优化器状态。可训练参数又只占很小一部分,因此显存占用大幅降低。小模型的全参微调,常常需要多卡配合显存分片等优化才能运行。轻量方案通常一张高端卡就能完成,配合基座权重量化后,门槛进一步降低。

激活值与批大小、序列长度成正比,这一点两者相同。不过轻量方案节省下来的显存可以留给更大的批量,间接提升训练吞吐。

3. 效果表现:上限与稳定性各有侧重

  • 能力上限:全参微调能调整网络的每一处权重,在数据充足且与任务高度一致时,上限通常更高。任务涉及深度改变模型的表达风格、术语体系或输出结构时,这一点更明显。
  • 容量约束:轻量方案的秩和注入位置限制了可改变的容量。对复杂的任务迁移,效果可能略逊于全参微调。但它同时也是一种强约束,小数据集下不容易过拟合,更少出现”死记训练题”的现象。
  • 灾难性遗忘:全参微调可能削弱基座原有的通用能力,比如指令跟随、通用问答。轻量方案保留基座权重,遗忘风险相对较低。但基座冻结并不等于完全隔离:适配器输出如果偏移过大,同样会影响整体行为。多个适配器同时加载时,彼此还可能相互干扰。
  • 格式学习:思考标签、答案标签等输出结构,更多取决于数据质量与响应提示设计,而非训练参数的多少。两种方案都能学会稳定输出格式,差别主要在于收敛速度和泛化到新任务格式的难度。

4. 产物与部署:独立权重与可插拔增量

产物维度 方案A:全参数微调 方案B:轻量参数高效微调
产物形态 一份完整模型权重 小体积增量权重 + 基座版本标识
部署方式 直接替换推理服务的模型文件 先合并进基座再部署,或加载基座并挂载适配器
多任务支持 每个任务一份完整模型,显存随任务数线性增加 同一基座加载多个适配器,可按请求切换

解读:全参微调的产物”即取即用”,部署链路简单,适合模型数量少、调用量大的场景。轻量方案的产物便于分发和版本管理,适合多个任务共享同一基座。代价是推理服务要支持适配器加载与路由,合并权重这一步也需要纳入发布流程。

5. 数据安全与权限控制

  • 共性要求:训练数据可能包含内部业务信息,两种方案都需要覆盖数据采集、存储、传输、使用、销毁的全流程。身份认证、权限控制、网络隔离、加密存储、审计日志等手段缺一不可。
  • 差异所在:全参微调会把领域知识固化到权重文件中。文件一旦泄露,相当于泄露训练数据所承载的业务知识,权重本身需要作为核心资产严格管控。轻量方案的增量权重虽小,同样包含任务信息,而且会引入”基座+适配器”的版本组合,权限管理粒度更细。

6. 运维复杂度

  • 全参微调:单次训练耗时长、占用资源多。需要关注断点续训、中间检查点保存、训练失败重跑成本、模型版本回滚等问题。训练环境涉及多卡通信、显存溢出、进程挂死等典型故障,对监控和告警的要求更高。
  • 轻量微调:单次训练短、占用资源少,可以快速试错和回滚。但任务一多,适配器版本、基座版本、路由规则的管理复杂度会上升。为省显存而量化基座时,还要额外验证量化带来的精度损失对任务效果的影响。

7. 成本结构

不比较具体价格,只比较成本构成:

  • 资源成本:全参微调集中在训练期的长时算力占用和检查点存储上。轻量微调单次成本低,可以更频繁地迭代。任务规模增长后,轻量方案的成本重心会从”训练”转向”服务侧的多适配器调度”。
  • 人力成本:全参微调对分布式训练、显存优化的工程能力要求更高。轻量微调上手更快,但多任务适配器的管理同样需要投入。
  • 迁移与长期成本:两种方案都需要持续的评测集维护、数据更新与定期重训。这部分与方案选择无关,常被低估。

8. 使用边界

  • 全参微调:不适合算力紧张、需要快速迭代的场景;不适合基座通用能力必须严格保持、且数据量不足的任务;不适合每个任务都要独立模型、模型数量众多的场景。
  • 轻量微调:不适合与基座能力差异过大、需要大幅改变模型行为的数据分布。多适配器并存时,不适合对尾延迟极其敏感且无法承担额外路由逻辑的服务。

四、核心差异对比表

对比维度 方案A:全参数微调 方案B:轻量参数高效微调
可训练参数 全部模型参数 少量注入参数,基座冻结
显存占用 高:参数+梯度+优化器状态+激活值 低:主要为基座权重+激活值+少量适配器状态
最低硬件门槛 通常需多卡配合显存优化技术 通常单卡即可,量化后门槛更低
训练时长 较长 较短
能力上限 较高,可深度重塑模型行为 受秩与注入位置约束,复杂迁移可能略逊
灾难性遗忘风险 相对较高 相对较低
产物形态 完整模型权重 增量权重 + 基座版本标识
多任务部署 每任务一份完整模型,显存线性增长 多适配器共享基座,可动态切换
数据安全 权重即资产,需严格管控 适配器同样需管控,版本组合更多
运维复杂度 集中在训练侧(多卡、断点续训) 集中在服务侧(适配器版本与路由)
典型适用 单任务、数据充足、算力充足 多任务、快速迭代、算力有限

五、训练流程示意代码

以下伪代码只描述流程,不绑定任何具体框架。

  1. # ---------- 1. 样本构造 ----------
  2. def make_sample(nums, target):
  3. prompt = f"Using the numbers {nums}, create an equation that equals {target}."
  4. instruction = "Show your work in <think> </think> tags. And return the final answer in <answer> </answer> tags."
  5. return {"prompt": prompt + " " + instruction, "answer": verified_trace}
  6. # ---------- 2. 文本渲染 ----------
  7. messages = [
  8. {"role": "system", "content": SYSTEM_PROMPT},
  9. {"role": "user", "content": sample["prompt"]},
  10. {"role": "assistant", "content": "Let me solve this step by step.\n<think>"}, # 响应提示:故意不闭合
  11. ]
  12. text = chat_template.render(messages) + sample["answer"] + tokenizer.eos_token
  13. # ---------- 3. Tokenization 与标签 ----------
  14. input_ids = tokenizer.encode(text)
  15. labels = input_ids.copy()
  16. labels[:len(prompt_part)] = IGNORE_INDEX # 只对模型需要生成的部分计算损失
  17. # ---------- 4. 训练:两条路线仅在此处分叉 ----------
  18. # 方案A:全参数微调
  19. # model = load_base_model(name, dtype=...)
  20. # optimizer = build_optimizer(model.parameters(), lr=small_lr)
  21. # 方案B:轻量参数高效微调
  22. # model = load_base_model(name, dtype=...)
  23. # freeze_all(model) # 冻结基座
  24. # model = inject_low_rank_modules(model, rank=r)
  25. # optimizer = build_optimizer(trainable_params(model), lr=larger_lr)
  26. loss = model(input_ids=input_ids, labels=labels).loss
  27. loss.backward(); optimizer.step(); optimizer.zero_grad()
  28. # ---------- 5. 产物导出 ----------
  29. # 方案A:save_pretrained(model) → 完整权重
  30. # 方案B:save_adapter(model) + 记录基座版本 → 增量权重,可合并或挂载

六、典型场景如何选择

  • 场景一:内部数学/算术推理助手,单一任务、数据充足、有多卡资源。更适合全参微调,以争取更高的准确率上限。若基座的通用对话能力必须保留,可混入一定比例的通用数据,或改用轻量方案。
  • 场景二:多个业务任务共用一个小模型。比如算术推理、文本分类、信息抽取,各自数据量都不大,适合轻量微调。每个任务训练一个适配器,在推理服务中按需加载或合并。
  • 场景三:单卡或消费级显卡的个人实验。以低秩适配为代表的轻量方案,配合基座量化,更容易完成。
  • 场景四:数据规模较小、以验证思路为主。轻量微调参数量少,过拟合风险较低,试错成本低,适合快速验证数据质量与提示词设计。
  • 场景五:上线后需要频繁更新。比如数学题库持续扩充、业务规则经常变化。轻量微调可只重训增量参数,缩短迭代周期。
  • 场景六:端侧或离线部署。无论哪种方案,最终都要产出完整权重文件供推理引擎加载。轻量方案可先合并再导出,部署形态与全参微调一致。

七、选型建议

选型前,建议先回答以下问题:

  1. 任务数量和上线节奏如何?任务多、更新快,轻量微调的迭代优势更明显。
  2. 可用算力有多少?算力有限时,轻量微调的门槛更低。
  3. 是否需要保留基座的通用能力?需要保留时,轻量微调的遗忘风险相对较低。
  4. 能否接受更复杂的部署链路?服务侧能否支持适配器加载与版本路由,决定了轻量方案能否发挥多任务优势。
  5. 训练数据的规模与质量如何?数据充足且任务差异大时,全参微调更容易触及效果上限。

此外,两条路线并不互斥。常见的渐进策略是:

  1. 先用轻量微调快速跑通数据、提示词与评测流程;
  2. 若轻量方案遇到效果瓶颈,再评估升级为全参微调的投入产出比;
  3. 对多个任务分别采用不同方案,按任务价值分配资源。

八、迁移与注意事项

从全参微调转向轻量微调:

  • 产物格式由完整权重变为”基座+适配器”,需要同步修改推理服务的加载逻辑与模型仓库的版本管理规则;
  • 学习率需要调大,建议重新搜索。全参微调常用的较小学习率,直接沿用到轻量方案中往往收敛不足;
  • 需要用同一套评测集做前后对比,防止指标回退。

从轻量微调转向全参微调:

  • 需要提前规划多卡训练环境与显存优化策略;
  • 调整学习率、批大小与检查点保存频率;
  • 训练前可混入通用数据,缓解灾难性遗忘。

两种方案通用:

  • 数据层面:清洗重复样本与错误轨迹,按问题划分训练/验证集,并记录数据版本;
  • 评测层面:把正确率与格式合规率分开统计,区分”算错了”和”格式错了”,便于定位问题;
  • 推理层面:思考内容较长时,输出长度上限、推理延迟与成本都需要纳入容量规划;
  • 版本层面:记录基座版本、数据版本、超参数和产物哈希,保证结果可追溯、可复现。

自建训练还是使用云上训练服务?无论选择哪种微调路线,训练环境都可以自建,也可以借助云上方案。例如,百度智能云提供可弹性伸缩的算力资源、容器服务、对象存储以及日志与监控告警能力,可用于承载训练任务、存放检查点与数据集、跟踪训练指标,下文以方案甲、方案乙指代二者:

维度 方案甲:自建训练环境 方案乙:云上训练服务
初始投入 需采购硬件、搭建环境,前期投入大 按需申请资源,启动快
弹性能力 扩容周期长,资源可能闲置 资源可随任务弹性伸缩
运维责任 硬件、驱动、调度等需自行维护 底层基础设施由平台维护,用户聚焦训练任务
数据管控 数据完全在自有环境中,边界清晰 需配置网络隔离、身份认证与权限策略
成本特征 长期稳定运行时,单位成本可能更优 负载波动大或阶段性训练时,成本更可控

两种训练环境都适用于方案A和方案B。资源长期稳定、数据合规要求严格且团队具备基础设施运维能力时,可优先考虑方案甲;算力需求波动明显或希望缩短环境准备周期时,方案乙更容易匹配。

九、总结

全参数微调与轻量参数高效微调的根本区别,在于训练时改变模型参数的多少:

  • 全参微调:改动全部参数,上限更高,部署简单,但资源消耗大,通用能力有退化风险;
  • 轻量微调:只训练少量增量参数,门槛低、迭代快、多任务复用方便,但对复杂任务的改造能力有限。

回到”怎么训练自己的小模型”,建议的推进顺序如下:

  1. 以基座模型为起点;
  2. 构建格式统一、标注准确的数学推理数据;
  3. 设计好Chat Template与响应提示;
  4. 按数据规模和算力条件选择全参或轻量微调;
  5. 用可解析、可校验的评测集持续验证效果。