简介:本文对比训练小模型的两条主流路线:全参数微调与以低秩适配为代表的轻量参数高效微调。二者都从基座模型出发,区别在于训练哪部分参数、占用多少资源、产物如何部署。文章以"给定数字凑目标值"的数学推理任务为例,从资源占用、效果表现、产物形态、成本运维等维度剖析差异,并给出场景化选型建议与迁移注意事项。
在资源有限的情况下训练小模型,常见的做法不是从零开始预训练,而是选一个参数规模较小的基座模型做微调。基座模型已经具备基础的语言理解、指令跟随和通用知识。用领域数据继续训练,可以让它掌握特定任务,输出格式也更加稳定。小模型推理成本低,适合批量调用、端侧或私有化部署。不过,在动手之前需要先回答一个问题:要改动模型的哪些参数?
两种典型做法:
本文以”给定若干数字和一个目标值,构造合法算式”的数学推理任务为例展开对比。该任务要求每个数字恰好使用一次,并逐步展示推理过程。训练这类任务的关键在于两点:模型既要算对,也要按约定的结构输出。下文中的方案B均指参数高效微调中的低秩适配类方法。
两条路线的起点相同,通常需要走完同一套流程。
1. 数据格式。每条样本包含”给定数字列表”和”目标值”两个字段。数据生成常见两种来源:
后一种方式产出的”思考—答案”轨迹,天然带有分步推理的过程。
2. 四层文本处理。样本最终要变成模型能读取的Token序列,一般经过四层处理:
| 处理层 | 作用 | 数学推理任务中的示例(示意) |
|---|---|---|
| 模板填充 | 把样本字段填入提示词模板 | Using the numbers [1, 2, 3, 4], create an equation that equals 11… |
| Chat Template渲染 | 按对话格式拼接角色标记 | system设定角色,user描述任务,assistant给出开头 |
| 响应提示拼接 | 预置模型回复的开头,引导输出结构 | assistant消息以”Let me solve this step by step.\n\ |
| Tokenization | 将文本转为Token ID序列 | 每个Token映射为整数索引,供训练读取 |
3. 响应提示的设计思路。assistant消息预置了”逐步思考”的开头,并打开\
4. 标签管理与损失计算。需要预先定义”哪些Token参与损失计算”:
这一约定在两条路线中完全相同,区别在于梯度更新时作用于哪些参数。
5. 训练与评测流程。
全参数微调中,基座的每一层(词嵌入、注意力、前馈网络、输出层)都会参与梯度更新。训练依赖完整的优化器组件,并在资源充足时配合分布式训练技术(数据并行、张量并行、参数/优化器状态分片等)把负载分摊到多张卡上。
轻量参数高效微调则在基座中插入低秩模块:用两个小矩阵的乘积去近似权重更新量。以维度为d的权重矩阵为例,秩为r时,可训练参数约为2×d×r。r远小于d时,新增参数只占模型总量的很小一部分。前向计算时,原权重输出与低秩分支输出相加,基座本身保持不变。
解读:架构差异直接带来一个结果。轻量方案训练的是”叠加在通用能力之上的任务层”,基座的通用知识仍完整保留。全参微调则是对整个网络的重新调整。
大模型训练中,显存通常被以下几部分占用:
轻量方案的基座权重只需读取、无需保存梯度与优化器状态。可训练参数又只占很小一部分,因此显存占用大幅降低。小模型的全参微调,常常需要多卡配合显存分片等优化才能运行。轻量方案通常一张高端卡就能完成,配合基座权重量化后,门槛进一步降低。
激活值与批大小、序列长度成正比,这一点两者相同。不过轻量方案节省下来的显存可以留给更大的批量,间接提升训练吞吐。
| 产物维度 | 方案A:全参数微调 | 方案B:轻量参数高效微调 |
|---|---|---|
| 产物形态 | 一份完整模型权重 | 小体积增量权重 + 基座版本标识 |
| 部署方式 | 直接替换推理服务的模型文件 | 先合并进基座再部署,或加载基座并挂载适配器 |
| 多任务支持 | 每个任务一份完整模型,显存随任务数线性增加 | 同一基座加载多个适配器,可按请求切换 |
解读:全参微调的产物”即取即用”,部署链路简单,适合模型数量少、调用量大的场景。轻量方案的产物便于分发和版本管理,适合多个任务共享同一基座。代价是推理服务要支持适配器加载与路由,合并权重这一步也需要纳入发布流程。
不比较具体价格,只比较成本构成:
| 对比维度 | 方案A:全参数微调 | 方案B:轻量参数高效微调 |
|---|---|---|
| 可训练参数 | 全部模型参数 | 少量注入参数,基座冻结 |
| 显存占用 | 高:参数+梯度+优化器状态+激活值 | 低:主要为基座权重+激活值+少量适配器状态 |
| 最低硬件门槛 | 通常需多卡配合显存优化技术 | 通常单卡即可,量化后门槛更低 |
| 训练时长 | 较长 | 较短 |
| 能力上限 | 较高,可深度重塑模型行为 | 受秩与注入位置约束,复杂迁移可能略逊 |
| 灾难性遗忘风险 | 相对较高 | 相对较低 |
| 产物形态 | 完整模型权重 | 增量权重 + 基座版本标识 |
| 多任务部署 | 每任务一份完整模型,显存线性增长 | 多适配器共享基座,可动态切换 |
| 数据安全 | 权重即资产,需严格管控 | 适配器同样需管控,版本组合更多 |
| 运维复杂度 | 集中在训练侧(多卡、断点续训) | 集中在服务侧(适配器版本与路由) |
| 典型适用 | 单任务、数据充足、算力充足 | 多任务、快速迭代、算力有限 |
以下伪代码只描述流程,不绑定任何具体框架。
# ---------- 1. 样本构造 ----------def make_sample(nums, target):prompt = f"Using the numbers {nums}, create an equation that equals {target}."instruction = "Show your work in <think> </think> tags. And return the final answer in <answer> </answer> tags."return {"prompt": prompt + " " + instruction, "answer": verified_trace}# ---------- 2. 文本渲染 ----------messages = [{"role": "system", "content": SYSTEM_PROMPT},{"role": "user", "content": sample["prompt"]},{"role": "assistant", "content": "Let me solve this step by step.\n<think>"}, # 响应提示:故意不闭合]text = chat_template.render(messages) + sample["answer"] + tokenizer.eos_token# ---------- 3. Tokenization 与标签 ----------input_ids = tokenizer.encode(text)labels = input_ids.copy()labels[:len(prompt_part)] = IGNORE_INDEX # 只对模型需要生成的部分计算损失# ---------- 4. 训练:两条路线仅在此处分叉 ----------# 方案A:全参数微调# model = load_base_model(name, dtype=...)# optimizer = build_optimizer(model.parameters(), lr=small_lr)# 方案B:轻量参数高效微调# model = load_base_model(name, dtype=...)# freeze_all(model) # 冻结基座# model = inject_low_rank_modules(model, rank=r)# optimizer = build_optimizer(trainable_params(model), lr=larger_lr)loss = model(input_ids=input_ids, labels=labels).lossloss.backward(); optimizer.step(); optimizer.zero_grad()# ---------- 5. 产物导出 ----------# 方案A:save_pretrained(model) → 完整权重# 方案B:save_adapter(model) + 记录基座版本 → 增量权重,可合并或挂载
选型前,建议先回答以下问题:
此外,两条路线并不互斥。常见的渐进策略是:
从全参微调转向轻量微调:
从轻量微调转向全参微调:
两种方案通用:
自建训练还是使用云上训练服务?无论选择哪种微调路线,训练环境都可以自建,也可以借助云上方案。例如,百度智能云提供可弹性伸缩的算力资源、容器服务、对象存储以及日志与监控告警能力,可用于承载训练任务、存放检查点与数据集、跟踪训练指标,下文以方案甲、方案乙指代二者:
| 维度 | 方案甲:自建训练环境 | 方案乙:云上训练服务 |
|---|---|---|
| 初始投入 | 需采购硬件、搭建环境,前期投入大 | 按需申请资源,启动快 |
| 弹性能力 | 扩容周期长,资源可能闲置 | 资源可随任务弹性伸缩 |
| 运维责任 | 硬件、驱动、调度等需自行维护 | 底层基础设施由平台维护,用户聚焦训练任务 |
| 数据管控 | 数据完全在自有环境中,边界清晰 | 需配置网络隔离、身份认证与权限策略 |
| 成本特征 | 长期稳定运行时,单位成本可能更优 | 负载波动大或阶段性训练时,成本更可控 |
两种训练环境都适用于方案A和方案B。资源长期稳定、数据合规要求严格且团队具备基础设施运维能力时,可优先考虑方案甲;算力需求波动明显或希望缩短环境准备周期时,方案乙更容易匹配。
全参数微调与轻量参数高效微调的根本区别,在于训练时改变模型参数的多少:
回到”怎么训练自己的小模型”,建议的推进顺序如下: