大模型微调方案对比:两条正交轴怎么选

作者:起个名字好难2026.11.16 10:48浏览量:0

简介:很多人被问到微调方案时,会把全量微调、LoRA、QLoRA、SFT、DPO 平铺成一串名词,这在面试和选型中都是失分项。本文把这些概念拆成两条正交轴——“改哪些参数”与“学什么目标”,并给出前置的“该不该微调”判断,附对比表格、组合矩阵、决策流程与示意代码,帮你形成可落地的选型逻辑。

一、先把对比对象说清楚:不是五个名词,而是两条正交轴

被问“大模型微调的方案有哪些”时,最常见的回答是并列报菜名:全量微调、LoRA、QLoRA、SFT、DPO。这个回答的问题不在于漏了什么,而在于把两类完全不同性质的东西放在同一层,导致后续无法讲出任何选型逻辑。

准确的拆解方式是:这些名词分布在两条互相独立的轴上。

名词 所属轴 回答的问题
全量微调(Full Fine-tuning) 轴一:改哪些参数 训练时更新模型的哪些权重
LoRA 轴一:改哪些参数 同上,只训练注入的低秩旁路矩阵
QLoRA 轴一:改哪些参数 同上,在量化后的基座上训练低秩旁路
SFT(Supervised Fine-Tuning) 轴二:学什么目标 用什么监督信号驱动参数更新
DPO(Direct Preference Optimization) 轴二:学什么目标 同上,用成对偏好数据驱动

两条轴是正交的,可以任意组合:可以用 LoRA 做 SFT,也可以用 LoRA 做 DPO,还可以用全量参数做 SFT 或 DPO。所以“LoRA 和 SFT 有什么区别”这个问题本身就不成立——它们不在同一维度上,不构成替代关系。

理解这一点,是理解后面所有选型讨论的前提。

二、前置判断:这个需求到底该不该微调

在讨论两条轴之前,还有一道更靠前的判断题:微调是最后手段,不是第一选择。很多“模型表现不好”的问题,根因并不在模型参数里。

手段 解决什么 见效速度 变更成本 回滚难度
Prompt 工程 指令理解偏差、输出格式不规范、角色设定 分钟级 极低,改文本即可 极低
Few-shot 示例 任务边界模糊、需要模仿特定风格与判定标准 分钟至小时级 低,维护示例集 低
RAG / 外部知识检索 知识缺失、知识时效、私有数据接入 天级 中,需建索引与检索链路 中,可切换索引版本
微调 需要稳定内化的风格、格式、任务能力,或用小模型替代大模型降本 天至周级 高,涉及数据、训练、评测、部署 高,需保留基线权重

真正需要微调的场景通常集中在三类:

  1. 稳定的输出风格需要内化:靠 Prompt 描述风格时,长文本、多轮场景下容易漂移;把风格写进权重后,输出的一致性显著提升。
  2. 固定的任务格式与判定标准:例如结构化的抽取、分类、审核类任务,需要在海量样本上保持严格的字段与枚举约束。
  3. 用小模型替换大模型以降低成本:这是微调投入产出比最明确的一类,用中小规模基座 + 领域数据蒸馏出足够好的专用模型,单位推理成本会明显下降。

反过来,如果问题只是“模型不知道我们公司的某个术语”,那答案通常是 RAG 而不是微调——微调不适合承载频繁变化的知识,它是把行为写进参数,而不是把知识放进可检索的存储。

三、轴一:改哪些参数(全量微调 / LoRA / QLoRA)

3.1 全量微调:所有权重都参与更新

全量微调在训练时更新基座模型的全部参数。它的能力上限最高,理论上能把模型的任意行为调整到位,不存在“旁路容量不足”的问题。

代价主要在显存与算力。训练一个模型,显存里同时存在四类东西:权重本身、梯度、优化器状态(自适应优化器通常需要保存一阶与二阶动量,量级可达参数量的数倍)、以及前向激活值。这意味着训练显存需求远高于推理显存需求,一个能跑起来的推理配置,往往远远不够做全量训练。再叠加分布式并行、检查点保存、多卡通信开销,工程复杂度是三条路线里最高的。

适用条件比较明确:有充足的加速卡资源、有明确的领域能力改造需求、并且有能力承担完整训练栈的运维。

3.2 LoRA:冻结基座,训练低秩旁路

LoRA 的核心假设是:微调过程中的权重变化量具有较低的内在秩。因此它不修改原权重,而是在旁路注入两个低秩矩阵,把它们的乘积作为增量加回原输出,训练时只更新这两个小矩阵。

由此带来的性质非常实用:

  • 可训练参数量大幅下降,通常只有全量参数的极小比例,显存压力主要来自基座权重和激活值,优化器状态只对应旁路参数,因此单卡或少量卡即可训练;
  • 产物是适配器而非完整模型,一个基座可以挂多个适配器,按业务线动态切换,不必为每个任务保存一份完整权重,存储与分发成本显著下降;
  • 推理可以合并回主权重,训练完成后把低秩增量并入原权重,推理时不存在额外分支,因此不引入额外延迟;若不合并则 Keep 旁路激活,仍存在轻微开销;
  • 天然支持增量迭代,新增业务需求时追加适配器即可,不必重训基座。

限制也很清楚:可训练容量受秩的约束,对需要大范围改写模型行为的任务可能不足;多个适配器同时生效时的叠加行为需要单独评估,不建议无脑堆叠。

3.3 QLoRA:量化基座 + 低秩旁路

QLoRA 在 LoRA 的基础上,把冻结的基座权重量化到 4bit 存储,再在其上训练低秩旁路。它解决的是“显存还不够”的问题:既然基座不参与更新,就可以用低精度存下来,只在计算时反量化。

工程上需要额外关注几点:量化会带来一定的数值精度损失,任务越依赖细粒度语义辨析,越需要认真做效果回归;量化与反量化本身有额外计算开销,因此 QLoRA 省的是显存而非时间,训练速度不一定优于 LoRA;基座量化方式与训练框架的兼容性需要提前验证。

QLoRA 的定位是把微调的门槛压到消费级或单卡级硬件,代价是效果需要实测确认,不能默认与 LoRA 等价。

3.4 轴一对比表

维度 全量微调 LoRA QLoRA
可训练参数 全部 旁路低秩矩阵 旁路低秩矩阵
显存需求 最高 中 最低
训练吞吐 低(并行开销大) 较高 视量化实现,通常不占优
能力上限 最高 中,受秩约束 中,受秩与量化共同约束
产物形态 完整权重 轻量适配器 轻量适配器
多任务管理 需多份权重 一个基座多适配器 同 LoRA
推理额外开销 无 合并后无 需考虑量化推理链路
工程复杂度 高 中 中高
典型适用 资源充足的能力深度改造 主流首选 资源受限的验证与迭代

四、轴二:学什么目标(SFT / DPO)

4.1 SFT:用监督信号教会“怎么答”

SFT 是在标注好的「指令—理想回答」样本上做监督训练,损失函数是标准的下一 token 预测交叉熵,通常只对回答部分计算损失。它的作用是把基座模型从“续写文本”的行为模式,切换到“按指令作答”的行为模式。

SFT 的能力边界值得强调:它擅长教格式、任务映射和风格,擅长把“应该怎么输出”固化下来;但它学不到“哪个回答更好”这种相对性判断,因为样本里只有正确答案,没有错误答案作为对照。你无法用它直接表达“不要太啰嗦”“这个回答虽然对但语气不合适”。

SFT 对数据的要求:指令多样性要够,回答质量要高,标注一致性要好。数据分布偏斜时,模型会过拟合到高频模式上。

4.2 DPO:用偏好对教会“哪个更好”

DPO 的训练数据是三元组:同一个提示,加上一个更优回答(chosen)和一个更差回答(rejected)。损失函数的目标是提升 chosen 相对 rejected 的对数概率差,同时用一个参考模型约束策略不要偏离原模型太远——这一约束是防止模型为了拉大偏好差距而整体崩掉的关键。

DPO 的价值在于表达力:它能编码“简洁优于冗长”“拒答优于胡编”“语气要克制”这类偏好,而这些恰恰是 SFT 很难表达的。同时它相对轻量——不需要单独训练奖励模型,也不需要在线采样与多阶段交替,训练流程接近一次普通监督训练,这在工程上是显著的简化。

代价是:偏好数据的构造更难,标注需要成对的、有区分度的比较判断;如果 chosen 与 rejected 质量差异过小,梯度信号会很弱;DPO 也可能带来输出多样性和长度分布上的偏移,需要监控。

4.3 与经典 RLHF 路线的关系

经典 RLHF 通常是“SFT → 训练奖励模型 → 强化学习优化策略”的多阶段流程,链路长、超参敏感、训练不稳定,需要同时维护策略模型、参考模型和奖励模型。DPO 属于把偏好对齐目标直接转化为可监督优化的形式,绕开了显式奖励模型与在线采样环节。因此“简单得多、效果也不差”是相对该经典路线而言的工程结论,而不是说 DPO 在任何任务上都更优。

4.4 轴二对比表

维度 SFT DPO
数据形式 指令 + 标准回答 提示 + 优/劣回答对
监督信号 绝对(正确答案是什么) 相对(哪个更好)
标注难度 中,需要写高质量答案 中高,需要成对有依据的比较
擅长解决 格式、任务映射、风格内化 偏好对齐、语气、详略、拒答边界
训练稳定性 高,流程成熟 中,对偏好数据质量与参考模型设置敏感
是否需要参考模型 否 是
与基座的偏离风险 中,易灾难性遗忘 有参考约束,相对可控但仍需监控
常见位置 微调的第一步 在 SFT 之后的偏好对齐阶段

五、两条轴怎么组合

组合 适用情形 主要约束
全量 SFT 资源充足,需要深度改造模型能力 显存与运维成本最高,需防遗忘
LoRA + SFT 资源适中,格式与风格内化 效果受秩与目标模块选择影响
QLoRA + SFT 单卡/少卡,先验证可行性再决定是否加大投入 需回归量化带来的精度影响
LoRA + DPO 已有可用的 SFT 模型,需要偏好对齐 偏好数据构造成本
全量 DPO 资源充足且对齐是核心诉求 训练不稳定风险与算力成本
QLoRA + DPO 极限资源下的对齐实验 稳定性与效果双重不确定

一个常见的正确顺序是:先 SFT 建立基础行为,再视需要用 DPO 做偏好对齐。直接在裸基座上做 DPO,通常拿不到理想结果,因为偏好优化是在既有行为分布上做微调,而不是从零建立任务能力。

六、决策流程

  1. 输入:任务需求 + 资源约束
  2. 1. 是否只是知识缺失或时效问题?
  3. → 是:优先 RAG / 检索增强,结束。
  4. 2. 是否只是指令理解或输出格式偏差?
  5. → 是:优化 Prompt + 补充 Few-shot 示例,用评测集验证,结束。
  6. 3. 是否要求风格/格式在长文本与多轮下高度稳定,或需要用小模型降本?
  7. → 否:回到 1、2 步继续排查数据与流程问题。
  8. → 是:进入微调。
  9. 4. 选轴一(改哪些参数):
  10. - 加速卡资源充足 + 需要能力深度改造 → 全量微调
  11. - 资源适中 + 多业务线复用同一基座 → LoRA
  12. - 资源紧张 + 需先验证可行性 → QLoRA
  13. 5. 选轴二(学什么目标):
  14. - 需要教会“怎么答”(格式、任务映射) → SFT
  15. - 需要教会“哪个更好”(偏好、语气、详略) → SFT 之后再叠加 DPO
  16. 6. 建立评测闭环:留出集 + 与未微调基座的同题对比 + 通用能力回退检查

七、示意性代码(通用伪代码,不含任何厂商接口)

  1. # 轴一:只把基座包装成"可训练旁路",其余参数全部冻结
  2. def build_lora_model(base_model, r=8, alpha=16, dropout=0.05):
  3. for p in base_model.parameters():
  4. p.requires_grad = False # 基座冻结
  5. for name, module in base_model.named_modules():
  6. if is_target_linear(name, module):
  7. module.lora_A = LowRank(module.in_dim, r) # 可训练
  8. module.lora_B = LowRank(r, module.out_dim) # 可训练
  9. module.scale = alpha / r
  10. return base_model
  11. # 轴二之一:SFT,只对回答部分的 token 计算交叉熵
  12. def sft_loss(model, batch):
  13. logits = model(batch.input_ids)
  14. labels = mask_prompt_tokens(batch.input_ids, batch.prompt_len) # 提示部分置为 -100
  15. return cross_entropy(logits, labels)
  16. # 轴二之二:DPO,用偏好对拉开 chosen / rejected 的对数概率差
  17. def dpo_loss(model, ref_model, batch, beta=0.1):
  18. lp_chosen = seq_logprob(model, batch.chosen)
  19. lp_rejected = seq_logprob(model, batch.rejected)
  20. ref_chosen = seq_logprob(ref_model, batch.chosen) # 参考模型通常冻结
  21. ref_rejected = seq_logprob(ref_model, batch.rejected)
  22. logits = (lp_chosen - lp_rejected) - (ref_chosen - ref_rejected)
  23. return -logsigmoid(beta * logits).mean()
  24. # 训练产物:只保存旁路参数;推理前可合并回主权重以消除额外分支
  25. adapter = train(build_lora_model(base, r=8), data=sft_dataset, objective=sft_loss)
  26. merged = merge_adapter(base, adapter) # 可选:合并后推理无额外延迟

八、工程实践中的关键点

数据质量优先于数据数量。 几百条标注一致、覆盖真实的样本,往往优于几万条含噪声的样本。微调会把数据里的偏差一并放大,脏数据不是“效果差一点”,而是“稳定地学错”。

必须评估通用能力回退。 微调后最典型的风险是灾难性遗忘:目标任务指标上涨,通用对话、指令跟随或安全性表现下降。评测集里要保留一批与微调数据分布无关的通用题目,作为回退哨兵。

秩与目标模块是需要调的超参,不是固定答案。 秩决定了旁路的表达容量,秩太小欠拟合,秩太大接近全量微调的成本而收益递减;作用于注意力的投影层还是也覆盖前馈层,会明显影响容量与开销。这些参数应当通过小规模实验确定,而不是照搬他人的配置。

学习率与训练轮次要按数据量匹配。 小数据集配大学习率、多轮次,极易过拟合到模板化输出上。观察验证集损失与生成质量的背离,是判断是否过训的直接信号。

产物要可版本化、可回滚。 保留未微调的基座与历史适配器版本,让每次上线的效果变更都可归因、可撤回。这是把微调接入生产链路的必要条件,而不是可选项。

九、成本结构与使用边界

成本项 全量微调 LoRA / QLoRA
算力成本 高 低到中
存储与分发 每个任务一份完整权重 适配器轻量,一份基座多任务
数据标注 高(与轴二选择相关) 同左,与轴一无关
人力与运维 高,需要完整训练栈能力 中,门槛显著更低
迁移/切换成本 高,涉及权重分发与回滚方案 低,切换适配器即可

需要提前识别的使用边界:

  • 知识频繁变化的需求不适合微调,应交给检索增强,否则每次知识更新都要重训;
  • 可解释与可审计要求极高的场景,改动权重意味着行为变化难以逐项追溯,需要额外配套评测与回归机制;
  • 训练与推理的数值一致性在 QLoRA 路线上需要重点验证,量化误差在不同推理实现下可能表现不同;
  • 多适配器同时启用时的相互干扰需要单独测试,不要假定叠加后行为可加。

如果团队缺少训练与评测的工程能力,另一条务实路径是使用云平台提供的托管化模型开发能力——把训练任务、评测、版本管理与部署托管在平台上,用平台侧的日志、监控告警、身份认证与权限控制来承接运维复杂度。以百度智能云等云平台提供的模型开发与推理服务为例,这类托管方案通常把资源调度、任务编排和监控能力封装在通用类目之下,适合把精力集中在数据与效果上、而不希望自建完整训练栈的团队;具体能力边界与配额仍需以实际平台文档为准。

十、几个常见误区

  • 把 LoRA 和 SFT 当竞品比较。 前者是“改哪些参数”,后者是“学什么目标”,正确说法是“用 LoRA 方式实现 SFT”。
  • 认为 QLoRA 是 LoRA 的升级版。 它是显存受限下的取舍,换来的是门槛下降,同时引入了量化精度的额外不确定性。
  • 认为微调能补知识。 微调塑行为,检索补知识,两者不可互换。
  • 只看榜单选基座。 选微调方案与选模型同理,核心变量是资源约束、数据可得性与实际任务分布,而不是通用排名。
  • 跳过基线对比。 没有与“仅优化 Prompt 的基座”做同题对比,就无法证明微调本身带来了收益。

十一、总结

回答这类问题的正确顺序是三层:先判断是否该微调(能用 Prompt、Few-shot、RAG 解决的不上微调),再选轴一(全量微调、LoRA、QLoRA,决定改哪些参数,本质是显存与工程复杂度换取能力上限的取舍),最后选轴二(SFT 教“怎么答”,DPO 教“哪个更好”,通常先 SFT 再按需叠加 DPO)。

LoRA 与 QLoRA 的差别在资源与精度的权衡,SFT 与 DPO 的差别在监督信号的绝对性与相对性,全量微调与旁路方法的差别在能力上限与运维成本的交换。把这些差异归因清楚,再叠加数据质量、评测闭环、回退监控和版本可回滚这些工程条件,选型才不是背名词,而是可解释的决策。