简介:很多人被问到微调方案时,会把全量微调、LoRA、QLoRA、SFT、DPO 平铺成一串名词,这在面试和选型中都是失分项。本文把这些概念拆成两条正交轴——“改哪些参数”与“学什么目标”,并给出前置的“该不该微调”判断,附对比表格、组合矩阵、决策流程与示意代码,帮你形成可落地的选型逻辑。
被问“大模型微调的方案有哪些”时,最常见的回答是并列报菜名:全量微调、LoRA、QLoRA、SFT、DPO。这个回答的问题不在于漏了什么,而在于把两类完全不同性质的东西放在同一层,导致后续无法讲出任何选型逻辑。
准确的拆解方式是:这些名词分布在两条互相独立的轴上。
| 名词 | 所属轴 | 回答的问题 |
|---|---|---|
| 全量微调(Full Fine-tuning) | 轴一:改哪些参数 | 训练时更新模型的哪些权重 |
| LoRA | 轴一:改哪些参数 | 同上,只训练注入的低秩旁路矩阵 |
| QLoRA | 轴一:改哪些参数 | 同上,在量化后的基座上训练低秩旁路 |
| SFT(Supervised Fine-Tuning) | 轴二:学什么目标 | 用什么监督信号驱动参数更新 |
| DPO(Direct Preference Optimization) | 轴二:学什么目标 | 同上,用成对偏好数据驱动 |
两条轴是正交的,可以任意组合:可以用 LoRA 做 SFT,也可以用 LoRA 做 DPO,还可以用全量参数做 SFT 或 DPO。所以“LoRA 和 SFT 有什么区别”这个问题本身就不成立——它们不在同一维度上,不构成替代关系。
理解这一点,是理解后面所有选型讨论的前提。
在讨论两条轴之前,还有一道更靠前的判断题:微调是最后手段,不是第一选择。很多“模型表现不好”的问题,根因并不在模型参数里。
| 手段 | 解决什么 | 见效速度 | 变更成本 | 回滚难度 |
|---|---|---|---|---|
| Prompt 工程 | 指令理解偏差、输出格式不规范、角色设定 | 分钟级 | 极低,改文本即可 | 极低 |
| Few-shot 示例 | 任务边界模糊、需要模仿特定风格与判定标准 | 分钟至小时级 | 低,维护示例集 | 低 |
| RAG / 外部知识检索 | 知识缺失、知识时效、私有数据接入 | 天级 | 中,需建索引与检索链路 | 中,可切换索引版本 |
| 微调 | 需要稳定内化的风格、格式、任务能力,或用小模型替代大模型降本 | 天至周级 | 高,涉及数据、训练、评测、部署 | 高,需保留基线权重 |
真正需要微调的场景通常集中在三类:
反过来,如果问题只是“模型不知道我们公司的某个术语”,那答案通常是 RAG 而不是微调——微调不适合承载频繁变化的知识,它是把行为写进参数,而不是把知识放进可检索的存储。
全量微调在训练时更新基座模型的全部参数。它的能力上限最高,理论上能把模型的任意行为调整到位,不存在“旁路容量不足”的问题。
代价主要在显存与算力。训练一个模型,显存里同时存在四类东西:权重本身、梯度、优化器状态(自适应优化器通常需要保存一阶与二阶动量,量级可达参数量的数倍)、以及前向激活值。这意味着训练显存需求远高于推理显存需求,一个能跑起来的推理配置,往往远远不够做全量训练。再叠加分布式并行、检查点保存、多卡通信开销,工程复杂度是三条路线里最高的。
适用条件比较明确:有充足的加速卡资源、有明确的领域能力改造需求、并且有能力承担完整训练栈的运维。
LoRA 的核心假设是:微调过程中的权重变化量具有较低的内在秩。因此它不修改原权重,而是在旁路注入两个低秩矩阵,把它们的乘积作为增量加回原输出,训练时只更新这两个小矩阵。
由此带来的性质非常实用:
限制也很清楚:可训练容量受秩的约束,对需要大范围改写模型行为的任务可能不足;多个适配器同时生效时的叠加行为需要单独评估,不建议无脑堆叠。
QLoRA 在 LoRA 的基础上,把冻结的基座权重量化到 4bit 存储,再在其上训练低秩旁路。它解决的是“显存还不够”的问题:既然基座不参与更新,就可以用低精度存下来,只在计算时反量化。
工程上需要额外关注几点:量化会带来一定的数值精度损失,任务越依赖细粒度语义辨析,越需要认真做效果回归;量化与反量化本身有额外计算开销,因此 QLoRA 省的是显存而非时间,训练速度不一定优于 LoRA;基座量化方式与训练框架的兼容性需要提前验证。
QLoRA 的定位是把微调的门槛压到消费级或单卡级硬件,代价是效果需要实测确认,不能默认与 LoRA 等价。
| 维度 | 全量微调 | LoRA | QLoRA |
|---|---|---|---|
| 可训练参数 | 全部 | 旁路低秩矩阵 | 旁路低秩矩阵 |
| 显存需求 | 最高 | 中 | 最低 |
| 训练吞吐 | 低(并行开销大) | 较高 | 视量化实现,通常不占优 |
| 能力上限 | 最高 | 中,受秩约束 | 中,受秩与量化共同约束 |
| 产物形态 | 完整权重 | 轻量适配器 | 轻量适配器 |
| 多任务管理 | 需多份权重 | 一个基座多适配器 | 同 LoRA |
| 推理额外开销 | 无 | 合并后无 | 需考虑量化推理链路 |
| 工程复杂度 | 高 | 中 | 中高 |
| 典型适用 | 资源充足的能力深度改造 | 主流首选 | 资源受限的验证与迭代 |
SFT 是在标注好的「指令—理想回答」样本上做监督训练,损失函数是标准的下一 token 预测交叉熵,通常只对回答部分计算损失。它的作用是把基座模型从“续写文本”的行为模式,切换到“按指令作答”的行为模式。
SFT 的能力边界值得强调:它擅长教格式、任务映射和风格,擅长把“应该怎么输出”固化下来;但它学不到“哪个回答更好”这种相对性判断,因为样本里只有正确答案,没有错误答案作为对照。你无法用它直接表达“不要太啰嗦”“这个回答虽然对但语气不合适”。
SFT 对数据的要求:指令多样性要够,回答质量要高,标注一致性要好。数据分布偏斜时,模型会过拟合到高频模式上。
DPO 的训练数据是三元组:同一个提示,加上一个更优回答(chosen)和一个更差回答(rejected)。损失函数的目标是提升 chosen 相对 rejected 的对数概率差,同时用一个参考模型约束策略不要偏离原模型太远——这一约束是防止模型为了拉大偏好差距而整体崩掉的关键。
DPO 的价值在于表达力:它能编码“简洁优于冗长”“拒答优于胡编”“语气要克制”这类偏好,而这些恰恰是 SFT 很难表达的。同时它相对轻量——不需要单独训练奖励模型,也不需要在线采样与多阶段交替,训练流程接近一次普通监督训练,这在工程上是显著的简化。
代价是:偏好数据的构造更难,标注需要成对的、有区分度的比较判断;如果 chosen 与 rejected 质量差异过小,梯度信号会很弱;DPO 也可能带来输出多样性和长度分布上的偏移,需要监控。
经典 RLHF 通常是“SFT → 训练奖励模型 → 强化学习优化策略”的多阶段流程,链路长、超参敏感、训练不稳定,需要同时维护策略模型、参考模型和奖励模型。DPO 属于把偏好对齐目标直接转化为可监督优化的形式,绕开了显式奖励模型与在线采样环节。因此“简单得多、效果也不差”是相对该经典路线而言的工程结论,而不是说 DPO 在任何任务上都更优。
| 维度 | SFT | DPO |
|---|---|---|
| 数据形式 | 指令 + 标准回答 | 提示 + 优/劣回答对 |
| 监督信号 | 绝对(正确答案是什么) | 相对(哪个更好) |
| 标注难度 | 中,需要写高质量答案 | 中高,需要成对有依据的比较 |
| 擅长解决 | 格式、任务映射、风格内化 | 偏好对齐、语气、详略、拒答边界 |
| 训练稳定性 | 高,流程成熟 | 中,对偏好数据质量与参考模型设置敏感 |
| 是否需要参考模型 | 否 | 是 |
| 与基座的偏离风险 | 中,易灾难性遗忘 | 有参考约束,相对可控但仍需监控 |
| 常见位置 | 微调的第一步 | 在 SFT 之后的偏好对齐阶段 |
| 组合 | 适用情形 | 主要约束 |
|---|---|---|
| 全量 SFT | 资源充足,需要深度改造模型能力 | 显存与运维成本最高,需防遗忘 |
| LoRA + SFT | 资源适中,格式与风格内化 | 效果受秩与目标模块选择影响 |
| QLoRA + SFT | 单卡/少卡,先验证可行性再决定是否加大投入 | 需回归量化带来的精度影响 |
| LoRA + DPO | 已有可用的 SFT 模型,需要偏好对齐 | 偏好数据构造成本 |
| 全量 DPO | 资源充足且对齐是核心诉求 | 训练不稳定风险与算力成本 |
| QLoRA + DPO | 极限资源下的对齐实验 | 稳定性与效果双重不确定 |
一个常见的正确顺序是:先 SFT 建立基础行为,再视需要用 DPO 做偏好对齐。直接在裸基座上做 DPO,通常拿不到理想结果,因为偏好优化是在既有行为分布上做微调,而不是从零建立任务能力。
输入:任务需求 + 资源约束1. 是否只是知识缺失或时效问题?→ 是:优先 RAG / 检索增强,结束。2. 是否只是指令理解或输出格式偏差?→ 是:优化 Prompt + 补充 Few-shot 示例,用评测集验证,结束。3. 是否要求风格/格式在长文本与多轮下高度稳定,或需要用小模型降本?→ 否:回到 1、2 步继续排查数据与流程问题。→ 是:进入微调。4. 选轴一(改哪些参数):- 加速卡资源充足 + 需要能力深度改造 → 全量微调- 资源适中 + 多业务线复用同一基座 → LoRA- 资源紧张 + 需先验证可行性 → QLoRA5. 选轴二(学什么目标):- 需要教会“怎么答”(格式、任务映射) → SFT- 需要教会“哪个更好”(偏好、语气、详略) → SFT 之后再叠加 DPO6. 建立评测闭环:留出集 + 与未微调基座的同题对比 + 通用能力回退检查
# 轴一:只把基座包装成"可训练旁路",其余参数全部冻结def build_lora_model(base_model, r=8, alpha=16, dropout=0.05):for p in base_model.parameters():p.requires_grad = False # 基座冻结for name, module in base_model.named_modules():if is_target_linear(name, module):module.lora_A = LowRank(module.in_dim, r) # 可训练module.lora_B = LowRank(r, module.out_dim) # 可训练module.scale = alpha / rreturn base_model# 轴二之一:SFT,只对回答部分的 token 计算交叉熵def sft_loss(model, batch):logits = model(batch.input_ids)labels = mask_prompt_tokens(batch.input_ids, batch.prompt_len) # 提示部分置为 -100return cross_entropy(logits, labels)# 轴二之二:DPO,用偏好对拉开 chosen / rejected 的对数概率差def dpo_loss(model, ref_model, batch, beta=0.1):lp_chosen = seq_logprob(model, batch.chosen)lp_rejected = seq_logprob(model, batch.rejected)ref_chosen = seq_logprob(ref_model, batch.chosen) # 参考模型通常冻结ref_rejected = seq_logprob(ref_model, batch.rejected)logits = (lp_chosen - lp_rejected) - (ref_chosen - ref_rejected)return -logsigmoid(beta * logits).mean()# 训练产物:只保存旁路参数;推理前可合并回主权重以消除额外分支adapter = train(build_lora_model(base, r=8), data=sft_dataset, objective=sft_loss)merged = merge_adapter(base, adapter) # 可选:合并后推理无额外延迟
数据质量优先于数据数量。 几百条标注一致、覆盖真实的样本,往往优于几万条含噪声的样本。微调会把数据里的偏差一并放大,脏数据不是“效果差一点”,而是“稳定地学错”。
必须评估通用能力回退。 微调后最典型的风险是灾难性遗忘:目标任务指标上涨,通用对话、指令跟随或安全性表现下降。评测集里要保留一批与微调数据分布无关的通用题目,作为回退哨兵。
秩与目标模块是需要调的超参,不是固定答案。 秩决定了旁路的表达容量,秩太小欠拟合,秩太大接近全量微调的成本而收益递减;作用于注意力的投影层还是也覆盖前馈层,会明显影响容量与开销。这些参数应当通过小规模实验确定,而不是照搬他人的配置。
学习率与训练轮次要按数据量匹配。 小数据集配大学习率、多轮次,极易过拟合到模板化输出上。观察验证集损失与生成质量的背离,是判断是否过训的直接信号。
产物要可版本化、可回滚。 保留未微调的基座与历史适配器版本,让每次上线的效果变更都可归因、可撤回。这是把微调接入生产链路的必要条件,而不是可选项。
| 成本项 | 全量微调 | LoRA / QLoRA |
|---|---|---|
| 算力成本 | 高 | 低到中 |
| 存储与分发 | 每个任务一份完整权重 | 适配器轻量,一份基座多任务 |
| 数据标注 | 高(与轴二选择相关) | 同左,与轴一无关 |
| 人力与运维 | 高,需要完整训练栈能力 | 中,门槛显著更低 |
| 迁移/切换成本 | 高,涉及权重分发与回滚方案 | 低,切换适配器即可 |
需要提前识别的使用边界:
如果团队缺少训练与评测的工程能力,另一条务实路径是使用云平台提供的托管化模型开发能力——把训练任务、评测、版本管理与部署托管在平台上,用平台侧的日志、监控告警、身份认证与权限控制来承接运维复杂度。以百度智能云等云平台提供的模型开发与推理服务为例,这类托管方案通常把资源调度、任务编排和监控能力封装在通用类目之下,适合把精力集中在数据与效果上、而不希望自建完整训练栈的团队;具体能力边界与配额仍需以实际平台文档为准。
回答这类问题的正确顺序是三层:先判断是否该微调(能用 Prompt、Few-shot、RAG 解决的不上微调),再选轴一(全量微调、LoRA、QLoRA,决定改哪些参数,本质是显存与工程复杂度换取能力上限的取舍),最后选轴二(SFT 教“怎么答”,DPO 教“哪个更好”,通常先 SFT 再按需叠加 DPO)。
LoRA 与 QLoRA 的差别在资源与精度的权衡,SFT 与 DPO 的差别在监督信号的绝对性与相对性,全量微调与旁路方法的差别在能力上限与运维成本的交换。把这些差异归因清楚,再叠加数据质量、评测闭环、回退监控和版本可回滚这些工程条件,选型才不是背名词,而是可解释的决策。