简介：面对大模型微调，初学者常困惑于Adapter等参数高效微调方案与传统全参微调的区别。本文以Adapter Tuning为切入点，系统对比Adapter、PEFT各类方法及全参微调在架构、可训练参数量、推理开销、适用场景和迁移成本上的核心差异，帮助读者根据自身算力、数据和任务需求做出合理选型。
大模型微调是当前将预训练模型适配到下游任务的主流做法。然而，随着模型参数量从数亿扩展到数千亿，传统“全参数微调”的成本急剧上升：不仅需要为每个任务保存一份完整模型副本，还要承担全部参数梯度计算带来的显存和算力压力。对于个人开发者、中小团队或算力受限的场景，这条路往往不可行。
与此同时，研究者提出了一系列“参数高效微调”方法，统称为PEFT。这类方法的共同思路是：冻结预训练模型的主体参数，仅训练极少量新增或选定的参数，从而以极低的额外成本适配下游任务。其中，Adapter Tuning是最具代表性、也最容易被初学者理解的方法之一。
但问题也随之而来：Adapter与PEFT中的其他方法，如前缀微调、低秩适配等，究竟有何区别？它们各自更适合什么场景？如果从传统全参微调切换到参数高效微调，需要注意哪些迁移成本？本文将围绕这些问题展开对比分析。
全参数微调是指在预训练模型基础上，对模型中所有可训练参数进行梯度更新。它将预训练权重作为初始化，在下游任务数据上继续训练，最终为每个任务产出一个完整的新权重文件。其优点是表达能力强、理论上限高；缺点是训练成本和存储成本与模型规模成正比，在多任务场景下资源消耗显著。
Adapter Tuning属于PEFT的一种。它在原始Transformer层中插入小型神经网络模块，称为Adapter。微调时冻结原始模型全部参数，只训练Adapter模块。Adapter通常位于每个Transformer层的前馈网络之后，结构为“降维→非线性激活→升维→残差连接”。通过一个低维瓶颈层来压缩可训练参数量，典型瓶颈维度为64或256。
PEFT是一个方法族，除Adapter外，还包括几类常见思路：
这些方法在“冻结主体、只学少量参数”这一目标上与Adapter一致，但插入位置、参数形式和训练策略存在差异。
Adapter与上述PEFT方法在以下层面具有共同点：
目标一致性：都是为了解决大模型全参微调成本过高的问题，使有限算力也能适配大模型。
冻结主体权重：所有PEFT方法都保持预训练模型主体参数不变，只更新新增或选定的少量参数。这种方式保护了预训练阶段学到的通用知识，降低灾难性遗忘风险。
参数效率：可训练参数量通常远小于总参数的1%。例如，一个10B参数的模型，使用Adapter可能只需训练几十兆参数量级的额外模块。
多任务友好：由于主体权重共享，不同任务只需保存各自的小型适配模块，大大降低了多任务部署的存储开销。
与现有训练框架兼容：这些方法都可以在通用深度学习框架中实现，无需对底层模型架构做根本性改造。
Adapter有明显的物理插入位置——位于Transformer层的前馈网络之后。这种设计使其天然具有模块化特征：可以像积木一样插入或移除，而不影响原始层内部计算。
相较之下，前缀微调的参数存在于注意力机制的键和值向量前部，属于“虚拟token”范畴，不改变层内结构。低秩适配则将增量参数以旁路矩阵形式叠加在原始权重上，推理时可以通过权重合并消除额外计算。提示微调最为轻量，仅修改输入表示层。
从架构侵入性来看，Adapter引入了一个额外的串行前向路径，而低秩适配在合并后前向路径与原始模型基本一致。这一差异直接影响了推理行为。
Adapter的推理开销主要来自其串行结构。即使瓶颈维度较小，每个Adapter模块仍需要在前向过程中执行两次矩阵乘法和一次激活函数。对于层数较深的大模型，这些额外计算会累积，导致推理延迟增加。尤其在需要极致低延迟的在线服务场景中，这一代价需要被认真评估。
低秩适配方法在推理阶段有一个显著优势：训练完成后，可以将低秩矩阵合并回原始权重。合并后前向计算路径与原始模型完全一致，推理速度零损失。但代价是，合并后无法轻松切换不同任务——切换任务需要重新加载不同的合并权重。
前缀微调和提示微调的推理开销通常介于两者之间：额外的前缀向量或提示向量引入的计算量很小，但无法像低秩适配那样完全消除。
不同方法的可训练参数量存在数量级差异。Adapter的参数量取决于瓶颈维度和层数。以768维隐藏层、64维瓶颈、12层Transformer为例，每个Adapter约含2×768×64=98304个参数，12层总计约118万参数。对于数亿参数的模型，这一比例确实很低，但并非所有PEFT方法中最少的。
提示微调通常只训练数十到数百个向量，参数量级更低。但更少的参数量也意味着更有限的任务适配能力，在复杂任务上可能不如Adapter表达充分。这里存在一个“参数效率—任务容量”的权衡。
Adapter由于引入了非线性变换和残差连接，训练过程通常比较稳定。残差连接保证了即使Adapter初始化不理想，原始信号仍能通过跳连接传递，不会破坏前向信息流。这种设计降低了训练初期的不稳定性。
低秩适配方法通常使用较小的学习率，配合特定的初始化策略。其稳定性依赖于低秩假设是否成立：如果下游任务需要较大的权重扰动，低秩约束可能限制其表达能力。但在实践中，多数适配任务对权重增量的秩需求并不高，低秩适配往往能以极少的参数取得接近于全参微调的效果。
Adapter的模块化设计使其在多任务场景中特别灵活。每个任务训练独立的Adapter模块，共享同一套主干权重。推理时，只需激活对应任务的Adapter模块，无需重新加载主干模型。对于需要在多个任务间频繁切换的系统，这种架构非常友好。
低秩适配虽然也可以为每个任务保存独立的低秩矩阵，但推理时要么选择不合并（引入额外计算），要么为每个任务维护一份合并后的完整权重。在任务数量较多时，后者会带来显著的存储负担。这一差异在多任务部署的架构选型中尤为关键。
| 对比维度 | 全参数微调 | Adapter Tuning | 低秩适配 | 前缀微调 | 提示微调 |
|---|---|---|---|---|---|
| 可训练参数量 | 100% | <1% | <0.5% | <0.1% | 极小 |
| 推理速度损失 | 无 | 有（串行额外计算） | 可消除（权重合并） | 轻微 | 轻微 |
| 多任务切换 | 需重新加载完整模型 | 切换Adapter模块即可 | 需处理合并权重或在线切换 | 切换前缀向量 | 切换提示向量 |
| 训练稳定性 | 依赖学习率调优 | 较稳定（残差连接） | 较稳定（低秩约束） | 一般 | 一般 |
| 存储成本（多任务） | 每任务一份完整权重 | 每任务一份小型模块 | 每任务一份低秩矩阵 | 每任务一份向量 | 每任务一份向量 |
| 实现复杂度 | 低 | 中（需修改模型结构） | 中（需处理权重合并） | 低 | 低 |
| 典型适用场景 | 数据充足、算力充裕 | 多任务共享主干 | 追求推理零损失 | 生成类任务 | 轻量适配 |
如果团队拥有充足的GPU资源和足够的标注数据，且只需要适配一个特定任务，全参数微调仍然是一个合理的选项。其表达上限更高，且在推理阶段没有额外结构带来的计算开销。此场景下全参数微调的高训练成本被单任务的集中投入所摊薄。
当同一个预训练模型需要同时服务多个下游任务时，Adapter的模块化优势就体现出来。所有任务共享主干权重，训练和部署时只需管理各自的小型Adapter模块。新增任务时不需重新训练主干，旧任务也不会因新任务的加入而受影响。这是Adapter最理想的适用场景。
如果服务对推理延迟有严格要求，且训练算力有限，低秩适配是值得优先评估的方案。训练时只需更新低秩矩阵，参数量极少；推理前将低秩矩阵合并回原权重，前向路径与预训练模型完全一致，不产生额外延迟。对于需要大量线上推理请求的生产系统，这一特性可以显著控制算力成本。
在探索阶段需要快速验证多个任务或多种数据策略时，提示微调或前缀微调因其极低的训练成本而具有吸引力。它们不要求修改模型内部结构，实现简洁，训练速度快，适合以较低代价完成初步可行性判断。
不存在绝对的“最优方法”，选型取决于多个条件的综合权衡：
如果多任务管理和部署灵活性是核心诉求，Adapter往往更合适。它的模块化特性使任务隔离更清晰，切换更便捷，不需要为每个任务保存完整权重。
如果推理性能是首要约束，低秩适配值得优先考虑。其权重合并机制使推理路径与原始模型一致，在GPU资源有限的线上环境中优势明显。
如果团队在模型结构修改方面经验不足，前缀微调或提示微调的实现门槛更低，只需修改输入表示，不需要深入模型内部。
如果训练数据较为稀缺，所有PEFT方法都优于全参数微调，因为冻结主体权重降低了过拟合风险。此时需结合任务复杂度判断：任务越复杂，可能需要参数量稍多的Adapter或低秩适配来获得足够的适配能力。
从全参数微调迁移到Adapter或其他PEFT方法时，有几个关键点需要关注：
模型结构侵入性：Adapter和低秩适配需要修改模型前向逻辑。迁移前应评估所使用的预训练模型是否便于此类修改，是否提供相应的扩展接口。不同框架和模型实现的侵入性差异较大。
超参数敏感度：PEFT方法的训练超参数与全参微调不同。学习率、优化器选择、训练轮数都需要重新调优。全参微调中使用的学习率对PEFT方法通常过高。
初始化策略：Adapter的初始化通常采用接近恒等映射的方式，使训练初期Adapter输出接近于零，让模型从原始行为开始逐步适配。这有助于训练稳定性，但在迁移时容易被忽略。
推理部署方式：如果选择低秩适配的权重合并方案，需要设计任务切换机制。合并后的权重替换了原始文件，切换任务意味着重新加载不同版本的权重。这对服务的滚动更新和版本管理提出了新的要求。
多任务存储管理：虽然PEFT大幅降低了每任务的存储需求，但当任务数量增长到数十甚至上百时，仍需要一套清晰的元数据管理策略来追踪每个适配模块对应的任务、数据版本和训练配置，避免线上模块与离线训练结果不一致。
监控与回滚：PEFT方法的训练过程通常较快，但也容易因此忽视训练监控。应关注适配模块的梯度范数、验证集指标变化趋势，并保留每个任务适配模块的版本快照，以便在适配效果下降时快速回滚。
Adapter Tuning是理解参数高效微调的一个理想切入点：它用直观的结构设计——在Transformer层中插入可训练的小型模块——解决了大模型全参微调的核心痛点。但PEFT是一个方法族，不同方案在架构侵入性、推理开销、多任务灵活性和实现复杂度上各有取舍。
选择的关键不在于寻找“最好”的方法，而在于明确自己的约束条件：是多任务还是单任务？推理延迟敏感还是可容忍少量额外开销？团队是否能承受模型结构修改带来的实现复杂度？回答这些问题后，再对应到Adapter、低秩适配、前缀微调或提示微调的各自优势上，才能做出务实的选择。
对于初学者，建议从Adapter或低秩适配入手：前者的模块化设计便于理解PEFT的核心思想，后者的推理友好性使它在实际部署中更接近生产需求。无论选择哪条路径，理解“冻结主体、仅训练极少量参数”这一根本原则，是迈入大模型高效微调领域的第一步。