简介:本文系统对比Transformer架构中自注意力、前馈网络、位置编码、归一化与残差连接等核心模块的作用差异,从"解决什么问题、计算逻辑、输入输出、适用场景"等维度展开,并结合Encoder与Decoder、自注意力与交叉注意力等常见架构选择进行对比,帮助读者理清各模块的分工与协作关系,形成清晰的原理认知与实现选型判断。
Transformer 作为当前主流深度学习架构的基础,被广泛用于自然语言处理、语音、视觉乃至多模态任务。很多开发者在入门时容易陷入一个误区:把 Transformer 当成一个”黑盒”,只会调用而不清楚内部每个模块到底在做什么、为什么这样设计。
实际上,Transformer 由若干职责明确的功能模块组合而成,每个模块解决的是不同层面的问题。理解它们之间的差异——谁负责对特征做全局建模、谁负责做非线性变换、谁负责注入位置信息、谁负责稳定训练——是从”会用”走向”会选、会调、会改”的关键。本文因此围绕这些核心模块的作用与差异进行对比分析。
本文对比的核心对象,是 Transformer 中承担不同职责的四大类功能模块:
它们不是相互替代的关系,而是各司其职、协同工作的组成部分。下文的对比,重点在于讲清”每个模块的作用有何不同、为什么需要它、去掉会怎样”。
尽管职责不同,这些模块在设计上共享一些共性:
自注意力是 Transformer 的灵魂,它让序列中的每个位置都能”看到”其他所有位置,从而捕捉长距离依赖。其核心计算是缩放点积注意力:
# 缩放点积注意力的通用示意实现def scaled_dot_product_attention(Q, K, V, mask=None):d_k = Q.shape[-1]scores = (Q @ K.transpose(-1, -2)) / (d_k ** 0.5) # 缩放,避免点积过大if mask is not None:scores = scores + mask # 掩码用于屏蔽不合法位置(如未来信息)weights = softmax(scores, dim=-1) # 归一化为注意力权重return weights @ V, weights
其中 Q(查询)、K(键)、V(值)均由输入经过不同的线性投影得到。多头注意力则在此基础上并行运行多组投影,让模型在不同子空间关注不同类型的关系。
自注意力与交叉注意力的关键差异在于 K 和 V 的来源:
一句话概括:自注意力关心”序列内部”,交叉注意力关心”序列之间”。
如果说注意力负责”跨位置的信息交互”,那么前馈网络负责的则是”每个位置内部的深度加工”。它通常由两层线性变换加一个非线性激活函数构成,先升维再降维。其作用在于:
注意力的输出如果直接堆叠,表达能力受限;前馈网络通过”升维—激活—降维”为每个 token 提供了额外的非线性建模能力,是模型容量的重要来源。
注意力机制本身是”位置无关”的——它对输入做加权求和,天然无法感知词的先后顺序。而顺序恰恰是语言的关键。位置编码的作用就是补上这一短板。不同位置编码方案的对比如下:
选择哪种,取决于任务对”长度外推能力”和”实现复杂度”的要求。
这两个模块本身不产生新的语义,但决定了深层网络能否稳定训练。这里存在一个经典的结构选择对比:
结论上,当堆叠层数较深时,前置归一化通常更容易训练收敛,这也是它的主要优势来源。
从模块组合方式看,Transformer 又衍生出三种典型架构:
| 模块 | 解决的核心问题 | 作用层面 | 是否改变序列长度 | 关键差异点 |
|---|---|---|---|---|
| 自注意力 | 序列内部关系建模 | 跨位置交互 | 否 | Q/K/V 同源 |
| 交叉注意力 | 两个序列间对齐 | 跨序列交互 | 否 | K/V 来自另一路 |
| 前馈网络 | 逐位置非线性变换 | 位置内部加工 | 否 | 升维再降维 |
| 位置编码 | 注入顺序信息 | 输入层 | 否 | 绝对/相对/旋转式 |
| 归一化+残差 | 稳定深层训练 | 训练稳定性 | 否 | Pre-LN/Post-LN |
Transformer 的强大并非来自某个单一模块,而是来自各模块各司其职的协同:注意力负责关系建模,前馈网络负责非线性加工,位置编码负责顺序注入,归一化与残差负责训练稳定。理解它们的差异,本质上是理解”每个模块解决的是不同层面的问题”。在选型时,应先明确任务类型,再据此决定架构组合、位置编码方案与归一化策略,而不是简单堆砌层数。把模块职责与适用边界理清,才能在效果、成本与稳定性之间做出更合理的权衡。