简介:Transformer架构凭借自注意力机制成为大模型的技术基石。本文从注意力计算、编码器—解码器结构、位置编码、多头注意力等核心模块入手,系统拆解其输入输出、数据流转与训练推理流程,解释模型规模扩大后能力涌现的技术逻辑,并分析其在效率、资源消耗与多模态扩展上的优势与边界。
在Transformer出现之前,序列建模主要依赖循环结构。这类结构按时间步逐个处理token,每一步都依赖上一步的隐状态,导致两个问题:一是无法并行计算,训练速度受序列长度线性甚至平方级制约;二是长距离依赖难以捕捉,早期token的信息在传递过程中被逐层稀释。
Transformer的核心思想是:完全抛弃递归,用“注意力机制”(Attention)直接建模序列中任意两个位置之间的关系。它把一句话中的每个词都与所有词进行交互,让每个位置都能“看到”整个上下文,并根据相关性加权聚合信息。由于这一计算不依赖时间顺序,所有位置可以并行处理,训练效率大幅提升,这正是模型规模能够不断扩大的前提。
本文要解释的原理是:自注意力如何让序列建模变得并行且全局,多头注意力如何增强表达能力,位置编码如何弥补“无序”带来的缺陷,以及层叠结构如何通过残差与归一化支撑起数千亿参数的稳定训练。
1. Token与嵌入(Embedding)。 文本首先被切分为token,每个token映射为一个高维向量(常见维度从数百到上万不等)。嵌入向量是模型处理语言的最小语义单元,语义相近的token在向量空间中距离也更近。
2. 查询、键、值(Q/K/V)。 注意力机制的核心抽象:每个token生成三个向量——Query(我在找什么)、Key(我能提供什么)、Value(我的实际内容)。通过Q与K的点积计算相关性,再用softmax归一化为权重,最后对Value加权求和。这一步就是“根据相关性从上下文中提取信息”。
3. 因果掩码(Causal Mask)。 生成式模型只能基于已出现的token预测下一个token,因此在注意力计算时,需要用一个上三角掩码屏蔽未来位置,确保每个位置只能“看到”自己之前的内容。这是训练与自回归推理一致性的关键。
一个典型的Decoder-only大模型(当前主流形态)由以下模块堆叠而成:
| 模块 | 作用 |
|---|---|
| 词嵌入层 | 将token id映射为稠密向量 |
| 多头自注意力层 | 全局建模token间依赖 |
| 前馈网络层(FFN) | 对每个位置独立做非线性变换,增强表达能力 |
| 残差连接 + 层归一化 | 稳定深层训练,缓解梯度消失 |
| 位置编码(RoPE等) | 注入相对位置信息 |
| 输出头(LM Head) | 将隐状态映射回词表,输出下一个token的概率分布 |
参数规模上,注意力层与前馈层是两大来源。模型“变大”本质上是层数加深、维度加宽、前馈层中间维度增大,以及词表和上下文长度扩展。
第一步:分词与嵌入。 输入文本被切分为token序列,每个token查表得到嵌入向量,叠加位置编码后送入第一层。
第二步:多头自注意力计算。 输入向量线性投影为Q、K、V,划分为多个头并行计算注意力,再将各头结果拼接并投影输出。数学表达为:
Attention(Q, K, V) = softmax(QK^T / √d_k) · V
其中除以√d_k是为了防止点积数值过大导致softmax梯度饱和。多头机制让不同头可以分别关注语法、指代、语义等不同类型的关系。
第三步:前馈网络变换。 注意力输出经残差连接与层归一化后,进入两层全连接构成的FFN(通常中间维度是输入维度的4倍),再经一次残差与归一化,得到该层的输出。
第四步:层叠与输出。 上述过程在几十甚至上百层中重复。最终隐状态经输出头投影到词表维度,通过softmax得到下一个token的概率分布,采样策略(如温度采样)决定实际输出。
推理阶段的自回归特性: 生成第n+1个token必须等待前n个token全部生成完毕,这是大模型推理天然串行的根源,也是推理优化(KV缓存、批处理、投机采样等)的主要针对点。
1. 为什么注意力能并行。 循环结构的依赖链是串行的;注意力中任意两个位置直接交互,矩阵运算一次完成整个序列,可以充分利用现代加速硬件的并行能力。这是“大模型时代”在工程上成立的基础。
2. 为什么模型变大后能力会增强。 参数增加意味着模型可以拟合更复杂的语言与世界知识的统计规律;训练数据量同步扩大后,模型在少样本甚至零样本场景下表现出泛化能力(常称“涌现”现象)。同时,scaling law研究表明,在合理配比下,损失随算力、数据、参数的增长呈可预测的幂律下降,这驱动了持续扩大规模的路线。
3. KV缓存机制。 推理时每一步只需计算新token的Q,历史token的K、V可以缓存复用,避免重复计算,将每步开销从与序列长度平方相关降为线性相关,是推理服务的标准优化手段。
4. 稳定训练的工程机制。 残差连接提供梯度高速公路;层归一化控制数值范围;混合精度训练与梯度裁剪降低显存压力并防止梯度爆炸;这些都是数千层结构能够收敛的必要条件。
优势:
边界与代价:
误区一:Transformer“理解”语言。 准确说,它学习的是海量文本中token共现的统计规律,能够表现出推理的外观,但其内部表征与人类理解并不等同。
误区二:参数量越大越好。 规模增长收益存在边际递减,且受数据质量、配比、训练效率制约;脱离数据和算力谈参数没有意义。
误区三:注意力权重可直接解释。 注意力权重反映的是相关性分布,并不等价于模型的决策因果,可解释性仍需专门方法验证。
误区四:一次推理就是一次前向传播。 训练是一次完整前向加反向;推理则是逐token串行生成,两者的计算特征和资源瓶颈完全不同。
回顾大模型的发展,Transformer架构的成功可以归结为三个原理层面的突破:用自注意力替代递归实现了并行与全局建模的统一;用可堆叠的残差标准化结构支撑了超深网络的稳定训练;用统一的token化接口打通了文本与多模态数据的处理范式。这三个机制共同构成了“模型规模可以持续扩大且收益可预测”的技术基础。理解这些底层原理,是理解扩散模型、多模态学习乃至当前深度学习研究范式演进的前提——它们共享着同一个逻辑:在统一架构下,用更大的规模、更宽的数据,换取更强的泛化能力。