Transformer架构原理解析

什么是 Transformer

Transformer 是一种完全基于自注意力（self-attention）机制来计算输入与输出表示的神经网络架构。它不依赖循环神经网络（RNN）的序列递归计算，也不依赖卷积神经网络（CNN）的局部卷积核滑动，而是通过注意力机制在序列内部建立全局的依赖关系。这一设计使 Transformer 成为自然语言处理乃至更广泛序列建模任务中的基础架构，也是当前大规模预训练模型的主流骨架。

从技术视角看，Transformer 的核心创新在于“用注意力替代递归与卷积”；从业务视角看，它让模型能够更高效地并行训练、更容易扩展到大规模参数；从使用视角看，它提供了编码器、解码器以及编码器—解码器三类可组合的结构，方便针对不同任务灵活选型。

为什么会出现 Transformer

在 Transformer 之前，序列建模主要依赖两类结构：

• 循环神经网络：按时间步依次处理输入，天然适合变长序列，但存在两个明显问题。其一是难以并行，训练时后面的时间步必须等待前面的计算完成；其二是长距离依赖容易衰减，序列越长，早期信息越难传到末端。
• 卷积神经网络：通过局部感受野和堆叠层扩大覆盖范围，可以并行计算，但要建模长距离关系往往需要很深的网络或较大的卷积核，路径仍然偏长。

Transformer 的设计动机正是解决上述矛盾：既要能够建模任意距离的依赖，又要支持高度并行计算。自注意力机制让序列中任意两个位置直接交互，计算路径长度缩短为常数级，同时所有位置的表示可以同时计算，从而更好地利用并行硬件。

核心组成

Transformer 的整体结构通常由以下几个关键部分组成。

1. 自注意力机制

自注意力是 Transformer 的基本计算单元。给定输入表示序列，它为每个位置计算三个向量：查询（Query）、键（Key）、值（Value）。每个位置的输出是所有位置值的加权和，权重由该位置的查询与各位置键的相似度决定。用伪代码可以表示为：

scores = Q @ K^T / sqrt(d_k)
weights = softmax(scores)
output = weights @ V

其中 d_k 是键向量的维度，用于缩放点积，避免数值过大导致 softmax 梯度消失。通过这种方式，每个位置都能直接“看到”序列中的所有位置。

2. 多头注意力

单一注意力只能捕捉一种关联模式。多头注意力将查询、键、值投影到多个子空间，并行执行多次自注意力，再把结果拼接并线性变换。不同头可以关注不同的语言现象，例如语法依存、指代关系或位置邻近关系，从而提升表示的丰富度。

3. 前馈网络

每个注意力子层之后都会接一个逐位置的前馈网络，通常由两层线性变换和激活函数组成。它对每个位置的表示独立进行非线性变换，增强模型的表达能力。注意力负责混合序列信息，前馈网络负责对每个位置做深度加工，两者交替堆叠。

4. 残差连接与层归一化

每个子层都配有残差连接和层归一化。残差连接缓解深层网络的梯度消失问题，层归一化稳定训练过程。常见排列方式有两种：先归一化再进入子层，或先进入子层再归一化，不同实现会有所差异，但目的都是让深层堆叠更易训练。

5. 位置编码

自注意力本身对位置不敏感，打乱输入顺序不会改变计算结果。为了注入顺序信息，需要在输入表示中加入位置编码。常见做法包括基于正弦和余弦函数的固定编码，以及可学习的位置嵌入。位置编码与词元嵌入相加后送入编码器或解码器。

输入编码：分词与位置编码

Transformer 的输入需要先经过编码处理，通常包括两个环节。

分词：将原始文本切分为子词单元。常见做法是子词级分词，例如基于字节对编码（BPE）的思路，把高频词保留为整体，把低频词拆分为更小的子词。这样既能控制词表规模，又能缓解未登录词问题。分词后，每个子词映射为向量表示。

位置编码：由于自注意力不具备顺序感知能力，需要为每个位置生成位置向量，并与词元向量相加。位置编码可以是固定的函数形式，也可以是可学习的参数矩阵。它让模型在计算注意力时能够区分“第 1 个词”和“第 10 个词”。

编码器与解码器的分工

Transformer 最初是一个编码器—解码器结构，后来衍生出只使用其中一部分的变体。

• 编码器：由多层自注意力和前馈网络组成，每一层都能看到完整输入序列。它擅长把输入编码为上下文相关的表示，适合理解类任务，如文本分类、序列标注、语义匹配。
• 解码器：在自注意力基础上引入掩码机制，使每个位置只能关注它之前的位置，保证生成时不会“偷看”未来词元。它适合生成类任务，如文本续写、对话生成、代码生成。
• 编码器—解码器：编码器处理输入，解码器在生成每一步时通过交叉注意力关注编码器输出，适合序列到序列任务，如机器翻译、摘要生成。

以业界常见实践为例，仅使用编码器模块可以构建理解型模型，仅使用解码器模块可以构建生成型模型，两者组合则适用于输入输出均为序列的转换任务。

工作原理概述

以一次前向计算为例，Transformer 的流程可以概括为：

1. 输入文本经过分词，得到词元序列；
2. 词元映射为嵌入向量，并加上位置编码；
3. 进入多层编码器或解码器，每层依次执行注意力、前馈网络、残差与归一化；
4. 解码器在生成时使用掩码自注意力，并通过交叉注意力读取编码器输出；
5. 最终输出经过线性层和 softmax，得到每个位置的概率分布。

整个过程中，自注意力负责建立全局依赖，前馈网络负责逐位置变换，残差与归一化保证训练稳定，位置编码补充顺序信息。

典型应用场景

Transformer 及其变体已广泛应用于以下场景：

• 自然语言理解：文本分类、情感分析、命名实体识别、问答系统；
• 自然语言生成：文本摘要、对话生成、内容续写、代码补全；
• 序列转换：机器翻译、语音识别后处理、结构化数据到文本；
• 多模态任务：将文本与图像、音频等模态统一为序列进行建模；
• 大规模预训练：作为基础架构，通过增加参数量和预训练数据量提升通用能力。

在这些场景中，Transformer 的优势在于并行效率高、长距离建模能力强、结构统一易扩展。需要注意的是，参数量增大并不自动等于效果提升，还需要配合合理的数据规模、训练策略和正则化手段。

相关概念区别

• 与循环神经网络的区别：RNN 按时间步递归计算，难以并行且长依赖易衰减；Transformer 通过自注意力直接建模任意位置关系，支持并行。
• 与卷积神经网络的区别：CNN 通过局部卷积核堆叠扩大感受野，路径较长；Transformer 每层即可实现全局交互。
• 与注意力机制的区别：注意力本身是一种加权求和的计算方式，Transformer 是围绕自注意力构建的完整架构，包含前馈网络、残差、归一化、位置编码等组件。
• 编码器与解码器的区别：编码器无掩码，可看全序列；解码器有掩码，只能看历史位置，并可叠加交叉注意力。

使用注意事项

在选型和应用 Transformer 时，需要关注以下几点：

• 计算与显存开销：自注意力对序列长度的计算复杂度较高，长序列场景需要评估显存和延迟，必要时采用稀疏注意力、分块计算或降维策略。
• 位置编码选择：不同位置编码方案对长序列外推能力有影响，需结合任务长度分布选择。
• 训练稳定性：深层 Transformer 对初始化、学习率预热、归一化位置较敏感，需配合合适的学习率调度。
• 数据规模匹配：模型越大，对数据量和训练步数的要求越高，小数据场景下应优先考虑较小结构或正则化手段。
• 推理优化：生成任务中可采用键值缓存减少重复计算，但需注意缓存管理与批处理策略。
• 任务适配：理解类任务优先考虑编码器结构，生成类任务优先考虑解码器结构，序列转换任务考虑编码器—解码器结构。

总结

Transformer 是一种以自注意力为核心、完全摒弃循环与卷积的序列建模架构。它通过查询、键、值计算实现全局依赖建模，通过多头注意力捕捉多种关联模式，通过前馈网络、残差连接、层归一化和位置编码保证表达能力和训练稳定性。编码器擅长理解，解码器擅长生成，两者组合适用于序列转换任务。凭借并行效率高、扩展性强、结构统一等特点，Transformer 已成为大规模预训练模型的主流基础架构。理解其定义、组成与适用边界，有助于在实际开发中做出更合理的技术选型与优化决策。