什么是 Transformer?从自注意力到实现的入门教程

作者:rousong2026.11.18 11:24浏览量:0

简介:本教程带你从零理解 Transformer 的核心机制:为什么它用自注意力取代循环与卷积、输入编码如何完成、编码器与解码器结构的差异,以及从分词、位置编码到多头注意力、训练与推理的完整落地步骤。读完你将能独立实现一个可运行的最小 Transformer,并具备调参、验证与排障能力。

一、教程目标:读完之后你能做成什么

Transformer 是一种完全依赖自注意力(self-attention)来计算输入与输出表示的序列建模架构,它不依赖循环神经网络的逐步递推,也不依赖卷积网络的局部窗口。本文不是概念罗列,而是一份”从原理到可运行实现”的教程。读完并完成全部步骤后,你应该能够:

  1. 用自己的话解释自注意力在做什么、为什么要除以 √d_k、为什么要多头;
  2. 说清输入编码这条链路:文本 → 分词(如 BPE)→ 词嵌入 → 位置编码 → 进入编码器/解码器;
  3. 独立写出一个最小可运行版本(单头 → 多头 → 堆叠多层 → 接任务头);
  4. 判断自己的实现是否正确(通过三组关键验证测试);
  5. 在训练不收敛、显存溢出、长文本效果衰减等常见问题上,有明确的排查路径。

二、适用读者与适用场景

适用读者

  • 已掌握 Python 基础、了解张量/矩阵运算与反向传播的开发者;
  • 需要把大模型能力接入业务、但想先搞清底层结构的技术负责人;
  • 需要评估算力成本、部署方案与稳定性风险的运维与架构人员。

典型适用场景

  • 文本分类、情感分析、信息抽取等判别式任务(偏编码器结构);
  • 文本生成、对话、代码补全等自回归任务(偏解码器结构);
  • 机器翻译、摘要、语音/文本转换等序列到序列任务(编码-解码结构);
  • 长文档检索、语义相似度、向量化召回等表示学习任务。

三、前置准备

知识准备

  • 线性代数:矩阵乘法、转置、softmax、张量维度变换(这是看懂注意力的唯一硬门槛);
  • 深度学习基础:嵌入层、损失函数、优化器、批归一化/层归一化的区别;
  • 分词常识:词表、子词、特殊符号、OOV(未登录词)问题。

环境准备(通用要求,不绑定具体工具)

  • 任意主流深度学习框架及其自动微分能力;
  • 支持 GPU 的运行时环境(CPU 可跑通逻辑,但训练效率差异明显);
  • 一个数值计算库用于做中间张量验证。

数据准备

  • 训练/验证/测试三份不重叠语料;
  • 语料需先做清洗:统一编码、去重、去除乱码与噪声标签;
  • 记录数据统计量(平均长度、长度分位数),它直接决定你的最大序列长度配置。

算力预期

最小可跑通的实验(几层、几百维、小规模语料)在单卡上即可完成;如果你的目标是完整参数规模的预训练,则需要多卡并行与分片策略,这部分在”优化建议”中展开。

四、原理速览:为什么放弃循环与卷积

在动手前先建立直觉,否则后面每一步都会变成”抄配置”。

序列建模的三条路线

路线 计算路径长度 并行性 长依赖能力 复杂度(序列长 n、维度 d)
循环结构 O(n),必须逐步递推 差,时间步串行 依赖易衰减 O(n·d²)
卷积结构 O(log n) 或 O(n/k) 好 受卷积核尺寸限制 O(k·n·d²)
自注意力 O(1),任意两位置直连 好,全序列一次算完 理论上是全局的 O(n²·d)

一句话总结这个取舍:自注意力用”序列长度的平方”换取了”任意两个位置一步可达”和”完全并行”。这也是为什么短序列任务上它极快,而超长序列上注意力会成为瓶颈。

自注意力到底在算什么

每个 token 生成三个向量:查询 Q(我要找什么)、键 K(我能提供什么标识)、值 V(我实际携带的内容)。注意力的本质是”用 Q 和所有 K 做相似度打分,归一化后作为权重去加权求和所有 V”。

  1. Attention(Q, K, V) = softmax( Q · Kᵀ / sqrt(d_k) ) · V

为什么必须除以 √d_k:当维度 d_k 较大时,Q·Kᵀ 的点积方差会随维度增长,数值变大后 softmax 进入饱和区、梯度接近 0。除以 √d_k 是把方差拉回可控范围,属于数值稳定性设计,不是可选项。

为什么要多头:单头只能表达一种”关注模式”。多头把表示空间切成 h 份分别做注意力,让不同头去关注语法搭配、指代关系、位置邻近等不同模式,最后拼接并做一次输出投影融合。实践中的常见约定是 d_model = h × d_k,使每个头的维度适中。

残差连接 + 层归一化 + 前馈网络

  • 残差连接(x + Sublayer(x)):给梯度一条高速公路,深层堆叠才能训练;
  • 层归一化:对单个样本的特征维归一化,不依赖批大小,天然适配变长序列;
  • 前馈网络:两层线性变换中间夹非线性,通常是”升维再降维”,是模型中参数量占比很大的一块,承担逐位置的特征变换。

五、实施步骤

步骤 1:先定任务类型,它决定后面所有结构

不同任务对应不同结构,这一步定错,后面全是返工:

  • 场景一(判别式/理解类,如分类、抽取):只用编码器堆叠。特点是双向可见(每个位置能看到左右全部上下文)。
  • 场景二(生成式/自回归,如对话、续写):只用解码器堆叠。特点是因果掩码,位置 i 只能看到 ≤ i 的内容。
  • 场景三(转换类,如翻译、摘要):编码器 + 解码器。解码器的自注意力用因果掩码,交叉注意力则让解码端查询编码端输出。

注意:原文提到的实践趋势是——增大模型规模与预训练数据量,通常是获得更好性能的一般策略;而结构上的差异,主要就是”用编码器模块”还是”用解码器模块”。本文实现以解码器为主线,编码器部分只标注差异点。

步骤 2:准备语料并训练分词器

做什么:用 BPE(Byte-Pair Encoding)类算法在语料上训练分词器,得到词表与合并规则。

BPE 的工作机制:从最小符号单元(字符或字节)序列出发,统计相邻符号对的共现频次,把当前最高频的相邻对合并成一个新符号,把该合并规则写入词表,然后重复这个过程,直到词表达到目标大小。

为什么用 BPE 而不是整词表:整词表方案对未登录词无能为力;BPE 通过”子词”折中——常见词整体保留,罕见词拆成片段,因此对没见过的新词也能切分,天然缓解 OOV。

关键配置项与取值逻辑

  • 词表大小:偏大则嵌入矩阵和输出 softmax 的开销上升;偏小则序列变长、计算量上升且语义粒度变粗。常见做法是从中等规模起步,再结合语料的字符/词分布调整。
  • 特殊符号:至少准备填充符、未知符、句起始/结束符。填充符用于对齐批内不等长序列,未知符兜底未覆盖片段。
  • 最小频次阈值:过滤低频合并对,可防止词表被噪声片段占满。

注意:分词器一旦训练完成就必须与模型一同固定并版本化。训练与推理使用不同分词器,是线上效果异常最常见的原因之一。

步骤 3:搭建输入编码层(Token Embedding + 位置编码)

做什么:把 token id 映射为稠密向量,再叠加位置信息。

自注意力本身是排列不变的——打乱输入顺序,注意力的加权求和结果集合不变(仅顺序随之变化)。因此必须显式注入位置信息,否则模型无法区分”我打你”和”你打我”。

两种主流做法:

  • 正弦位置编码:用不同频率的正弦/余弦函数在每一维生成位置向量,加到词嵌入上。优点是无需训练、外推性相对友好。
  • 可学习位置编码:位置向量作为可训练参数。实现简单、拟合能力强,但超出训练时最大长度就没有对应向量。
  1. # 通用伪代码:正弦位置编码
  2. PE[pos, 2i] = sin( pos / base^(2i / d_model) )
  3. PE[pos, 2i+1] = cos( pos / base^(2i / d_model) )
  4. input = token_embedding(ids) + PE[0:seq_len]

注意两点:一是嵌入层通常要乘一个缩放系数(约 √d_model),使嵌入与位置编码处于相近数值量级;二是如果做权重共享(输入嵌入与输出投影共用矩阵),必须确认两者维度一致。

步骤 4:实现单头缩放点积注意力

做什么:写出 Q/K/V 投影、打分、掩码、归一化、加权求和。

  1. def attention(Q, K, V, mask=None):
  2. scores = matmul(Q, transpose(K)) / sqrt(dim(Q)[-1])
  3. if mask is not None:
  4. scores = where(mask, scores, -inf) # 屏蔽位置不参与竞争
  5. weights = softmax(scores, axis=-1)
  6. return matmul(weights, V), weights

两类掩码必须分清:

  • 填充掩码(padding mask):形状通常为 [batch, 1, 1, seq_len],把 pad 位置置为 -inf,避免空白符分走注意力权重;
  • 因果掩码(causal mask):下三角矩阵,把未来位置置为 -inf,保证自回归训练中”不偷看答案”。

注意:把掩码值写成一个足够大的负数而不是真正的 -inf,可以避免整行全被屏蔽时 softmax 出现 NaN。

步骤 5:扩展为多头注意力

做什么:把 d_model 维切成 h 份并行计算,再拼回来做一次输出投影。

  1. def multi_head_attention(x, h, d_model):
  2. Q = linear(x, d_model); K = linear(x, d_model); V = linear(x, d_model)
  3. # reshape: [batch, seq, d_model] -> [batch, h, seq, d_model/h]
  4. Qh, Kh, Vh = split_heads(Q, K, V, h)
  5. heads = [attention(Qh[i], Kh[i], Vh[i], mask) for i in range(h)]
  6. return linear(concat(heads, axis=-1), d_model)

注意:d_model 必须能被头数 h 整除;split/merge 环节的维度变换是新手 bug 高发区,务必在每一步打印形状核对。

步骤 6:组装 Transformer 块

做什么:把”注意力子层 + 前馈子层”按”残差 + 归一化”包起来。

两种归一化位置:

  • Post-LN(原始结构):LayerNorm(x + Sublayer(x))。表达上更接近原始设计,但深层时训练稳定性较差,通常需要学习率预热。
  • Pre-LN(现代常见实践):x + Sublayer(LayerNorm(x))。梯度路径更干净,深层堆叠更易收敛,工程上更常用。

建议:如果你的目标是快速跑通并稳定训练,从 Pre-LN 开始;如果要对齐原始论文结构做复现实验,再用 Post-LN。前馈层的中间维度通常取 d_model 的数倍(常见是 4 倍),这是容量与算力的权衡点。

步骤 7:堆叠层数与规模配置

做什么:按任务复杂度确定层数、隐藏维度、头数、最大序列长度。

一个最小可运行配置示例(非最优,仅用于跑通链路):

  1. n_layers = 4
  2. d_model = 256
  3. n_heads = 8 # 256 能被 8 整除
  4. d_ff = 1024 # 4 × d_model
  5. max_seq_len= 512
  6. dropout = 0.1

原则:先小规模跑通全流程,确认 loss 能下降、验证集指标合理,再逐步放大规模。不要在链路尚未验证正确时就上大规模训练,那是最浪费算力的做法。

步骤 8:接任务头

  • 分类/回归:取序列特定位置(如首 token)或池化后的表示,接一层线性映射到类别数;
  • 语言模型(自回归):每个位置输出词表大小的 logits,预测”下一个 token”;
  • 序列到序列:解码器输出经线性层映射到目标端词表大小,并做 softmax 得到概率分布。

关键细节(标签对齐):自回归训练中,输入是 [t0, t1, ..., t_{n-1}],标签是 [t1, t2, ..., t_n],即”右移一位”。这个错位是模型能学到”预测下一个”的全部机制来源,错位错了模型只会学到恒等映射。

步骤 9:损失函数与训练循环

做什么:计算掩码感知的损失,反向传播,按策略更新参数。

  1. for batch in loader:
  2. logits = model(input_ids) # [B, L, vocab]
  3. loss = cross_entropy(
  4. logits[:, :-1], # 预测位置
  5. labels[:, 1:], # 右移一位的目标
  6. ignore_index=PAD_ID # 填充位不计入损失
  7. )
  8. loss.backward()
  9. clip_grad_norm(parameters, max_norm=1.0) # 梯度裁剪,防梯度爆炸
  10. optimizer.step(); optimizer.zero_grad()

注意:ignore_index 这一步极其重要。若不做,填充符会稀释损失、扭曲指标,表现为”loss 降不下去但输出看起来还行”。

步骤 10:推理与解码

做什么:训练完成后,用合适的解码策略生成结果。

  • 贪心解码:每步取概率最高的 token。快,但容易陷入重复与局部最优。
  • 束搜索:每步保留 k 条最优候选路径。质量更稳,成本随 k 线性上升。
  • 采样类策略:通过温度调节分布平滑度、通过 top-k 或累积概率阈值截断候选集,提升生成多样性。
  • KV 缓存:自回归推理中,历史 token 的 K/V 不再变化,缓存后每步只算新 token,避免重复计算整个前缀。这是长文本生成能否可用的关键工程手段。

注意:采样参数(温度、截断阈值、重复惩罚)应作为配置外置管理,并在验证集上做小范围网格搜索确定,而不是凭感觉写死。

六、配置项速查与风险提示

配置项 含义 常见取值逻辑 配置风险
d_model 隐藏维度 需被头数整除;先取小值跑通 过大导致显存不足;过小导致欠拟合
n_heads 注意力头数 保证 d_model / n_heads 为适中整数 头数过多使单头维度过小,表达力反而下降
max_seq_len 最大序列长度 参考语料长度分位数,而非最大值 过短截断关键信息;过长使注意力显存开销平方增长
vocab_size 词表大小 综合序列长度与嵌入/softmax 开销 与分词器版本不一致会导致 id 错位
dropout 正则化强度 小数据加大,大数据减小 过大导致欠拟合,过小导致过拟合
learning_rate 学习率 配合预热与衰减策略 过大引发 loss NaN;过小导致收敛极慢
batch_size 批大小 受显存约束,可用梯度累积等效放大 过小使层归一化统计不稳、训练噪声大

七、结果验证:三组测试判断实现是否正确

不要只看 loss 曲线,先做这三组结构性验证:

测试一:形状与掩码正确性

  1. 构造一条短句和一条长句,把短句填充到相同长度;
  2. 分别前向,取非填充位置的输出;
  3. 预期结果:两者在非填充位置完全一致(在数值误差范围内)。不一致说明填充掩码没生效。

测试二:因果性验证(仅解码器)

  1. 前向一次,记录位置 i 的输出;
  2. 只修改 i 之后的 token,再次前向;
  3. 预期结果:位置 i 的输出不变。若发生变化,说明因果掩码写错或漏加。

测试三:小批量过拟合测试

  1. 取 1~2 个极小批次,关闭 dropout;
  2. 连续训练数百步;
  3. 预期结果:训练 loss 应能降到接近 0。如果降不下去,问题一定在链路实现(标签错位、掩码、损失对齐),而不是超参数或数据量。

训练与线上层面的验证

  • 训练侧:训练 loss 与验证 loss 同步下降为健康;两者持续背离为过拟合信号;
  • 服务侧:构造固定测试集做回归对比,确认版本升级后指标不回退;同时校验输入输出长度约束、特殊字符处理、空输入与超长输入等边界情况。

八、常见问题与排查

现象 可能原因 排查思路
loss 出现 NaN 学习率过大、缺预热、掩码用了真正的 -inf、混合精度溢出 调小学习率、加学习率预热、改用足够大的负数、检查数值范围
显存溢出 批大小或序列长度过大、未做任何显存优化 降 batch 并用梯度累积补偿;缩短序列;启用梯度检查点以计算换显存
训练速度远慢于预期 数据加载成为瓶颈、注意力平方开销、未做算子融合 先压测数据管线吞吐;再判断是否受序列长度制约;启用混合精度与编译优化
输出重复、退化 解码策略单一、缺重复惩罚、训练数据本身重复度高 换束搜索或加采样、加重复惩罚、检查语料去重
长文本效果明显下降 位置编码外推能力不足、训练时未见过长序列 换用相对位置或旋转式位置编码方案;按目标长度做继续训练
填充符影响指标 损失未忽略 pad,或注意力未被 mask 检查 ignore_index 与两类掩码
词表相关异常(输出乱码/id 错位) 训练与推理分词器不一致 固定并版本化分词器,加入 id 往返一致性校验
深层堆叠不收敛 使用 Post-LN 且未做预热 切换到 Pre-LN,或加强预热与残差初始化

九、优化建议

性能与显存

  • 启用混合精度训练,兼顾吞吐与数值稳定;
  • 使用梯度检查点(用重算换显存),适合层数多、显存紧的场景;
  • 注意力计算上采用分块化实现,减少中间大矩阵的显存峰值;
  • 推理侧务必开启 KV 缓存,并按批聚合请求以提高硬件利用率。

成本

  • 按负载弹性伸缩算力,避免长期闲置;
  • 对精度要求不极端的场景,评估量化推理(如更低数值精度)带来的成本下降;
  • 先用小模型验证业务假设,再决定是否放大规模,避免过早投入大规模预训练。

稳定性与安全

  • 建立定期保存的检查点机制,支持断点续训;
  • 对输入做长度与内容校验,对外部依赖做版本锁定与安全扫描;
  • 模型服务的访问凭证通过密钥管理类能力托管,不写入代码或镜像;
  • 配置日志服务与监控告警,覆盖吞吐、延迟、错误率与显存/算力利用率等关键指标。

可维护性

  • 把模型结构、超参数、解码策略全部外置为配置文件,禁止散落在代码里;
  • 记录每次实验的代码版本、数据版本与配置快照,保证结果可复现;
  • 模型与分词器作为一个整体版本化发布,避免二者版本漂移。

规模化部署

生产环境通常需要额外补齐:负载均衡分流、容器平台承载推理服务、对象存储存放模型与检查点、内容分发加速静态资源、身份认证控制访问权限。若部署在百度智能云等主流云服务平台上,可以按这些通用能力类目按需组合,并结合平台自身的资源规格与计费方式评估成本。

十、总结与后续方向

本文以 Transformer 的自注意力机制为核心,串起了一条完整链路:为什么用自注意力 → 输入编码(分词与位置注入)→ 单头与多头注意力 → 残差与归一化 → 堆叠与任务头 → 训练与解码 → 验证与排障。

需要记住的几个关键点:

  1. 自注意力的本质是”用 Q/K 打分、以权重聚合 V”,除以 √d_k 与两类掩码是正确性的前提,不是调优项;
  2. 位置编码不可省略,因为注意力本身对顺序不敏感;
  3. 编码器结构适合理解类任务,解码器结构适合生成类任务,这是选型的第一分水岭;
  4. 实现是否正确的判断标准是那三组测试(填充不变性、因果性、小批量过拟合),而不是 loss 曲线好看;
  5. 增大模型规模与预训练数据量通常是提升效果的一般策略,但必须在链路验证正确之后进行。

后续可以继续深入的方向包括:更高效的注意力变体与长序列外推方案、参数高效微调方法、模型蒸馏与量化压缩、分布式训练中的并行与分片策略,以及推理服务的吞吐优化。建议的练习是:先实现单头版本并通过三组验证,再逐步加多头、多层、KV 缓存,每一步都保留可复现的实验记录。