简介:本教程带你从零理解 Transformer 的核心机制:为什么它用自注意力取代循环与卷积、输入编码如何完成、编码器与解码器结构的差异,以及从分词、位置编码到多头注意力、训练与推理的完整落地步骤。读完你将能独立实现一个可运行的最小 Transformer,并具备调参、验证与排障能力。
Transformer 是一种完全依赖自注意力(self-attention)来计算输入与输出表示的序列建模架构,它不依赖循环神经网络的逐步递推,也不依赖卷积网络的局部窗口。本文不是概念罗列,而是一份”从原理到可运行实现”的教程。读完并完成全部步骤后,你应该能够:
适用读者
典型适用场景
知识准备
环境准备(通用要求,不绑定具体工具)
数据准备
算力预期
最小可跑通的实验(几层、几百维、小规模语料)在单卡上即可完成;如果你的目标是完整参数规模的预训练,则需要多卡并行与分片策略,这部分在”优化建议”中展开。
在动手前先建立直觉,否则后面每一步都会变成”抄配置”。
序列建模的三条路线
| 路线 | 计算路径长度 | 并行性 | 长依赖能力 | 复杂度(序列长 n、维度 d) |
|---|---|---|---|---|
| 循环结构 | O(n),必须逐步递推 | 差,时间步串行 | 依赖易衰减 | O(n·d²) |
| 卷积结构 | O(log n) 或 O(n/k) | 好 | 受卷积核尺寸限制 | O(k·n·d²) |
| 自注意力 | O(1),任意两位置直连 | 好,全序列一次算完 | 理论上是全局的 | O(n²·d) |
一句话总结这个取舍:自注意力用”序列长度的平方”换取了”任意两个位置一步可达”和”完全并行”。这也是为什么短序列任务上它极快,而超长序列上注意力会成为瓶颈。
自注意力到底在算什么
每个 token 生成三个向量:查询 Q(我要找什么)、键 K(我能提供什么标识)、值 V(我实际携带的内容)。注意力的本质是”用 Q 和所有 K 做相似度打分,归一化后作为权重去加权求和所有 V”。
Attention(Q, K, V) = softmax( Q · Kᵀ / sqrt(d_k) ) · V
为什么必须除以 √d_k:当维度 d_k 较大时,Q·Kᵀ 的点积方差会随维度增长,数值变大后 softmax 进入饱和区、梯度接近 0。除以 √d_k 是把方差拉回可控范围,属于数值稳定性设计,不是可选项。
为什么要多头:单头只能表达一种”关注模式”。多头把表示空间切成 h 份分别做注意力,让不同头去关注语法搭配、指代关系、位置邻近等不同模式,最后拼接并做一次输出投影融合。实践中的常见约定是 d_model = h × d_k,使每个头的维度适中。
残差连接 + 层归一化 + 前馈网络
不同任务对应不同结构,这一步定错,后面全是返工:
注意:原文提到的实践趋势是——增大模型规模与预训练数据量,通常是获得更好性能的一般策略;而结构上的差异,主要就是”用编码器模块”还是”用解码器模块”。本文实现以解码器为主线,编码器部分只标注差异点。
做什么:用 BPE(Byte-Pair Encoding)类算法在语料上训练分词器,得到词表与合并规则。
BPE 的工作机制:从最小符号单元(字符或字节)序列出发,统计相邻符号对的共现频次,把当前最高频的相邻对合并成一个新符号,把该合并规则写入词表,然后重复这个过程,直到词表达到目标大小。
为什么用 BPE 而不是整词表:整词表方案对未登录词无能为力;BPE 通过”子词”折中——常见词整体保留,罕见词拆成片段,因此对没见过的新词也能切分,天然缓解 OOV。
关键配置项与取值逻辑
词表大小:偏大则嵌入矩阵和输出 softmax 的开销上升;偏小则序列变长、计算量上升且语义粒度变粗。常见做法是从中等规模起步,再结合语料的字符/词分布调整。特殊符号:至少准备填充符、未知符、句起始/结束符。填充符用于对齐批内不等长序列,未知符兜底未覆盖片段。最小频次阈值:过滤低频合并对,可防止词表被噪声片段占满。注意:分词器一旦训练完成就必须与模型一同固定并版本化。训练与推理使用不同分词器,是线上效果异常最常见的原因之一。
做什么:把 token id 映射为稠密向量,再叠加位置信息。
自注意力本身是排列不变的——打乱输入顺序,注意力的加权求和结果集合不变(仅顺序随之变化)。因此必须显式注入位置信息,否则模型无法区分”我打你”和”你打我”。
两种主流做法:
# 通用伪代码:正弦位置编码PE[pos, 2i] = sin( pos / base^(2i / d_model) )PE[pos, 2i+1] = cos( pos / base^(2i / d_model) )input = token_embedding(ids) + PE[0:seq_len]
注意两点:一是嵌入层通常要乘一个缩放系数(约 √d_model),使嵌入与位置编码处于相近数值量级;二是如果做权重共享(输入嵌入与输出投影共用矩阵),必须确认两者维度一致。
做什么:写出 Q/K/V 投影、打分、掩码、归一化、加权求和。
def attention(Q, K, V, mask=None):scores = matmul(Q, transpose(K)) / sqrt(dim(Q)[-1])if mask is not None:scores = where(mask, scores, -inf) # 屏蔽位置不参与竞争weights = softmax(scores, axis=-1)return matmul(weights, V), weights
两类掩码必须分清:
[batch, 1, 1, seq_len],把 pad 位置置为 -inf,避免空白符分走注意力权重;注意:把掩码值写成一个足够大的负数而不是真正的 -inf,可以避免整行全被屏蔽时 softmax 出现 NaN。
做什么:把 d_model 维切成 h 份并行计算,再拼回来做一次输出投影。
def multi_head_attention(x, h, d_model):Q = linear(x, d_model); K = linear(x, d_model); V = linear(x, d_model)# reshape: [batch, seq, d_model] -> [batch, h, seq, d_model/h]Qh, Kh, Vh = split_heads(Q, K, V, h)heads = [attention(Qh[i], Kh[i], Vh[i], mask) for i in range(h)]return linear(concat(heads, axis=-1), d_model)
注意:d_model 必须能被头数 h 整除;split/merge 环节的维度变换是新手 bug 高发区,务必在每一步打印形状核对。
做什么:把”注意力子层 + 前馈子层”按”残差 + 归一化”包起来。
两种归一化位置:
LayerNorm(x + Sublayer(x))。表达上更接近原始设计,但深层时训练稳定性较差,通常需要学习率预热。x + Sublayer(LayerNorm(x))。梯度路径更干净,深层堆叠更易收敛,工程上更常用。建议:如果你的目标是快速跑通并稳定训练,从 Pre-LN 开始;如果要对齐原始论文结构做复现实验,再用 Post-LN。前馈层的中间维度通常取 d_model 的数倍(常见是 4 倍),这是容量与算力的权衡点。
做什么:按任务复杂度确定层数、隐藏维度、头数、最大序列长度。
一个最小可运行配置示例(非最优,仅用于跑通链路):
n_layers = 4d_model = 256n_heads = 8 # 256 能被 8 整除d_ff = 1024 # 4 × d_modelmax_seq_len= 512dropout = 0.1
原则:先小规模跑通全流程,确认 loss 能下降、验证集指标合理,再逐步放大规模。不要在链路尚未验证正确时就上大规模训练,那是最浪费算力的做法。
关键细节(标签对齐):自回归训练中,输入是 [t0, t1, ..., t_{n-1}],标签是 [t1, t2, ..., t_n],即”右移一位”。这个错位是模型能学到”预测下一个”的全部机制来源,错位错了模型只会学到恒等映射。
做什么:计算掩码感知的损失,反向传播,按策略更新参数。
for batch in loader:logits = model(input_ids) # [B, L, vocab]loss = cross_entropy(logits[:, :-1], # 预测位置labels[:, 1:], # 右移一位的目标ignore_index=PAD_ID # 填充位不计入损失)loss.backward()clip_grad_norm(parameters, max_norm=1.0) # 梯度裁剪,防梯度爆炸optimizer.step(); optimizer.zero_grad()
注意:ignore_index 这一步极其重要。若不做,填充符会稀释损失、扭曲指标,表现为”loss 降不下去但输出看起来还行”。
做什么:训练完成后,用合适的解码策略生成结果。
注意:采样参数(温度、截断阈值、重复惩罚)应作为配置外置管理,并在验证集上做小范围网格搜索确定,而不是凭感觉写死。
| 配置项 | 含义 | 常见取值逻辑 | 配置风险 |
|---|---|---|---|
| d_model | 隐藏维度 | 需被头数整除;先取小值跑通 | 过大导致显存不足;过小导致欠拟合 |
| n_heads | 注意力头数 | 保证 d_model / n_heads 为适中整数 | 头数过多使单头维度过小,表达力反而下降 |
| max_seq_len | 最大序列长度 | 参考语料长度分位数,而非最大值 | 过短截断关键信息;过长使注意力显存开销平方增长 |
| vocab_size | 词表大小 | 综合序列长度与嵌入/softmax 开销 | 与分词器版本不一致会导致 id 错位 |
| dropout | 正则化强度 | 小数据加大,大数据减小 | 过大导致欠拟合,过小导致过拟合 |
| learning_rate | 学习率 | 配合预热与衰减策略 | 过大引发 loss NaN;过小导致收敛极慢 |
| batch_size | 批大小 | 受显存约束,可用梯度累积等效放大 | 过小使层归一化统计不稳、训练噪声大 |
不要只看 loss 曲线,先做这三组结构性验证:
测试一:形状与掩码正确性
测试二:因果性验证(仅解码器)
测试三:小批量过拟合测试
训练与线上层面的验证
| 现象 | 可能原因 | 排查思路 |
|---|---|---|
| loss 出现 NaN | 学习率过大、缺预热、掩码用了真正的 -inf、混合精度溢出 | 调小学习率、加学习率预热、改用足够大的负数、检查数值范围 |
| 显存溢出 | 批大小或序列长度过大、未做任何显存优化 | 降 batch 并用梯度累积补偿;缩短序列;启用梯度检查点以计算换显存 |
| 训练速度远慢于预期 | 数据加载成为瓶颈、注意力平方开销、未做算子融合 | 先压测数据管线吞吐;再判断是否受序列长度制约;启用混合精度与编译优化 |
| 输出重复、退化 | 解码策略单一、缺重复惩罚、训练数据本身重复度高 | 换束搜索或加采样、加重复惩罚、检查语料去重 |
| 长文本效果明显下降 | 位置编码外推能力不足、训练时未见过长序列 | 换用相对位置或旋转式位置编码方案;按目标长度做继续训练 |
| 填充符影响指标 | 损失未忽略 pad,或注意力未被 mask | 检查 ignore_index 与两类掩码 |
| 词表相关异常(输出乱码/id 错位) | 训练与推理分词器不一致 | 固定并版本化分词器,加入 id 往返一致性校验 |
| 深层堆叠不收敛 | 使用 Post-LN 且未做预热 | 切换到 Pre-LN,或加强预热与残差初始化 |
性能与显存
成本
稳定性与安全
可维护性
规模化部署
生产环境通常需要额外补齐:负载均衡分流、容器平台承载推理服务、对象存储存放模型与检查点、内容分发加速静态资源、身份认证控制访问权限。若部署在百度智能云等主流云服务平台上,可以按这些通用能力类目按需组合,并结合平台自身的资源规格与计费方式评估成本。
本文以 Transformer 的自注意力机制为核心,串起了一条完整链路:为什么用自注意力 → 输入编码(分词与位置注入)→ 单头与多头注意力 → 残差与归一化 → 堆叠与任务头 → 训练与解码 → 验证与排障。
需要记住的几个关键点:
后续可以继续深入的方向包括:更高效的注意力变体与长序列外推方案、参数高效微调方法、模型蒸馏与量化压缩、分布式训练中的并行与分片策略,以及推理服务的吞吐优化。建议的练习是:先实现单头版本并通过三组验证,再逐步加多头、多层、KV 缓存,每一步都保留可复现的实验记录。