零基础读懂Transformer:从翻译任务讲起

作者:问题终结者2026.11.18 11:24浏览量:0

简介:本教程以机器翻译为例,先讲清序列到序列任务的难点,再拆解Transformer的编码器、解码器和注意力机制。读完后,你能说明每个模块的作用,搭建一个最小示意模型,并通过形状检查、注意力检查和过拟合测试验证实现是否正确。

教程目标

完成本教程后,读者应能做到三件事:用自己的话说明序列到序列(Seq2Seq)任务的输入输出特点;理解Transformer中编码器、解码器和注意力机制各自负责什么;用通用伪代码搭建一个最小示意模型,并判断它是否工作正常。

适用读者

  • 刚接触深度学习或自然语言处理的开发者,希望建立直观概念。
  • 有工程背景、需要读懂模型代码或参与模型部署的运维人员。
  • 需要做模型选型或项目评估的技术负责人与企业用户。

阅读前需要了解向量、矩阵乘法等基础概念,能读懂简单的伪代码即可。

一、先搞清问题:什么是序列到序列

1.1 输入和输出都是序列

序列指按顺序排列的元素,可以是文字、语音帧或时间序列数据。机器翻译是典型的序列到序列任务。以中译英为例,输入”这老板真水”是一个句子,输出”This boss is really a joke”也是一个句子。输入只有5个字,输出有6个词,两者长度不同。

这意味着模型不能假设输入与输出逐个对应。模型必须自己决定输出多长,以及何时结束生成。

1.2 为什么这类任务难

  • 词序敏感:同样的词按不同顺序排列,含义可能完全相反。”狗咬人”和”人咬狗”用词相同,意思却相反。
  • 长度不固定:同一句输入,译文长度可能随表达方式变化。
  • 依赖上下文:同一个字在不同语境下含义不同。”这老板真水”中的”水”是网络用语,意为不靠谱。如果逐字直译,得到的结果会完全偏离原意。

1.3 传统做法的瓶颈

早期常用循环神经网络(RNN)类结构。编码器按顺序读入每个词,最后把整句压缩成一个固定长度的向量,解码器再从这个向量逐词生成译文。句子越长,压缩过程丢失的信息越多。Transformer的设计目标之一,就是绕过这个瓶颈,让模型在生成每个词时直接访问输入中的所有位置。

二、Transformer的整体结构

Transformer采用编码器-解码器框架,整体流程如下:

  1. 输入序列 → 编码器 → 每个位置的上下文表示 → 解码器 → 输出序列(逐词生成)
  • 编码器:一次性读入完整的输入序列,为每个位置输出一个向量。每个向量都融合了整句的信息。
  • 解码器:逐步生成输出。每生成一个词,它都会参考已经生成的内容,以及编码器的输出。

可以把编码器想成先通读全文并做笔记,解码器则像译者一边翻看笔记,一边逐句写译文。

三、核心机制:注意力

3.1 直观理解

译者写某个英文词时,会回头查看原文中相关的部分。注意力机制让模型也能这样做:为每个位置计算一组权重,表示”当前应该重点看哪些位置”。

3.2 计算步骤

  1. 为每个位置生成三组向量:查询(Query)、键(Key)和值(Value)。这三组向量由输入经过线性变换得到。
  2. 用当前位置的查询与所有位置的键计算相似度得分。
  3. 对得分做归一化,通常使用softmax函数,得到一组和为1的权重。
  4. 用这些权重对所有值向量做加权求和,得到该位置的输出。

伪代码如下:

  1. function attention(Q, K, V):
  2. scores = dot(Q, transpose(K)) / sqrt(dimension_of_K)
  3. weights = softmax(scores, axis = last)
  4. output = dot(weights, V)
  5. return output, weights

除以平方根这一步不能省略。点积结果会随向量维度增大而变大,如果不缩放,softmax的输出会接近one-hot分布,梯度变得很小,模型难以训练。

3.3 多头注意力

多头注意力把向量拆分成若干个子空间,每个子空间独立计算一次注意力,最后把结果拼接,再经过一次线性变换。不同的头可以学习不同类型的关系,例如有的关注相邻词的搭配,有的关注较远位置的指代关系。头数需要能整除向量维度,否则无法均匀拆分。

3.4 位置编码

注意力本身对位置不敏感,打乱输入顺序后,计算结果只是对应地打乱。为了让模型感知词序,需要给每个位置加上位置信息。常见做法有两种:

  • 使用正弦和余弦函数按公式生成固定的位置向量;
  • 使用可学习的位置嵌入,让模型自己学习每个位置的向量表示。

没有位置信息时,”狗咬人”和”人咬狗”对模型来说几乎没有区别。

四、其他组成部分

  • 前馈网络:对每个位置的向量独立做非线性变换,提升模型的表达能力。
  • 残差连接与层归一化:残差连接让信息可以跨层直接传递,层归一化稳定每层输出的数值范围。两者结合,能让较深的网络更容易训练,减轻梯度消失的问题。
  • 掩码(Mask):解码器在训练时不能看到未来的词。掩码会屏蔽当前位置之后的内容,保证训练时的计算方式与推理时逐词生成的方式一致。

五、动手实践:搭建最小示意模型

5.1 准备数据

准备成对的句子数据,例如中文与英文一一对应的小规模语料。几十到几百条即可用于验证流程。准备过程需要注意三点:

  • 划分训练集和验证集,验证集不参与训练;
  • 对两种语言分别分词,并构建各自的词表;
  • 为句子添加起始符、结束符,并把长度不足的句子补齐到统一长度。

5.2 构建模型骨架

  1. model = Seq2SeqTransformer(
  2. src_vocab_size = size of source vocabulary,
  3. tgt_vocab_size = size of target vocabulary,
  4. d_model = 128, # 向量维度,示例取值,可按算力调整
  5. num_heads = 4, # 注意力头数,必须能整除d_model
  6. num_layers = 2, # 编码器和解码器各自的层数
  7. dropout = 0.1 # 随机丢弃比例,用于减轻过拟合
  8. )

配置项的含义和取舍如下:

  • d_model越大,模型表达能力越强,但显存占用和计算量也随之增加。
  • num_heads需要能整除d_model。例如维度为128时,可以取4、8等值,每个头分到32维。
  • num_layers过多会增加训练难度,小数据集上还容易过拟合。入门实验通常从2到4层开始。
  • dropout在小数据上通常有助于稳定训练,取值过大会影响收敛速度。

5.3 训练循环

  1. for epoch in range(num_epochs):
  2. for src, tgt in train_loader:
  3. tgt_input = tgt[:, :-1] # 解码器输入:去掉最后一个词
  4. tgt_label = tgt[:, 1:] # 训练标签:去掉起始符
  5. logits = model(src, tgt_input, causal_mask(tgt_input))
  6. loss = cross_entropy(logits, tgt_label, ignore_index = PAD)
  7. update_parameters(loss)

这里采用了”教师强制”(teacher forcing)的训练方式:解码器每一步的输入使用真实译文的前缀,而不是模型自己的预测。输入和标签错开一位,是为了让模型学习”根据前面的词预测下一个词”。ignore_index用于忽略补齐用的占位符,避免它们影响损失值。

5.4 推理:逐词生成

  1. output = [START]
  2. repeat until max_len:
  3. next_token = argmax(model(src, output))
  4. append next_token to output
  5. if next_token == END: break

推理时没有真实译文可用,解码器只能依赖自己已经生成的词,因此每一步都要重新计算。训练和推理之间的这种差异,是排查翻译效果问题时的重要线索。

六、如何验证结果

  1. 形状检查:若输入批次大小为N、目标长度为T、词表大小为V,输出张量的形状应为N × T × V。形状不符通常意味着掩码或维度处理有误。
    2.