简介:本教程以机器翻译为例,先讲清序列到序列任务的难点,再拆解Transformer的编码器、解码器和注意力机制。读完后,你能说明每个模块的作用,搭建一个最小示意模型,并通过形状检查、注意力检查和过拟合测试验证实现是否正确。
完成本教程后,读者应能做到三件事:用自己的话说明序列到序列(Seq2Seq)任务的输入输出特点;理解Transformer中编码器、解码器和注意力机制各自负责什么;用通用伪代码搭建一个最小示意模型,并判断它是否工作正常。
阅读前需要了解向量、矩阵乘法等基础概念,能读懂简单的伪代码即可。
序列指按顺序排列的元素,可以是文字、语音帧或时间序列数据。机器翻译是典型的序列到序列任务。以中译英为例,输入”这老板真水”是一个句子,输出”This boss is really a joke”也是一个句子。输入只有5个字,输出有6个词,两者长度不同。
这意味着模型不能假设输入与输出逐个对应。模型必须自己决定输出多长,以及何时结束生成。
早期常用循环神经网络(RNN)类结构。编码器按顺序读入每个词,最后把整句压缩成一个固定长度的向量,解码器再从这个向量逐词生成译文。句子越长,压缩过程丢失的信息越多。Transformer的设计目标之一,就是绕过这个瓶颈,让模型在生成每个词时直接访问输入中的所有位置。
Transformer采用编码器-解码器框架,整体流程如下:
输入序列 → 编码器 → 每个位置的上下文表示 → 解码器 → 输出序列(逐词生成)
可以把编码器想成先通读全文并做笔记,解码器则像译者一边翻看笔记,一边逐句写译文。
译者写某个英文词时,会回头查看原文中相关的部分。注意力机制让模型也能这样做:为每个位置计算一组权重,表示”当前应该重点看哪些位置”。
伪代码如下:
function attention(Q, K, V):scores = dot(Q, transpose(K)) / sqrt(dimension_of_K)weights = softmax(scores, axis = last)output = dot(weights, V)return output, weights
除以平方根这一步不能省略。点积结果会随向量维度增大而变大,如果不缩放,softmax的输出会接近one-hot分布,梯度变得很小,模型难以训练。
多头注意力把向量拆分成若干个子空间,每个子空间独立计算一次注意力,最后把结果拼接,再经过一次线性变换。不同的头可以学习不同类型的关系,例如有的关注相邻词的搭配,有的关注较远位置的指代关系。头数需要能整除向量维度,否则无法均匀拆分。
注意力本身对位置不敏感,打乱输入顺序后,计算结果只是对应地打乱。为了让模型感知词序,需要给每个位置加上位置信息。常见做法有两种:
没有位置信息时,”狗咬人”和”人咬狗”对模型来说几乎没有区别。
准备成对的句子数据,例如中文与英文一一对应的小规模语料。几十到几百条即可用于验证流程。准备过程需要注意三点:
model = Seq2SeqTransformer(src_vocab_size = size of source vocabulary,tgt_vocab_size = size of target vocabulary,d_model = 128, # 向量维度,示例取值,可按算力调整num_heads = 4, # 注意力头数,必须能整除d_modelnum_layers = 2, # 编码器和解码器各自的层数dropout = 0.1 # 随机丢弃比例,用于减轻过拟合)
配置项的含义和取舍如下:
d_model越大,模型表达能力越强,但显存占用和计算量也随之增加。num_heads需要能整除d_model。例如维度为128时,可以取4、8等值,每个头分到32维。num_layers过多会增加训练难度,小数据集上还容易过拟合。入门实验通常从2到4层开始。dropout在小数据上通常有助于稳定训练,取值过大会影响收敛速度。
for epoch in range(num_epochs):for src, tgt in train_loader:tgt_input = tgt[:, :-1] # 解码器输入:去掉最后一个词tgt_label = tgt[:, 1:] # 训练标签:去掉起始符logits = model(src, tgt_input, causal_mask(tgt_input))loss = cross_entropy(logits, tgt_label, ignore_index = PAD)update_parameters(loss)
这里采用了”教师强制”(teacher forcing)的训练方式:解码器每一步的输入使用真实译文的前缀,而不是模型自己的预测。输入和标签错开一位,是为了让模型学习”根据前面的词预测下一个词”。ignore_index用于忽略补齐用的占位符,避免它们影响损失值。
output = [START]repeat until max_len:next_token = argmax(model(src, output))append next_token to outputif next_token == END: break
推理时没有真实译文可用,解码器只能依赖自己已经生成的词,因此每一步都要重新计算。训练和推理之间的这种差异,是排查翻译效果问题时的重要线索。