简介:本文面向希望系统掌握 Transformer 原理与实现的开发者,围绕序列建模任务,讲解编码器、解码器、注意力机制、残差连接、归一化与训练流程。通过前置准备、分步实现、结果验证、常见排查和优化建议,帮助读者从零搭建可理解的 Transformer 模型。
本教程的目标是帮助读者完成一次从零理解并搭建 Transformer 模型的完整实践。阅读并跟随本文后,你应当能够:
本教程不依赖某个特定产品,而是围绕 Transformer 的通用原理展开,适合希望建立系统认知并落地实现的读者。
Transformer 最初用于机器翻译等序列转换任务,但其结构后来被广泛扩展到多种场景。以下任务都可以作为入门实践对象:
对于初学者,建议先从文本分类或小规模翻译任务开始,因为这类任务数据相对容易准备,损失和指标也比较直观。等到理解编码器、解码器和注意力机制后,再扩展到更复杂的生成任务。
在开始实现之前,需要具备以下基础条件和准备工作。
读者最好了解以下概念:
如果这些概念不熟悉,可以先从线性代数和深度学习基础入手,再回到 Transformer 部分,学习会更顺畅。
Transformer 是数据驱动模型,数据质量直接影响效果。需要准备的数据形式通常包括:
如果做文本任务,还需要准备分词方式。常见做法包括按词切分、按子词切分或按字符切分。对于入门实践,建议先使用简单词表,待流程跑通后再优化分词策略。
需要准备一个能够运行张量计算和自动求导的环境。可以是本地开发机,也可以是云端计算实例。硬件方面,CPU 可以完成小规模实验,GPU 更适合较大模型或较长序列。对于初学者,建议先在 CPU 或小规格 GPU 环境上跑通流程,再考虑扩容。
通常需要以下通用能力:
如果部署在云平台,可以结合对象存储保存训练数据、容器平台承载训练任务、日志服务记录运行信息、监控告警跟踪资源消耗。这里使用的是通用云能力类别,不涉及具体产品。
下面按照从数据到模型、从训练到推理的顺序拆解步骤。
第一步不是写代码,而是明确任务的输入和输出。
假设我们要做一个文本分类任务:
假设我们要做一个翻译任务:
明确输入输出后,可以确定后续需要:
为什么这一步重要?因为很多实现问题并不是模型结构本身,而是任务目标定义不清导致输入输出形状不一致,最终训练无法收敛。
文本无法直接输入神经网络,需要先转换为整数编号。
基本流程如下:
注意事项:
对于生产环境,可以考虑子词切分方式,因为它能更好地平衡词表大小与未登录词问题。
Transformer 本身对序列顺序不敏感,因此必须显式加入位置信息。
输入层通常包含两部分:
位置编码常见方式有两类:
正弦余弦编码的优点是不依赖最大长度,适合长度变化的场景;可学习位置编码实现简单,但受限于训练时设定的最大长度。
示意逻辑如下:
word_embedding = embedding_table[token_ids]position_embedding = position_encoder(sequence_positions)input_vector = word_embedding + position_embedding
常见错误是忘记加位置编码。此时模型会把输入看成无序集合,语序信息会丢失。
自注意力是 Transformer 的核心。它的作用是让序列中的每个位置能够参考其他位置的信息。
给定输入向量,通过线性变换得到查询、键和值:
Q = X * WqK = X * WkV = X * Wv
然后计算注意力得分:
scores = Q * K^T / sqrt(d_k)attention_weights = softmax(scores)output = attention_weights * V
其中 sqrt(d_k) 用于缩放点积,避免数值过大导致梯度不稳定。
多头注意力的作用是把表示空间拆分成多个子空间,让模型从不同角度关注不同信息。可以理解为每个头学习不同的关注模式,例如有的头关注局部搭配,有的头关注长距离依赖,有的头关注句法结构。
对于解码器场景,还需要因果掩码,确保预测当前词时不能看到未来的词。示意逻辑如下:
causal_mask[i, j] = 0 if j <= i else -infattention_weights = softmax(scores + causal_mask)
如果不加因果掩码,模型在训练时会看到答案,推理时却看不到,训练与推理行为不一致,生成效果会明显变差。
自注意力层之后通常接一个前馈网络。前馈网络一般包含两层线性变换和一个非线性激活函数:
hidden = activation(linear_1(x))output = linear_2(hidden)
它的作用是对每个位置分别进行非线性变换,增强模型表达能力。自注意力负责聚合上下文信息,前馈网络负责对聚合后的表示进行加工。
常见注意事项:
一个完整的编码器块通常包含:
示意流程:
x1 = x + self_attention(x)x2 = normalize(x1)x3 = x2 + feed_forward(x2)output = normalize(x3)
残差连接的作用是把输入直接加到输出上,缓解深层网络训练困难。归一化则有助于稳定每层输入分布,提升训练稳定性。
编码器堆栈就是把多个编码器块按层堆叠。层数越多,模型越能学习复杂表示,但训练成本也越高。入门阶段可以先从少量层开始,例如一层或两层,确认流程正确后再增加。
如果任务需要生成序列,例如翻译、摘要或对话,就需要解码器。
解码器块通常包含三个子层:
交叉注意力的作用是让解码器读取编码器的输出。其逻辑是:
示意逻辑:
Q = decoder_state * WqK = encoder_output * WkV = encoder_output * Wvcross_attention = softmax(Q * K^T / sqrt(d_k)) * V
这样,解码器在生成每个目标词时,都可以关注输入序列中相关的部分。例如翻译时,生成目标词会重点关注源句子中对应的词或短语。
解码器或编码器最后会输出每个位置的向量。为了得到词表上的概率分布,需要通过一个线性层投影到词表大小:
logits = linear(output_vector)probabilities = softmax(logits)
如果是分类任务,输出类别数即可;如果是生成任务,输出词表大小。
损失函数常见选择:
计算损失时需要注意掩码。填充位置不应参与损失计算,否则会干扰梯度。
训练阶段通常包括以下步骤:
训练时常见做法包括:
对于小数据集,模型容易过拟合。可以通过降低模型规模、增加正则化、使用数据增强或更多数据来缓解。
训练完成后,需要进行推理。
如果是分类任务,流程较简单:输入文本,模型输出概率分布,取最大概率类别。
如果是生成任务,通常需要逐步生成:
生成策略可以包括贪心搜索、束搜索或采样。不同策略会在准确性、多样性和生成速度之间产生不同权衡。
Transformer 中有若干关键配置,会直接影响模型效果和资源消耗。
层数越多,模型容量越大。层数太少可能欠拟合,层数太多容易训练慢且过拟合。入门阶段可以从较少层开始,再根据任务复杂度增加。
头数影响模型从多个角度建模关系的能力。头数过多可能增加计算量,头数过少可能表达能力不足。通常隐藏维度需要能被头数整除。
隐藏维度决定每层特征向量的宽度。维度越高,表达能力越强,但显存和计算成本也越高。
最大序列长度影响位置编码、内存占用和训练速度。长文本任务需要权衡截断、滑窗或分块策略。
Dropout 用于正则化。比例过高可能导致训练不足,比例过低可能导致过拟合。可以先从较小比例开始调整。
批量大小影响训练稳定性和吞吐。小批量梯度噪声较大,大批量需要更大显存。如果显存不足,可以使用梯度累积来模拟较大批量。
学习率过高会导致损失震荡甚至不收敛,学习率过低会导致训练缓慢。通常可以结合学习率预热和衰减策略。
下面给出一段与具体框架无关的伪代码,用于表达 Transformer 的整体流程。
class TransformerModel:def __init__(vocab_size, num_layers, hidden_size, num_heads, max_len):self.embedding = Embedding(vocab_size, hidden_size)self.position_encoding = PositionEncoding(max_len, hidden_size)self.encoder_layers = []self.decoder_layers = []for _ in range(num_layers):self.encoder_layers.append(EncoderLayer(hidden_size, num_heads))self.decoder_layers.append(DecoderLayer(hidden_size, num_heads))self.output_proj = Linear(hidden_size, vocab_size)def encode(self, src_tokens, src_mask):x = self.embedding(src_tokens)x = x + self.position_encoding(seq_len(src_tokens))for layer in self.encoder_layers:x = layer(x, mask=src_mask)return xdef decode(self, tgt_tokens, encoder_output, src_mask, tgt_mask):x = self.embedding(tgt_tokens)x = x + self.position_encoding(seq_len(tgt_tokens))for layer in self.decoder_layers:x = layer(x,encoder_output,src_mask=src_mask,tgt_mask=tgt_mask)logits = self.output_proj(x)return logitsdef forward(self, src_tokens, tgt_tokens, src_mask, tgt_mask):encoder_output = self.encode(src_tokens, src_mask)logits = self.decode(tgt_tokens, encoder_output, src_mask, tgt_mask)return logits
伪代码的重点是表达数据流,而不是绑定某个具体库。实际实现时,需要根据所用计算环境替换具体张量操作。
模型训练后,不能只看是否跑通,还要验证结果是否可信。
首先确认输入输出形状正确:
如果形状不对,后续训练大概率无法收敛。
观察训练损失是否持续下降。常见情况包括:
根据任务选择指标:
自动指标只能提供参考,生成质量还需要抽样检查。
从验证集或测试集中随机抽取样本,查看模型输出是否合理。重点观察:
可能原因:
排查思路:
可能原因:
排查思路:
可能原因:
排查思路:
可能原因:
排查思路:
可能原因:
排查思路:
在跑通基础模型后,可以从以下方面继续优化。
数据质量往往比模型结构更影响最终效果。可以重点做:
不同切分粒度会影响词表大小、序列长度和未登录词处理。可以根据任务特点选择合适的切分方式,并评估词表大小与序列长度之间的平衡。
可以采用以下通用策略:
对于生产场景,可以关注:
如果模型需要长期维护,建议建立以下机制:
在云端环境中,可以结合对象存储保存数据与模型文件,使用容器平台部署推理服务,使用日志服务和监控告警跟踪运行状态。这样能提升系统的可维护性和稳定性。
Transformer 的关键不在于单个模块有多复杂,而在于多个模块如何协同工作。编码器负责理解输入序列,解码器负责生成目标序列,自注意力负责建模序列内部关系,交叉注意力负责连接输入与输出,前馈网络负责进一步加工表示,残差连接和归一化则保证深层结构能够稳定训练。
对于初学者,建议按照以下路径学习:
只要按照“明确目标、准备数据、搭建结构、训练验证、排查优化”的步骤推进,就可以逐步掌握 Transformer 的核心思想,并把它应用到实际序列建模任务中。