简介:本文以教程方式讲清"Transformer encoder的输出究竟是什么"。你将理解encoder输出的是一组与输入等长、上下文相关的向量表示,而非RNN seq2seq中那种被压缩成单个定长向量的"语义",并掌握从token输入到最终概率的完整数据流、encoder自注意力/decoder因果自注意力/cross-attention三者的区别,以及如何用形状对齐、因果掩码测试、跨注意力信息路径追踪等手段验证输出是否正确。适合正在系统学习Transformer结构的开发者与算法工程师。
读完本文,你将能够独立完成以下四件事:
统一记号约定如下,后文沿用:
| 符号 | 含义 | ||
|---|---|---|---|
| B | batch size | ||
| L_enc / L_dec | encoder 输入、decoder 输入长度 | ||
| d_model | 主干特征维度 | ||
| N | encoder 或 decoder 中堆叠的 block 数量 | ||
| H | 每个 block 的注意力头数 | ||
| d_head | 每个头维度,等于 d_model / H | ||
| \ | V\ | 目标词表大小 | |
| M | encoder 的最终输出,即 decoder 读到的 memory |
源序列记为 x = (x₁, …, x_Lenc),目标序列记为 y = (y₁, …, y_Ldec)。
在动手之前,先把结论钉牢,避免被”语义信息”这个模糊说法带偏:
为什么强调”不是单个向量”?循环式 seq2seq 的 encoder 通常把整句压进最后一个隐藏状态,长句信息会衰减;而 Transformer encoder 保留了每个位置的输出序列,形状与输入序列对齐,这正是它能建模长距离依赖的关键。所以要记住一句话:
Encoder 把源序列整理成一组上下文表示(memory);decoder 一边查看已生成内容,一边通过 cross-attention 读取这些表示,逐步生成目标序列。
输入是离散 token id,必须先查表变成向量,再加上位置编码补上顺序信息。此步只改变最后一维含义,序列长度不变。
# 通用伪代码x_ids = [...] # 源 token id, 形状 [B, L_enc]x_emb = embedding_lookup(x_ids) # 查表, 形状 [B, L_enc, d_model]x_in = x_emb + positional_encoding(L_enc, d_model) # 形状仍为 [B, L_enc, d_model]
注意:这里输出的还只是”词 + 位置”的静态表示,尚未交互,谈不上上下文。
每个 block 做两件事,顺序固定:自注意力 → 残差与归一化 → 前馈网络(FFN)→ 再一次残差与归一化。
for _ in range(N):x_in = encoder_block(x_in) # 每块输出形状不变M = x_in # encoder 输出 (memory), [B, L_enc, d_model]
关键观察:encoder 的输入与输出形状完全相同,都是 [B, L_enc, d_model]。残差连接、LayerNorm 和 FFN 都不改变序列长度与主干维度,它们的作用是”就地精炼”每个位置的表示,而不是改变结构。
# decoder 侧(教学示意)t = shifted_target(y) # 右移一位作为输入, [B, L_dec, d_model]for _ in range(N):t = causal_self_attention(t) # Q=K=V 来自 decodert = cross_attention(Q=t, K=M, V=M)# Q 来自 decoder, K/V 来自 memoryt = ffn_and_norm(t)logits = linear_to_vocab(t) # 投影到词表, [B, L_dec, |V|]probs = softmax(logits, axis=-1) # 每个位置一个词表上的概率分布
至此可以看到一条清晰的形状链:[B, L_enc] → [B, L_enc, d_model](encoder 内部与输出保持不变)→ decoder 侧最终变成 [B, L_dec, |V|]。形状只在最入口(查表)和最出口(投影到词表)发生维度切换,中间主干始终是 d_model。
这是初学者最容易混淆的地方,用一张对照表说清:
| 类型 | 所在位置 | Q 来源 | K/V 来源 | 可见性 |
|---|---|---|---|---|
| 双向自注意力 | encoder | 本序列 | 本序列 | 每个位置可见全序列 |
| 因果自注意力 | decoder | 已生成序列 | 已生成序列 | 位置 t 只能看到 ≤ t |
| cross-attention | decoder | decoder 当前状态 | encoder 输出的 memory | 通过 memory 间接看全源句 |
理解要点:encoder 里的自注意力是”双向”的,因为理解一句话时后文同样重要;decoder 里必须是”因果”的,否则生成时会偷看未来 token,造成信息泄漏。cross-attention 之所以能”回看整句源文”,正是因为它的 K/V 来自未做因果遮蔽的 memory。
结论不能只靠理解,要用可运行的检查来确认。
在前向过程中打印每个关键张量的形状,逐一核对:
M 应为 [B, L_enc, d_model];[B, L_dec, d_model];[B, L_dec, |V|]。若某处形状不符,几乎一定是残差/归一化环节或投影维度配错。
目的:确认位置 t 的输出不受位置 t+1 及之后输入的影响。
做法(通用伪代码):
# 复制两份相同的 decoder 输入inp_a = target.copy()inp_b = target.copy()inp_b[t+1:] = 随机替换 # 只改动 t 之后的 tokenout_a = decoder(inp_a)out_b = decoder(inp_b)# 因果正确时, out_a 在位置 t 应与 out_b 在位置 t 完全一致assert allclose(out_a[t], out_b[t])
若断言失败,说明因果掩码没生效或加错了位置。掩码通常是把上三角(不含对角线)置为一个大负数,再加到注意力打分上,使 softmax 后权重趋近 0。
目的:确认 decoder 确实读取了 encoder 的 memory。
做法:把 encoder 输出 M 置零或替换成另一批次的输出,观察 decoder 结果是否随之改变。若输出完全不变,说明 cross-attention 的 K/V 没有真正连到 M,需要检查 Q/K/V 的接线。
Transformer encoder 的输出不是单个语义向量,而是一组与输入等长、逐位置对齐的上下文表示 memory,形状恒为 [B, L_enc, d_model]。本文按数据流走完了从 token 输入、位置编码、encoder block 堆叠,到 decoder 通过 cross-attention 读取 memory 并最终投影到词表概率的全过程,并给出了形状对齐、因果掩码、跨注意力信息路径三类验证方法。掌握这些后,你可以进一步深入 FFN 与归一化的作用、不同结构家族的接口差异,以及高效注意力实现等方向。