简介:本文从数据流角度对比Transformer中encoder与decoder的核心差异,重点解析双向self-attention、causal self-attention与cross-attention三种注意力机制的可见性区别,并说明encoder输出(memory)的本质含义、验证方法,以及在encoder-only、decoder-only、encoder-decoder三类结构中的选型思路,帮助读者建立清晰的架构判断依据。
一、对比背景
“Transformer encoder的输出到底是什么?”是初学者最常见的疑问之一。很多资料笼统地说“encoder输出的是语义信息”,但这种说法既不精确,也无法验证。要回答这个问题,必须把encoder与decoder放在一起对比:两者都由attention子层、FFN、残差连接和LayerNorm堆叠而成,但解决的是完全不同的接口问题。只有理解了双向可见性与单向可见性的区别,以及cross-attention如何充当桥梁,才能真正说清encoder输出的本质。本文即围绕“encoder输出 vs decoder输出”这一对比展开。
二、对象定义
Encoder:负责理解输入序列。它通过双向self-attention,让每个位置都能看到整段源序列,最终输出一组与输入等长(长度为L_enc)、维度为d_model的上下文表示向量序列,通常记作M,也称memory。M不是原始输入的词向量,而是经过多层交互后“每个词都携带了全局上下文”的深层表示。
Decoder:负责生成输出序列。它先通过causal self-attention只能读取当前位置之前已生成的内容,再通过cross-attention读取encoder的输出M。其最终输出经投影层映射到目标词表,得到每个位置的概率分布。
三、相同点分析
四、核心差异分析
注意力可见性不同。encoder中的self-attention是双向的,每个位置可以attend到全序列;decoder中的self-attention是因果的(causal),通过mask屏蔽未来位置,保证自回归生成时不能“偷看”答案。
输出含义不同。encoder的输出是一组静态的上下文表示,在解码阶段被反复读取;decoder的输出是动态的概率分布序列,随生成过程逐步推进。可以这样验证:取encoder最后一层输出M,对某个位置的向量做相似度分析或探针任务(probe),观察其是否编码了句法与语义信息;再对比不同层输出,可以看到表示从浅层词法特征向深层语义特征的演化。
Cross-attention的信息路径。cross-attention中Query来自decoder,Key和Value来自encoder输出M。这意味着信息流是“decoder提问、encoder作答”,M是两者之间唯一的桥梁。验证方法:构造一个两层encoder-decoder模型,在训练中屏蔽或扰动M,观察目标端输出的变化,即可确认信息确实经由cross-attention传递。
结构家族不同。原论文采用encoder-decoder结构,适合输入输出序列不一致的转换任务(如翻译、摘要);而当今多数大语言模型采用decoder-only结构,直接用causal attention对同一序列建模,接口问题是“续写”而非“对齐转换”;此外还有encoder-only结构(如各类预训练编码模型),适合理解类任务。三种结构对比可用伪代码示意:
encoder-decoder: M = Encoder(x); y_t+1 = Decoder(y[:t+1], M)decoder-only: y_t+1 = CausalModel(x ++ y[:t+1])encoder-only: h = Encoder(x); 任务头(h)
五、对比表格
| 维度 | Encoder | Decoder |
|---|---|---|
| 注意力可见性 | 双向,全序列可见 | 单向因果,只见过去 |
| 输出形态 | 上下文表示序列M(等长) | 词表上的概率分布 |
| Cross-attention | 无 | 有,K/V来自M |
| 训练目标 | 通常为重建/掩码预测 | 自回归下一词预测 |
| 典型任务 | 分类、抽取、检索表示 | 文本生成、对话 |
| 并行性 | 训练阶段全并行 | 只能对已知前缀并行 |
六、典型场景与选型建议
七、迁移与使用注意事项
八、总结
回到最初的问题:encoder的输出不是抽象的“语义信息”,而是一组可验证的、与源序列等长的上下文表示向量M。它与decoder的输出的根本区别,来自双向与因果两种注意力可见性的差异,以及cross-attention建立的“理解—生成”信息通道。选型时的判断逻辑是:理解任务看encoder-only,生成任务看decoder-only,转换任务考虑encoder-decoder。理解这三者的接口差异,比记住任何一个具体模型的名字都更重要。