Transformer编码器输出是什么

作者:demo2026.11.18 11:53浏览量:0

简介:本文面向正在学习序列建模与注意力机制的读者,系统回答“Transformer encoder 的输出到底是什么”。你将理解:编码器输出不是原始词 ID、不是直接概率,而是每个 token 位置融合了上下文后的高维向量序列;它会作为 memory 供解码器 cross-attention 使用,也可接分类、标注、检索等任务头。文章同时澄清 encoder self-attention、decoder self-attention 与 cross-attention 的可见性差异,帮助你在阅读模型结构、复现代码或做技术选型时避免常见误解。

在讨论“Transformer encoder 的输出”之前,需要先给出一个干净、可落地的定义:在标准编码器—解码器 Transformer 中,encoder 的输出是输入 token 序列经过词嵌入、位置编码和若干编码层上下文建模后得到的隐状态序列,形状通常为 [batch_size, seq_len, d_model];若送入解码器,它常被称作 memory,并在 cross-attention 中作为 Key/Value 的来源。 这个定义里有几个关键点:第一,输出仍然是“序列”,不是单个向量,除非显式做池化或取特殊位置;第二,输出不是类别概率,也不是下一个词分布,除非额外接任务头;第三,输出承载的是“每个位置在完整输入上下文中被重新表示后的语义”,而不是原始符号本身。

可以从“形状只在入口和出口变化”这句话入手理解。输入侧通常是 token ID,形状类似 [B, L],其中 B 是 batch 大小,L 是序列长度;嵌入层把每个 ID 映射为 d_model 维向量,得到 [B, L, D]。进入 encoder stack 后,理想情况下每个编码层都保持 [B, L, D] 的形状:多头自注意力在序列维上做信息混合,前馈网络在位维上做逐位置变换,残差连接与层归一化稳定优化。于是,经过 N 层之后,输出仍然是 [B, L, D]。这意味着 encoder 的核心职责不是改变“有多少个 token”,而是改变每个 token 的表示质量:同一个词在“苹果发布新系统”和“我吃了一个苹果”中,最终向量会因为上下文不同而明显不同。

为什么强调“上下文向量”?因为自注意力让每个位置都能访问序列中的其他位置。对 encoder 而言,这一般是双向可见的:第 i 个位置可以 attend 到左侧、右侧以及自身,因此它适合做理解类任务,例如句子分类、序列标注、语义匹配、检索编码、文档表示等。与之相对,decoder 里的 masked self-attention 通常是因果可见的:在生成第 t 个词时,只能看到已经生成的 1..t,不能偷看未来。很多人把两者都叫作 self-attention,就误以为公式完全相同;差异不在“是否相似度打分”这个抽象动作,而在注意力掩码构造所决定的可见范围。一个面向全句理解,一个面向自回归生成,这就是同样叫 self-attention、语义却不同的根源。

再看 cross-attention。它的 Query 来自解码器当前已经生成的目标序列表示,Key 和 Value 来自 encoder 输出的 memory,也就是源序列编码结果。这个设计回答了 seq2seq 任务中最重要的问题:生成下一个目标 token 时,应当“回看”源序列的哪些位置。例如翻译时,目标端生成某个动词,需要与源端主语、宾语或时态标记建立对应;摘要生成时,需要定位原文中最相关的句子。cross-attention 把两套表示空间连接起来:Q 代表“我现在要生成什么、我在追问什么”,K/V 代表“源语料里有哪些可被取用的信息”。因此,若有人问“encoder 输出给了谁”,在机器翻译、摘要、问答等生成任务中,首要答案通常是 decoder 的 cross-attention;在纯理解任务中,它则直接接分类器、相似度函数或向量索引流程。

原始材料中“memory 是 encoder 的最后一层输出,而不是原始输入”也非常关键。新手常把 memory 误解为源句 embedding 或源句 token ID,这会导致排查 shape mismatch 或注意力来源时方向错误。更精确地说,memory 是 encoder 最后一层每个位置的隐状态,已经叠加了多层多头注意力与前馈变换。它通常仍按 [B, Ls, D] 组织,其中 Ls 是源序列长度;若源端有 padding,需要配合 mask 防止无效位置参与注意力。工程实现里,mask 可能以 padding mask、attention mask 或长度列表等形式出现,但语义一致:告诉注意力机制哪些位置是真实 token,哪些是填充。没有正确处理这一点,encoder 输出会在短句批量训练时被填充位置污染,解码器也可能把注意力度分配到无意义位置。

可以用一段通用伪代码描述主链路,避免绑定任何具体框架或工具:

  1. ids: [B, L] # token id
  2. emb: [B, L, D] = Embed(ids) + Positional(L, D)
  3. h: [B, L, D] = emb
  4. repeat N times:
  5. a = MultiHeadSelfAttention(Q=h, K=h, V=h, mask=padding_mask) # 双向可见
  6. h = LayerNorm(h + Dropout(a))
  7. f = FeedForward(h) # 常见为 expand->activate->project
  8. h = LayerNorm(h + Dropout(f))
  9. encoder_out = h # memory, [B, L, D]
  10. # 若接生成式 decoder:
  11. # q_t = decoder_self_attention(target_prefix) # 因果可见
  12. # ctx_t = cross_attention(Q=q_t, K=encoder_out, V=encoder_out)
  13. # logits_t = output_projection(ctx_t) # [B, V],这一步才接近“概率”

这段伪代码体现了一个常被忽视的事实:“从 ID 到概率”中间隔着很多步。token ID 是离散符号;embedding 把它放入连续空间;encoder 输出仍是连续表示;只有外接输出投影并做 softmax,才得到词表上的概率分布 [B, L, vocab_size]。分类任务也类似:encoder 输出 [B, L, D] 后,可能取首位置、做 mean pooling、做 max pooling 或用可学习池化,再接 [D, num_classes] 的线性层得到 logits。也就是说,encoder 本体输出的是表示,不是答案;答案是任务头基于表示计算出来的。

进一步拆解 encoder 输出的信息内容。每个位置的向量通常同时包含三类信息:局部词形与句法线索、来自远距离依赖的语义关系、以及在训练任务中学到的先验偏好。浅层往往更贴近词性、边界和局部搭配;深层更偏向任务相关语义与全局结构。多头注意力并行使用多组投影,相当于让不同子空间捕捉不同关系:有的头偏向相邻依赖,有的头偏向指代或长距离对应,有的头在特定语料或任务中呈现更稀疏的模式。需要强调的是,不能把一个头机械地等同于某个语言学角色;在通用表述中,更稳妥的说法是多头机制提供了多种关系建模通道,具体功能由数据与目标函数塑形。

在理解任务中,encoder 输出的价值很直接。做句子分类时,它把可变长度句子压成固定维度或保留序列级表示,便于接全连接层;做序列标注时,每个位置都保留对应标签所需上下文,例如命名实体识别中判断某 token 是实体开头还是内部;做语义检索时,encoder 输出可经池化与归一化形成向量,用于相似度计算。由于 encoder 不强制因果掩码,它天然适合“先看全句再做判断”的场景。相对地,如果目标是逐词生成且要求输出顺序依赖,单靠 encoder 不够,需要 decoder 或自回归头;如果要处理超长上下文,则还要考虑截断、滑窗、分层编码、稀疏注意力或外部记忆等通用策略。

与相关概念的区别可归纳为三条。其一,encoder self-attention 的 Q/K/V 同源,来自同一输入序列,目标是让每个 token 吸收全句信息;其二,decoder masked self-attention 的 Q/K/V 也来自目标序列,但带因果掩码,目标是保证生成时不依赖未来;其三,cross-attention 的 Q 来自解码器当前状态,K/V 来自 encoder 输出,目标是建立目标端与源端的对齐。三者共享缩放点积注意力的基本形式:Attention(Q,K,V)=softmax(QK^T/sqrt(d_k))V,差别在于张量来源与掩码语义。把“共享形式”误认为“完全相同”,是很多结构图读反的根源。

实际使用 encoder 输出时,有几类注意事项。第一是 padding 与变长序列:批量训练中必须保证填充位置不贡献有效注意力,必要时对输出做长度还原。第二是维度一致性:decoder cross-attention、任务头、向量索引对 D 的假设要一致;若做了维度压缩、层归一化或特殊池化,应在接口文档中写清。第三是输出用途决定后处理:生成概率需要 softmax 与温度控制,检索向量常需归一化,分类 logits 不应直接解释为概率。第四是稳定性与可解释性:注意力权重可作为分析线索,但不能简单等同于严格因果解释;更可靠的判断应结合探针、消融、梯度或任务指标。第五是资源边界:encoder 的计算大致随序列长度呈注意力二次增长,长文本场景需评估显存、延迟与精度折中,不要默认任意长度都可线性承受。

回到最初的问题:Transformer encoder 的输出是什么? 它是一个与输入等长、维度为 d_model 的上下文感知隐状态序列;在编码器—解码器结构里,它作为 memory 提供给 decoder cross-attention 的 K/V;在理解类任务里,它作为可被池化、投影或检索的特征表示。它不是 token ID,不是原始 embedding,不是天然概率,也不是某一次注意力权重;它是整条序列经过双向建模后的“可查询表示层”。理解这一点,就能把结构图、张量形状、掩码语义和任务头串成一条清晰链路:ID 进入,表示成形,任务头决定它变成类别、向量还是下一个词的概率。