简介：很多开发者能调用大模型接口，却说不清Transformer内部各模块之间的差异与选择逻辑。本文以常见面试题为主线，对比Encoder与Decoder、两种注意力掩码、训练与推理、贪心解码与集束搜索、LoRA与Adapter等核心概念，帮助读者建立从结构到应用的完整判断框架。
在面试和实际工程中，关于Transformer与大模型的题目经常零散出现。真正拉开差距的，不只是能不能背出定义，而是能不能说明“两个方案之间差在哪里、为什么这样选、换一个方案会怎样”。
例如：同样是注意力掩码，填充掩码和序列掩码解决的问题不同，放错场景会导致训练崩溃或信息泄漏；同样是参数高效微调，LoRA与Adapter的插入位置和训练成本不同，适合的模型规模与任务类型也不同。
因此，本文不按简单问答罗列，而是把原始题目重新组织成几个核心对比维度，帮助读者形成可迁移的技术判断能力。
Transformer主要由编码器栈和解码器栈构成。编码器的作用是对输入序列进行双向上下文建模，解码器则根据编码表示与已生成内容逐步产生输出序列。
两者的关系不是“可互换组件”，而是分工明确的特征提取与序列生成结构。理解这一点，是后续判断掩码、位置编码和训练策略的基础。
自注意力机制中，Q是查询向量，表示“当前词想要从其他词那里获取什么信息”；K是键向量，表示“每个词能被检索到的特征”；V是值向量，表示“每个词实际提供的内容”。
三者都来自输入向量的线性映射，只是参数不同。Q与K交互产生注意力分数，分数再作用于V得到上下文表示。
对比来看：Q决定“要找什么”，K决定“是否被找到”，V决定“找到后拿到什么”。如果只讲“Q、K、V是三个向量”，没有说明它们在信息流中的差异，就难以进一步解释掩码和多头机制。
单头注意力只能从一个子空间捕捉词与词之间的关系，表达能力有限。多头注意力则把Q、K、V投影到多个低维子空间，分别计算注意力后再拼接结果。
核心优势不只是“算多次”，而是让不同头关注不同类型的关系：有的头可能擅长关注相邻语法结构，有的头关注远距离指代，有的头关注语义相似性。
从对比角度看，单头更像一个特征提取器，多头则是一组并行特征提取器。增加头数并不必然更好，头数过多会提高计算成本，且部分头可能学到冗余模式；头数过少则表达能力不足。实际配置需要在模型容量与计算效率之间权衡。
位置编码解决的是注意力机制天然对顺序不敏感的问题。没有位置信息时，“A B C”和“C B A”的注意力集合可能相同。
常见实现可分为固定位置编码和可学习位置编码。固定方式如正弦位置编码不参与训练，具有良好的外推性；可学习方式把位置当作参数随模型一起优化，在训练数据分布内通常表现更好，但外推到未见过的长序列时风险更高。
两者放在一起比较时，主要看任务是否需要处理比训练更长的输入、是否希望减少额外参数、以及数据量是否足够支撑可学习编码。
Encoder对当前位置的计算可以看到整个输入序列，因为其自注意力没有序列掩码，只有可能的填充掩码。Decoder在自注意力中必须屏蔽未来位置，每个位置只能看到自身及之前的输出。
这一差异决定了：Encoder适合理解型任务，如文本分类、序列标注、表示学习；Decoder适合生成型任务，如文本续写、机器翻译、对话生成。
进一步对比，Encoder的并行度高，因为每个位置的表示可以同时计算；Decoder训练时虽然也能并行，但推理阶段必须逐词生成，时间成本更高。
残差连接解决的是深层网络中的梯度消失和表示退化问题，它让信息可以绕过某些层直接传递，降低优化难度。层归一化则通过归一化单个样本的隐藏维度，稳定每层输入的分布，加快收敛并提高训练稳定性。
两者的差异可以这样理解：残差连接更像“信息高速公路”，保证信号不丢失；层归一化更像“交通规则”，让信号幅度保持在合理范围。
去掉残差连接后，层数较深时模型容易难以训练，损失可能停滞甚至震荡；去掉层归一化后，训练过程可能更不稳定，对学习率和初始化更敏感。两者都去掉时，深层Transformer通常很难收敛。
RNN按时间步串行处理，长序列需要更多步递推，存在梯度消失风险，且并行度低。Transformer通过自注意力一次计算所有位置之间的依赖，任意两个位置之间的交互路径长度固定，因此长距离依赖建模能力更强，并行度更高。
但这不意味着Transformer无条件更优：它的计算复杂度随序列长度呈平方级增长，资源占用与工程复杂度都需要额外关注。
在生产环境中，如果序列较短且历史信息依赖较强，轻量RNN类结构仍可能具有成本优势；长文档、长对话、高并行训练场景则通常更适合Transformer。
注意力掩码主要有填充掩码和序列掩码。
填充掩码用于屏蔽无效输入位置，防止模型把注意力分配到统一长度处理时填充的位置上，保证语义表示不被无关内容干扰。序列掩码用于Decoder自注意力，屏蔽未来位置，保证训练时模型不能“偷看”后续词。
两者如果混淆，会产生不同后果：在Encoder自注意力中使用序列掩码会破坏双向建模能力；在Decoder中遗漏序列掩码会导致信息泄漏，生成文本流畅度看似合理，但模型无法学会真正的自回归生成。
参数量由模型权重矩阵的尺寸决定，反映模型保存和加载时占用的存储空间；计算量通常以浮点运算数衡量，反映一次前向或反向传播需要多少算力。
两者虽然高度相关，但并不是同一个概念。一个模型的参数量大，不等于每次推理的计算量一定更高，一些稀疏结构可以通过跳过部分参数降低运算次数。
评估模型规模时，参数量更直观，便于比较体积；计算量更贴近训练与推理成本。在实际选型中，应同时看参数量、计算量和实际吞吐。
生成式AI的核心是学习输入数据分布后生成新内容，不局限于文本，还可扩展到图像、音频、视频。常见文本任务包括文本摘要、机器翻译、对话生成、代码生成、问答合成等。
与判别式AI相比，判别式模型更关注分类边界和条件概率，而生成式模型需要学习更细粒度的数据分布，因此对数据规模和模型容量的需求更高。
大模型需要海量数据，是因为参数空间极大，数据不足时模型容易记住训练样本的表层特征，而不是学习可泛化的语言规律。
数据不足的常见表现包括：训练损失很低但验证效果提升有限、对新领域输入敏感、生成内容重复或模式单一、对少见词元处理不稳定。
因此，数据质量与多样性的重要性不亚于数据数量。对于垂直场景，可先在通用数据上预训练，再用少量高质量领域样本进行微调。
过拟合指模型在训练集上表现远好于在未见数据上的表现。实际判断可以从几个信号入手：训练损失持续下降而验证损失上升；生成内容机械复述训练样本；潜在空间对微小扰动过于敏感，或模型对特定提示模板依赖过强。
与欠拟合对比，欠拟合的典型表现是训练和验证指标都不高，模型能力不足；过拟合则是训练指标较好但泛化能力差。应对策略也不同：欠拟合通常需要更多训练步数或更大模型，过拟合则需要更多数据、正则化手段或减少训练轮数。
训练阶段模型计算前向传播、损失、反向传播并更新参数，同时需要保存大量中间激活用于梯度计算，显存占用高。推理阶段只做前向传播，参数固定，激活可以更激进地复用和释放。
训练关注收敛速度、稳定性和最终泛化能力；推理关注延迟、吞吐、资源占用和结果可控性。因此，模型在训练后部署到线上时，通常需要额外的量化、剪枝、批处理或缓存策略，而不只是“把训练好的模型直接加载上去”。
涌现能力指的是模型规模达到一定程度后，某些任务能力突然出现或显著提升，而小模型几乎无法完成。常见例子包括复杂推理、上下文理解、指令跟随和多步规划等。
缩放定律则描述了模型参数、数据规模、计算量与损失之间的大致幂律关系。它为大模型研发提供了“继续扩大规模仍有收益”的预测依据。
两者并不等同：缩放定律描述整体训练损失的下降趋势，涌现能力更偏向特定任务能力的非连续跃升。前者回答“要不要扩大规模”，后者回答“扩大规模可能带来哪些新能力”。
训练损失持续下降只说明模型在训练数据上的预测误差变小，不代表模型在真实任务上一定变好。还需要结合验证损失、评测指标和生成样例判断。
如果训练损失在下降而生成内容质量停滞甚至变差，可能说明模型过度拟合训练分布，或评测方式与训练目标不一致。
较大的Batch Size可以更充分利用硬件并行能力，梯度估计更稳定，但可能让模型陷入较尖锐的极小值，泛化表现不一定更好。较小的Batch Size梯度噪声更强，有时能帮助模型跳出局部最优，但训练过程更不稳定，收敛可能更慢。
实际调整时，通常先根据显存确定最大可行Batch Size，再结合学习率进行缩放。必要时使用梯度累积模拟更大批量，而不是盲目追求单卡大批量。
学习率过大时，参数更新幅度过大，训练损失可能出现震荡甚至发散，表现为损失突然上升到NaN。学习率过小时，参数更新过慢，训练损失长时间停滞，模型几乎不学习。
可以在训练初期使用较小的学习率进行预热，然后升高到目标学习率，再逐步衰减。这样能够降低初始不稳定风险，同时保证后期被充分优化。
对于生成任务，常用指标包括精确匹配、n-gram重叠类指标、困惑度以及基于语言模型的语义相似度评估。
精确匹配适合结构化程度较高的答案，但对措辞变化过于敏感。n-gram重叠类指标能衡量片段层面的重合程度，但难以捕捉语义等价。基于语言模型的语义评估更接近人类判断，但本身也可能存在偏差。
不同指标回答的问题不同，实际使用时不应只看单一数值。
困惑度主要反映模型对测试文本的预测置信度。困惑度低说明模型对文本分布拟合较好。
它与生成质量并不总是一一对应。一个模型可以输出非常流畅但语义错误的内容，此时困惑度可能依然较低。因此困惑度更适合作为训练曲线的趋势指标，而不是最终生成体验的唯一评判标准。
贪心解码每一步都选择概率最高的词元，计算快、实现简单，但容易在早期做出错误选择后无法挽回，生成结果可能重复或偏离预期。集束搜索在每步保留多个候选序列，再根据累积概率选择较优路径，生成质量通常更稳定，但计算成本随束宽增加而上升。
从场景看，贪心解码适合对实时性要求较高、对表达多样性要求不高的任务；集束搜索更适合需要整体质量和一致性的任务。束宽过大时，计算成本上升且生成文本可能趋于平庸。
温度参数控制输出分布平滑程度。温度较低时，模型更偏向选择概率较高的词元，结果确定但可能保守重复；温度趋近于0时，输出接近贪心解码。温度较高时，分布更平滑，低概率词元被选中机会提高，表达更多样，但错误风险同步上升。
因此，温度不是越高越好。开放式创作可以适当提高温度；事实性回答、代码生成、结构化输出等场景更适合较低温度。
限制最大生成长度可以防止模型陷入重复或无限生成，控制推理时间与资源消耗。不限制时，模型可能在开放式任务中持续输出低质量内容，甚至长时间占用计算资源。
但限制过短会截断有效结果，影响答案完整性和任务完成度。实际使用中应根据任务类型、输入长度和预期输出范围设置合理的上界。
两者都属于参数高效微调思路，目标是冻结大部分预训练权重，只训练少量新增或选定参数，降低显存与数据需求。
Adapter通常在Transformer的子层后插入小型瓶颈模块，原始权重保持冻结。LoRA则通过低秩分解对权重增量建模，可在训练后合并进原权重，推理时几乎不增加额外延迟。
从实现角度看，Adapter会在推理时引入额外模块，增加少量计算；LoRA合并后推理结构与原模型一致，部署更简单。实际选择时需要考虑模型规模、是否允许修改推理结构、训练资源以及下游任务数量。
围绕Transformer和大模型的问题，很多看似独立的点都可以用“差异与选择”连接起来：
Encoder与Decoder的差异决定模型适合理解还是生成；填充掩码与序列掩码分别解决无效位置和未来信息问题；参数高效微调方法需要在推理开销、训练成本和实现复杂度之间权衡；贪心解码与集束搜索是在延迟与质量之间做选择；评估指标则从不同侧面回答“模型到底好不好”。
在学习和应用大模型时，建议不要把注意力只放在“调通结果”上，而是对关键模块的选择依据、替代方案和变化后果保持敏感，这样才能在面对陌生任务或性能瓶颈时更快定位问题。