大规模语言模型架构演进：核心技术与定义解析

一、什么是大语言模型架构

大语言模型架构，是指支撑大规模文本生成与理解任务的神经网络结构设计方案。它规定了模型如何处理输入序列、如何组织注意力计算、如何存储和更新参数，以及如何在深层网络中传递信息。通俗地说，架构决定了模型的“骨架”，而训练数据、优化算法和超参数则决定了模型的“血肉”。

过去七年间，从最初的生成式预训练架构到今天的主流开源模型，底层结构并未发生颠覆性变化。真正的演进集中在若干关键组件的替换与优化上：位置编码方式、注意力机制的组织形式、激活函数的选择、归一化策略的安排等。这些看似细微的改动，在实际训练效率、推理成本和长序列处理能力上产生了显著影响。

二、为什么架构演进值得关注

对于开发者、技术选型人员和企业用户而言，理解架构演进的意义体现在以下几个方面：

第一，影响推理成本。 注意力机制的计算复杂度直接决定了模型在长文本场景下的显存占用和响应延迟。分组查询注意力等技术的引入，正是为了在保持效果的同时降低推理开销。

第二，决定长序列处理能力。 旋转位置编码等方案使模型能够更稳定地处理超长输入，这对文档摘要、代码理解、多轮对话等场景至关重要。

第三，关系训练稳定性与收敛速度。 激活函数和归一化策略的改进，能够加速模型收敛、减少训练中的梯度异常问题。

第四，影响部署与兼容性。 不同架构组件对推理框架、硬件加速器的支持程度不同，选型时需综合考虑生态兼容性。

三、核心架构组件解析

3.1 位置编码：从绝对位置到旋转位置

位置编码的作用是让模型感知序列中 token 的顺序关系。早期方案采用绝对位置编码，即为每个位置分配一个可学习的向量，直接加到 token 嵌入上。这种方式简单直观，但在处理超过训练长度的序列时泛化能力较弱。

旋转位置编码（RoPE）的核心思想是：通过旋转矩阵将位置信息注入到注意力计算的查询和键向量中，使注意力分数自然携带相对位置关系。其数学形式可简要理解为：对查询和键向量按维度分组，每组施加与位置相关的旋转角度。这样，两个 token 之间的注意力分数只依赖于它们的相对距离，而非绝对位置。

RoPE 的优势在于：

• 对长序列具有更好的外推能力；
• 不增加额外参数；
• 可与注意力计算无缝集成。

3.2 注意力机制：从多头到分组查询

标准多头注意力（MHA）为每个注意力头独立维护查询、键、值三组投影矩阵。虽然效果良好，但键和值矩阵的参数量和显存占用随头数线性增长，在推理阶段成为瓶颈。

分组查询注意力（GQA）将查询头分为若干组，每组共享同一组键和值投影。例如，若有 32 个查询头，可分为 8 组，每组 4 个查询头共享一组键值。这样，键值缓存（KV Cache）的显存占用降低为原来的 1/4，而效果损失通常很小。

另一种相关方案是多查询注意力（MQA），即所有查询头共享一组键值，压缩比更高，但效果损失相对更大。GQA 可视为 MHA 与 MQA 之间的折中方案，在实际应用中较为常见。

方案	键值头数	显存占用	效果保持
MHA	等于查询头数	高	最好
GQA	少于查询头数	中	较好
MQA	1	低	一般

3.3 激活函数：从 GELU 到 SwiGLU

激活函数为神经网络引入非线性表达能力。早期 Transformer 结构多采用 GELU 或 ReLU。近年来，SwiGLU 逐渐成为主流选择。

SwiGLU 的定义可表示为：对输入分别经过两个线性变换，其中一个经过 SiLU 激活后与另一个逐元素相乘。其简化形式为：

SwiGLU(x) = SiLU(W1 · x) ⊙ (W2 · x)

其中 SiLU 为自门控线性单元，⊙ 表示逐元素乘法。相比 GELU，SwiGLU 引入了门控机制，使网络能够动态调节信息流通，通常带来更好的训练效果。代价是参数量略有增加，因为需要额外的投影矩阵。

3.4 归一化策略

归一化用于稳定训练过程。早期方案在残差连接后施加层归一化（Post-LN），后来发现将归一化放在子层输入前（Pre-LN）更有利于深层网络的梯度传播。此外，均方根归一化（RMSNorm）因计算更简单、效果相当，也被广泛采用。

四、架构演进的实际影响

上述组件的替换并非孤立发生，而是协同作用。例如，RoPE 与 GQA 结合，使模型在长序列推理时既保持位置感知能力，又降低显存压力；SwiGLU 与 Pre-LN 搭配，提升了深层模型的训练稳定性。

以当前主流开源模型为例，其文本架构通常包含以下特征：

• 采用旋转位置编码；
• 使用分组查询注意力；
• 激活函数选用 SwiGLU 或其变体；
• 归一化采用 RMSNorm 与 Pre-LN 组合；
• 整体仍保持解码器-only 的堆叠结构。

这些选择共同构成了当前大语言模型架构的“事实标准”。

五、典型应用场景

理解架构组件有助于在以下场景中做出合理决策：

长文档处理。 需要模型处理数万 token 的输入时，RoPE 的外推能力和 GQA 的显存优化尤为关键。

高并发推理服务。 在线服务场景下，KV Cache 的显存占用直接影响并发数。GQA 或 MQA 可显著降低单请求显存，从而提升吞吐。

边缘或资源受限部署。 在显存有限的设备上，选择键值头数较少的注意力方案，配合量化技术，可实现更高效的部署。

模型微调与迁移。 了解架构细节有助于判断哪些组件可以冻结、哪些需要调整，以及是否兼容现有的微调工具链。

六、容易混淆的概念辨析

GQA 与 MQA 的区别。 MQA 是所有查询头共享一组键值，压缩最激进；GQA 是分组共享，保留更多多样性。两者目标一致，但压缩程度和效果保持不同。

RoPE 与绝对位置编码的区别。 绝对位置编码将位置信息加到输入嵌入上，位置关系隐式学习；RoPE 将位置信息注入注意力计算，相对位置关系显式建模。

SwiGLU 与 GELU 的区别。 GELU 是逐元素非线性函数；SwiGLU 是带门控的线性单元组合，参数量更多但表达能力更强。

七、使用注意事项

在实际选型与部署中，需关注以下问题：

• 推理框架兼容性。 部分推理加速框架对 GQA、RoPE 的支持程度不同，需确认目标框架是否已适配。
• 序列长度与显存规划。 即使采用 GQA，超长序列仍会带来显著显存开销，需结合分块注意力或滑动窗口等策略。
• 训练与推理的一致性。 若自行训练或微调，需确保位置编码、注意力掩码等实现与推理阶段一致，避免精度损失。
• 量化与精度权衡。 对键值缓存进行量化可进一步降低显存，但可能影响生成质量，需根据业务容忍度评估。
• 生态工具链成熟度。 选择主流架构组件通常能获得更好的工具支持和社区经验，降低集成风险。

八、总结

大语言模型架构的演进并非推倒重来，而是在核心骨架上持续打磨。旋转位置编码、分组查询注意力、SwiGLU 激活函数、RMSNorm 归一化等技术的引入，分别解决了长序列泛化、推理显存、训练稳定性和收敛速度等关键问题。理解这些组件的定义、原理与适用边界，有助于开发者在模型选型、部署优化和二次开发中做出更理性的判断。架构本身仍在演化，但其核心目标始终清晰：在效果、效率与可扩展性之间寻找更优平衡。