简介:从2019年的经典稠密解码器架构,到2024—2025年广泛采用的旋转位置编码、分组查询注意力和混合专家结构,大模型的整体骨架似乎变化不大,内部实现却已明显分化。本文不涉及训练数据和评测榜单,只聚焦架构本身,系统对比两类方案在位置编码、注意力机制、归一化、激活函数与前馈结构上的差异,说明这些差异如何影响推理成本、工程复杂度和扩展能力,并给出场景化选型与迁移建议。
自第一代规模化生成式预训练模型出现以来,已经过去七年左右。把 2019 年前后的代表性模型与 2024—2025 年的旗舰开源模型放在一起看,第一印象往往是”骨架几乎没变”:都采用仅含解码器的 Transformer 主干,都包含多头注意力模块和前馈网络,都通过预测下一个词元来建模语言。
但在细节层面,变化相当明显:位置编码从绝对位置编码走向旋转位置编码(RoPE);标准多头注意力(MHA)在很大程度上让位于分组查询注意力(GQA);SwiGLU 逐渐取代 GELU 成为主流前馈激活;部分旗舰模型进一步用混合专家(MoE)结构替换稠密前馈层。
需要提醒的是,要据此判断某个模型”表现更好”或”架构更先进”非常困难:
不过,架构层面的结构差异是公开可观察的,而且直接影响显存占用、推理吞吐、上下文长度与工程复杂度,对选型有直接参考价值。因此本文不讨论评测成绩与训练算法,只聚焦两类架构方案本身。
需要说明的是,两者并非前后替代关系。经典稠密架构至今仍是大量中小规模模型与专用模型的基础,新一代架构则是在更长上下文、更高并发、更大参数规模等需求下的工程演进。理解差异来源,比记住”谁更新”更重要。
方案A:经典稠密解码器架构(2019 年前后的代表性设计)
它建立在”解码器-only Transformer”范式之上:每个位置只能关注自己和之前的位置,所有输入词元都经过同一组参数计算。主要构成包括:
其设计目标是以简单、直观、易于复现的结构,验证规模化预训练的有效性。
方案B:新一代高效架构(2024—2025 年的代表性设计)
它在保持整体骨架不变的前提下,针对训练效率、推理成本和长上下文能力做了一系列替换。不同模型的具体组合不尽相同,普遍采用的组件包括:
其设计目标是在有限算力预算下,让训练更稳定、上下文更长、推理更省资源。
两类方案共享一系列基础设计,这也是”看起来很像”的根源:
换言之,两者的”骨架”和”目标”一致,区别在于围绕效率与可扩展性所做的结构性取舍。
差异来源:注意力本身对词序不敏感,模型需要额外机制获知词元位置。
带来的影响:
代价与边界:旋转编码使长序列下注意力得分的尺度更容易漂移,通常需要更谨慎的初始化、归一化与训练策略。外推能力也不是无条件的,超出训练分布过远仍会出现明显退化。
差异来源:标准多头注意力中,每个头的 Q、K、V 投影相互独立,头数等于键值头数。分组查询注意力把查询头划分为若干组,每组内多个查询头共享同一组 K、V 投影;极端情况下所有头共享一组,即多查询注意力(MQA)。可理解为”查询保持多样,键值适度共享”的折中。
量化影响:推理阶段每生成一个词元,都要把缓存的 K、V 从显存读入计算核心,因此解码速度往往受显存带宽制约。KV 缓存占用可按以下通用公式估算:
# 仅解码阶段 KV 缓存占用(字节)kv_bytes ≈ 2 × batch_size × seq_len × num_layers × num_kv_heads × head_dim × dtype_bytes# 2 表示键和值各一份;dtype_bytes 为每元素字节数(如 float16 为 2)
在相同层数、头维度和精度下,缓存占用与键值头数成正比。例如查询头数为 32,键值头数分别为 32(多头注意力)、8(分组查询,4 个查询头共享一组)、1(多查询注意力)时,键值缓存分别约为后两者的 4 倍和 32 倍。
带来的影响:
代价:键值共享降低了表示的自由度。分组过多时,模型在需要细粒度区分的任务上可能损失一部分表达能力,因此分组数是需要权衡的超参数。此外,切换键值头数会改变缓存布局,既有服务端需要相应改造。
# 示意性伪代码:多头注意力与分组查询注意力的键值共享差异# 以查询头数 8、键值头数 2 为例def mha_attention(q, k, v, num_heads):# 多头注意力:查询头数 = 键值头数,逐头独立计算outputs = []for h in range(num_heads):outputs.append(attend(q[h], k[h], v[h]))return concat(outputs)def gqa_attention(q, k, v, num_heads, num_kv_heads):# 分组查询注意力:num_kv_heads < num_heads# 查询头按组划分,组内共享一组 K、Vgroup_size = num_heads // num_kv_headsoutputs = []for g in range(num_kv_heads):for h in range(g * group_size, (g + 1) * group_size):outputs.append(attend(q[h], k[g], v[g]))return concat(outputs)# 注:实际实现会将 Q 变形为 (批, 组, 组大小, 头维度) 以向量化执行
带来的影响:
代价与边界:去掉均值中心化后,激活分布是否合适更依赖初始化与学习率设置。归一化位置从子层之后移到子层之前,会改变梯度回传路径,因此网络越深,这类细节越需要重新验证。
带来的影响:
# 示意性伪代码:SwiGLU 前馈层def swiglu_ffn(x, W_gate, W_up, W_down):gate = silu(x @ W_gate) # 门控分支up = x @ W_up # 直通分支return (gate * up) @ W_down
代价:两个分支增加了实现与算子融合的复杂度,对推理框架的核函数支持要求更高;同时引入更多可学习矩阵,模型体积相应变大。
这是两类方案在工程层面差别最大的一环。
带来的影响:
代价与边界:
# 示意性伪代码:混合专家层的前向计算(top-k 路由)def moe_layer(x, router, experts, top_k=2):scores = router(x) # 每个词元对各专家的打分top_scores, top_idx = topk(scores, k=top_k)weights = normalize(top_scores) # 选中的专家权重归一化y = zeros_like(x)for k in range(top_k):idx = top_idx[:, k]w = weights[:, k:k+1]# 实际实现会按专家对词元分组批处理,并处理容量上限与溢出y += w * experts[idx](x)return y
| 对比维度 | 方案A:经典稠密解码器架构 | 方案B:新一代高效架构(含混合专家) | 对使用者的主要影响 |
|---|---|---|---|
| 整体结构 | 解码器-only Transformer,稠密堆叠 | 骨架相同,组件与并行策略升级 | 两者可共用同一套数据与评测流程 |
| 位置编码 | 可学习的绝对位置编码 | 旋转位置编码,可配合外推技术 | 后者更易支持长上下文 |
| 注意力 | 多头注意力,键值头数等于查询头数 | 分组查询注意力,键值头数更少 | 后者键值缓存更小,并发更高 |
| 归一化 | LayerNorm,含缩放与偏移参数 | RMSNorm,仅缩放 | 后者计算更省、混合精度更稳 |
| 激活函数 | GELU 等逐点激活 | SwiGLU 门控激活 | 后者表达力更强,实现更复杂 |
| 偏置项 | 线性层普遍带偏置 | 常取消偏置 | 后者参数更少、算子更简单 |
| 前馈结构 | 稠密 FFN,全部参数参与计算 | 可替换为混合专家,稀疏激活 | 后者算力与显存解耦,但显存占用高 |
| 参数规模与算力 | 参数越多算力越大,近似线性 | 总参数可大、激活参数可小 | 后者在显存充足时更具性价比 |
| 推理显存 | 键值缓存与模型权重均可预估 | 权重显存随总参数量上升,缓存反而更小 | 需分别评估权重与缓存两部分 |
| 分布式通信 | 主要依赖张量并行与流水线并行 | 额外引入专家并行,通信量更大 | 后者对互联带宽更敏感 |
| 训练稳定性 | 成熟度高,调参经验丰富 | 需处理路由坍塌与负载均衡 | 后者调参门槛更高 |
| 工程复杂度 | 低,算子实现与部署路径成熟 | 中高,需要融合算子与专家调度 | 后者对平台与团队能力要求更高 |
| 典型适用 | 中小规模、专用任务、资源受限部署 | 大规模通用能力、长上下文、高并发服务 | 二者可按业务分层组合 |
从一种架构切换到另一种,通常需要关注以下方面:
把 2019 年前后的经典稠密架构与 2024—2025 年的新一代高效架构并排比较,可以看到:解码器-only 的骨架、自回归的建模目标、缓存复用的推理方式并没有变;真正变化的是”如何更便宜、更稳定地实现同一骨架”。
具体差异集中在五个可量化的点上:位置编码从绝对查表变为相对旋转,注意力从多头变为分组查询,归一化从 LayerNorm 变为 RMSNorm,激活从 GELU 变为门控式的 SwiGLU,前馈结构从稠密变为可稀疏激活的混合专家。这些替换分别改善长上下文能力、推理并发、训练数值稳定性和算力与显存的配比,同时各自引入了新的实现复杂度与调参门槛。
因此,选型时不妨按以下顺序回答三个问题:业务瓶颈在算力、显存还是上下文长度;团队是否具备相应的工程与运维能力;现有工具链是否支持目标架构。答案不同,结论自然不同,而不必简单归结为”新的一定更好”。