开源大模型新旧架构对比：MLA与MQA如何选型

一、对比背景：一次“架构回退”为何值得关注

近期，某开源大模型团队发布了新一代旗舰模型的预览版本并同步开源，社区讨论的焦点集中在一个看似“倒退”的决定上：新模型放弃了从上一代起沿用、且一度被业界认为“先进开源架构已经收敛”的多头潜在注意力（MLA）方案，转而采用更早期的多查询注意力（MQA）方案。与此同时，同期发布的多个主流开源模型仍然坚守 MLA 路线。

从公开的使用反馈看，新一代模型的整体能力提升是明显的：

• 数学推理、代码生成与 Agent 指令执行能力较上一代显著增强，幻觉现象明显减少；
• 代码能力与顶级闭源模型相比仍有差距，但与主流开源模型处于相近的体验水平；
• 参数规模从上一代的约 670B 提升至约 1.6T，服务定价随之上升，但部分服务商对上下文缓存命中的输入价格给出了极深的折扣，显著降低了尝鲜门槛。

真正值得关注的，不是“谁对谁错”，而是这一事件揭示的两个判断：

第一，大模型基础架构远未收敛。几个月前社区普遍认为注意力机制已经定型，而这次路线切换说明，KV 缓存、解码带宽、算子生态、系统调度之间仍存在大量可挖掘的优化空间。

第二，系统级耦合优化比单点创新更难。MLA 在“单点结构设计”上表达力更强，但需要为它定制推理内核；MQA 结构简单，反而更容易与编译器、调度器、算子实现做整体协同优化。这是两条路线最本质的分歧。

本文对比的对象由此明确：方案A——多头潜在注意力（MLA）路线，通过低秩压缩潜向量缩减 KV 缓存；方案B——多查询注意力（MQA）路线，通过查询头共享键值缩减 KV 缓存。下文先厘清定义与相同点，再逐维度分析差异，最后给出场景化选型建议与迁移注意事项。

二、对象定义：两种注意力方案分别解决什么问题

在自回归生成式模型中，每生成一个 token 都要读取此前所有 token 的键值（KV）信息。随着上下文变长、并发增大，KV 缓存的显存占用和读取带宽成为推理的主要瓶颈。两种方案都是为了解决这一问题，但思路截然不同。

方案A：多头潜在注意力（MLA）——核心思想是“低秩压缩”。它不直接缓存每个头的 K/V，而是将其联合投影到一个维度低得多的潜向量空间，推理时只缓存潜向量，需要时再上投影还原各头的 K/V。由于压缩在训练中习得，它能在大幅缩减缓存的同时近似保留标准多头注意力（MHA）的表达能力，属于“结构补偿”路线。

方案B：多查询注意力（MQA）——核心思想是“头间共享”。所有查询头共享同一组 K/V 头，KV 缓存直接缩减为原来的 1/h（h 为查询头数量），解码阶段的带宽压力随之大幅下降。它牺牲单层表达多样性，换取极简的缓存结构与最通用的内核实现，属于“系统协同”路线。

补充：两者之间还存在分组查询注意力（GQA）这一折中方案，即若干查询头共享一组 K/V，可视为 MQA 的推广形式。本文聚焦两端。

用伪代码直观对比三种结构下每层 KV 缓存的形状差异：

设 h 为查询头数，d_head 为每头维度，d_latent 为潜向量维度（远小于 h × d_head）
MHA：kv_cache = (h,       seq_len, d_head)   # 每头独立
MQA：kv_cache = (1,       seq_len, d_head)   # 全部头共享
MLA：kv_cache = (seq_len, d_latent)           # 只存低秩潜向量

三、相同点分析

两条路线看似方向相反，但在目标与技术逻辑上高度一致：

1. 解决的问题相同：都针对自回归解码中 KV 缓存膨胀、显存带宽受限的瓶颈，目标是支撑更长上下文与更高并发。
2. 都以牺牲“标准结构”为代价换效率：MLA 改变了 K/V 的存取方式，MQA 改变了头间的共享关系，两者都需要在训练阶段完成适配，无法在推理阶段简单替换。
3. 都需要训练与推理协同设计：缓存结构决定内核实现，内核实现影响调度策略，两条路线都要求架构、算子、推理框架三方协同，而非单纯的算法选择。
4. 都经过大规模开源验证：两条路线都已在数千亿参数级别的开源模型上完成工程验证，均支持张量并行、流水线并行等主流分布式推理策略。
5. 最终收益都指向成本：降低缓存与带宽的最终目的都是降低单 token 推理成本，让长上下文、高频调用应用在商业上可行。

四、核心差异分析

1. KV 缓存结构与显存占用。 MQA 的缓存理论上限极小——只有一组 K/V 头；MLA 的缓存取决于潜向量维度，通常也远小于 MHA。两者对显存的节约都在量级水平，具体谁更省取决于潜向量维度与头数的具体设定，不能一概而论。差异更多体现在“省下的显存用来做什么”：MQA 倾向于转化为更大批次、更高并发，MLA 则同时支撑更长有效上下文。

2. 解码带宽与吞吐。 解码是典型的带宽受限场景。MQA 只需读取极小的 KV 缓存，带宽压力最小，批处理吞吐天花板更高；MLA 需读取潜向量并做上投影，带宽节省显著但多一次投影计算。在极端吞吐导向的离线批处理场景，MQA 理论上限更高；在延迟敏感的在线对话场景，两者差距更多取决于内核实现质量而非结构本身。

3. 表达能力与质量实现路径。 这是最根本的分歧。MLA 通过低秩压缩近似 MHA，单层表达能力接近标准结构，“结构本身”对质量有直接贡献；MQA 共享 K/V 后单层表达多样性下降，模型质量更依赖其他系统要素补偿——更大的参数规模、更充分的数据与后训练、注意力连接结构上的其他改进。新一代模型敢于回归 MQA 的重要前提，正是参数规模提升到万亿级并配合了大量协同改进，用“整体系统”补回“单点结构”的损失。这也解释了为何采用 MLA 的同期模型与新模型体验相近：质量是系统涌现的结果，不是某一个模块的功劳。

4. 算子生态与工程复杂度。 MLA 的缓存与计算图和通用注意力差异较大：潜向量存取、旋转位置编码的解耦处理、专用注意力内核等都需要推理框架单独适配，依赖通用引擎的团队适配成本更高；有算子研发能力的团队则可通过定制内核充分兑现其结构优势。MQA 几乎“无痛”：标准注意力内核稍作修改即可支持，缓存管理可复用分页缓存等通用机制，也更容易与上下游算子融合。

5. 系统级协同优化空间。 新一代模型团队的重要经验是：单点结构创新到达一定高度后，继续提升要靠系统级耦合优化。MQA 结构简单，反而给底层协同留出空间——结合面向 GPU 的开源算子编译工具、新型优化器、注意力连接结构改进等社区成果，把注意力计算与后续算子深度融合，整体收益可能超过单点结构的理论优势。评估架构路线时，不能只看结构本身，还要看它与整个软硬件栈的“可协同性”。

6. 成本结构与定价影响。 KV 缓存大小直接影响服务商的缓存复用成本。新模型上线后缓存命中输入价格大幅下调，正是小缓存结构带来定价空间的体现：缓存越省、命中时边际成本越低，服务商越有让利动力。对企业用户而言，架构路线的选择会通过定价传导为真实账单差异，选型时应把缓存命中策略纳入成本测算。

7. 训练与迁移成本。 两条路线之间不可原地迁移：注意力结构改变意味着需要重新预训练或大规模继续训练，已有 MLA 模型无法“转换”为 MQA 模型。对使用方而言，切换架构的实质是“换模型”而非“改配置”；对研发方而言，这是需要重新承担训练成本与效果风险的重大决策。这也是多数团队在 MLA 生态成熟后选择留守的原因。

8. 生态成熟度与适配广度。 由于多数主流开源模型采用 MLA，围绕它的内核优化、量化方案、缓存管理实践积累更丰富，使用现成工具链的确定性更高；MQA 内核通用、门槛低，但围绕它的近期生态厚度仍需时间重建。

五、对比总表

对比维度	方案A：MLA（多头潜在注意力）	方案B：MQA（多查询注意力）
核心思路	低秩压缩，只缓存潜向量	头间共享，只缓存一组 K/V
KV 缓存占用	小，取决于潜向量维度	极小，约为 MHA 的 1/h
解码带宽	显著降低，需额外上投影计算	最低，带宽瓶颈缓解最彻底
单层表达能力	接近标准多头注意力	相对下降，依赖规模与数据补偿
内核与工程复杂度	需定制内核与专用缓存管理	通用内核即可支持，易融合
系统级优化空间	相对有限	更大，利于软硬件协同
对质量的贡献方式	结构补偿，单点贡献直接	系统协同，整体涌现
路线间迁移成本	架构切换需重新训练	同左，不可原地转换
生态与工具链	主流开源模型多采用，积累丰富	内核通用，近期实践相对较少但门槛低
典型受益场景	依赖成熟引擎快速落地、重视单点表达力	追求极致吞吐、具备系统优化能力

六、典型场景下的选择

场景一：高并发多轮对话与 Agent 应用。 上下文长、请求密集、延迟敏感，缓存命中率与吞吐是关键。两条路线都远优于标准多头注意力；若服务商对缓存命中定价友好，实际成本差异可能比架构差异更显著。建议以“缓存命中策略 + 实测延迟”为决策依据，而非架构名词。

场景二：离线批量推理与数据加工。 吞吐导向，带宽瓶颈最突出，MQA 类结构理论天花板更高；若所选模型本身仅有 MLA 版本，则无需纠结，重点放在批调度与内核优化上。

场景三：端侧与边缘部署。 显存极度受限，KV 缓存大小是硬约束。共享式结构与低秩压缩结构都可行，需结合具体模型的实测质量与显存占用综合评估。

场景四：自建推理平台与托管服务。 自建平台且具备算子研发能力的团队，可从 MQA 路线的系统级优化中获得更大收益；以快速落地为目标的团队，选择引擎适配成熟的路线更省力。若希望在云上低成本验证，可借助百度智能云提供的 GPU 算力实例、容器平台、模型推理服务与监控告警等通用能力搭建灰度对比环境，降低自建与试错成本。

七、选型建议

1. 看负载特征：上下文越长、并发越高，越应关注 KV 缓存与带宽指标；短上下文低并发场景，架构差异影响有限，模型质量与生态适配更优先。
2. 看团队能力：具备算子与编译优化能力的团队，可关注系统级协同空间更大的路线；工程资源有限的团队，优先选择推理引擎适配成熟的路线。
3. 看成本结构：将缓存命中定价、单位 token 成本、峰值扩容成本纳入测算，避免只比较参数规模或榜单成绩。
4. 看开源与闭源的边界：对代码能力要求极高且预算充足的团队，顶级闭源模型仍是选项之一；开源自部署则在数据私有、成本可控、可深度定制方面占优，两者并非替代关系。
5. 看质量归因：模型能力是数据、规模、后训练与架构协同的结果，不要把“换了注意力结构”直接等同于能力升降，应以真实任务上的自有评测为准。
6. 不做绝对化判断：“先进架构已收敛”的判断已被本次切换证伪，保持架构敏感度比站队更重要。

八、迁移与使用注意事项

1. 评测回归先行：围绕幻觉率、代码能力、Agent 指令执行、长上下文召回等维度建立自有基准集，切换前后全量回归，避免被通用榜单误导。
2. 推理栈适配：确认目标模型在所用推理框架下的内核支持、分页缓存管理、量化方案是否完备；MLA 类模型需特别确认潜向量缓存与位置编码的特殊实现已获支持。
3. 缓存与计费重估：不同架构、不同服务商的上下文缓存命中策略差异很大，切换后应重测命中率并重算成本模型。
4. 灰度与回滚：通过流量切分进行 A/B 验证，监控首 token 延迟、每 token 延迟、显存水位与吞吐曲线，保留快速回滚路径。
5. 接口与权限：模型切换可能伴随接口参数、上下文长度上限、安全策略变化，客户端代码与权限配置需同步调整。
6. 混合部署过渡：过渡期可采用双模型并行、按场景路由的方式逐步迁移，降低一次性切换风险。

九、总结

新一代开源旗舰模型从 MLA 回归 MQA，本质上是在“结构补偿”与“系统协同”两条路线之间的重新权衡：MLA 以低秩压缩在单点上兼顾缓存与表达力，适合依赖成熟生态、追求确定性落地的团队；MQA 以极简结构换取最大的系统级优化空间，适合具备算子与编译能力、追求极致吞吐的团队。两者共同证明的是：大模型架构远未收敛，注意力机制、优化器、算子编译等层面的开源协作仍在快速推进，充足的人才密度与竞争烈度正把开源社区推向新的质变。

对使用者而言，与其追问“哪条路线一定更好”，不如回到自身的负载特征、工程能力、成本结构与质量基线，用实测数据完成属于自己的选型判断——这正是对比分析的价值所在。