跨层复用 KV Tensor：缩小大模型 KV Cache 的关键技术

一、概念定义：跨层复用 KV Tensor 是什么

跨层复用 KV Tensor（也称共享 KV Cache、跨层注意力 Cross-Layer Attention）是一种面向 Transformer 大模型推理的架构级优化技术。其核心思想是：在自回归生成过程中，让网络中靠后的层不再独立计算和维护自己的 Key/Value 状态，而是直接复用靠前层已经计算出的 Key-Value 张量，使“一次计算、多层使用”成为可能，从而成倍降低 KV Cache 的显存占用与访存开销。

可以从三个视角理解这一定义：

• 技术视角：它改变的是“每层注意力各自缓存一套 K/V”的默认假设，将 KV 状态的组织粒度从“逐层独享”变为“层间共享”，属于模型结构层面的原生优化，而非纯粹的外部工程技巧。
• 资源视角：它直接压缩了推理显存中增长最快的部分——KV Cache，使同样的显存预算可以容纳更长的上下文或更大的并发批次。
• 业务视角：它重新平衡了“长上下文能力”与“硬件成本”之间的矛盾，让端侧设备、中小规模推理集群也能承载长序列任务。

二、背景与价值：KV Cache 为什么必须“瘦身”

Transformer 采用自回归方式逐 token 生成文本。为避免每生成一个 token 就重算全部历史序列的注意力，推理框架会把每一层的 Key、Value 缓存下来，这就是 KV Cache。它在带来速度红利的同时，也构成了三重压力：

1. 显存容量压力。KV Cache 大小可用如下通用公式估算：

   KV Cache ≈ 2 × 层数 × 序列长度 × KV 头数 × 每头维度 × 批大小 × 每元素字节数

   以一个 32 层、32 个 KV 头、每头维度 128、FP16 精度的典型配置为例，仅处理 32K 上下文、批大小为 1 时，KV Cache 就约为 16 GiB。上下文越长、并发越大，这一数字线性甚至倍数增长，很快就会超过模型权重本身。

2. 显存带宽压力。解码阶段每生成一个 token 都要完整读取一遍 KV Cache，当 KV Cache 体量过大时，访存就成为解码速度的主要瓶颈——KV Cache 越大，单 token 生成延迟越高。

3. 并发扩展压力。批处理是提升吞吐的关键手段，但每个请求都持有独立的 KV Cache，显存迅速被占满，服务只能以较小批次运行，单位 token 成本居高不下。

因此，“缩小 KV Cache”已成为当前大模型架构设计的核心主题之一。业界常见手段包括：头间共享（GQA/MQA）、跨层共享、KV 量化、滑动窗口注意力、分页式显存管理等。跨层复用的独特价值在于：它从“层”这一维度直接削减了重复的 KV 存储，且与其它手段正交、可叠加。

三、核心组成与工作原理

3.1 默认方式：逐层独立

标准 Transformer 中，每一层都有自己的注意力投影矩阵。前向计算时，每层将输入投影为该层专属的 K/V 并写入缓存；解码时每层读取自己的 K/V 参与注意力计算。层数越多，缓存份数越多。

3.2 跨层复用的常见形态

• 全局共享：整个模型只计算一份 K/V，后续所有层直接复用。压缩率最高，但对模型表达能力的约束也最强。
• 分组共享：将若干相邻层划为一组，组内共享一份 K/V，组间各自独立。例如每 2 层或每 4 层共享一份，KV Cache 相应缩减为原来的 1/2 或 1/4。这是当前主流开源模型大规模落地时最常见的选择，在显存收益与模型质量之间取得平衡。
• 跨层投影：后续层不直接照搬前面的 K/V，而是通过一个轻量变换（如线性映射）从共享张量派生出本层所需状态，兼顾共享与差异化表达。

近期发布的某主流开源权重模型系列，就在其面向端侧与小型本地设备的小型模型中，将“共享 KV Cache”作为核心架构改动之一，使后续层复用前面层已计算的 Key-Value 状态，从而降低长上下文场景下的显存占用与计算成本。值得指出的是，这一思路并非该系列首创——学术界此前已提出 Cross-Layer Attention 等同类方案，但将该机制大规模应用于主流开源架构，仍具有重要的工程示范意义。

3.3 与 GQA 的叠加：两个维度的共享

Grouped Query Attention（GQA，分组查询注意力）是另一个被广泛采用的 KV 缩减手段：让多个 Query 头共享同一组 KV 头，例如 32 个 Query 头共享 8 个 KV 头，KV Cache 即缩减为原来的 1/4。GQA 压缩的是“头维度”，跨层复用压缩的是“层维度”，二者正交，可以叠加使用。以一个 32 层模型为例：先经 GQA 将 KV 头数从 32 降到 8，再以每 2 层共享一份 KV，则 KV Cache 相对朴素方案可缩减约 8 倍，前述 16 GiB 的示例即可降至约 2 GiB。

3.4 示意伪代码

# 默认：逐层独立缓存
for layer in layers:
    k, v = project_kv(layer, x)      # 每层各自计算
    cache.append(k, v)               # 每层各存一份
    x = attend(layer, x, k, v)
# 跨层复用：组内共享
for i, layer in enumerate(layers):
    if i % group_size == 0:
        shared_k, shared_v = project_kv(layer, x)        # 组首层计算
    else:
        shared_k, shared_v = reuse(shared_k, shared_v)   # 组内其余层复用
    x = attend(layer, x, shared_k, shared_v)

四、与相关概念的区别与联系

技术	共享/压缩维度	是否减少 KV 总量	典型做法
MQA / GQA	头维度	是	多个 Query 头共享一组 KV 头
跨层复用 KV Tensor	层维度	是	后续层复用前面层的 K/V
KV Cache 量化	数值精度	是（按字节）	FP16 改为 FP8/INT4 存储
滑动窗口注意力	时间维度	是	只缓存最近窗口内的 K/V
分页式显存管理	管理粒度	否	按页分配、减少碎片

需要强调的是，这些手段彼此正交：一个现代推理系统完全可以同时采用 GQA + 跨层共享 + KV 量化 + 分页管理，获得乘法级的显存收益。其中分页式管理尤其容易混淆——它优化的是“怎么存”（减少碎片、提升利用率），而跨层复用优化的是“存多少”（从源头减少状态数量）。

五、典型适用场景

1. 端侧与边缘设备本地推理。手机、车机、嵌入式设备内存极其有限，小型模型配合跨层共享后，可在同等内存预算下支撑更长的上下文窗口，这是近期主流开源小型模型率先引入该机制的直接原因。
2. 长上下文应用。长文档阅读理解、代码库分析、多轮长会话等场景中，序列长度动辄数万 token，KV Cache 往往超过权重体积，跨层复用能显著放宽可服务的最大上下文长度。
3. 高并发在线推理服务。KV Cache 变小意味着同等显存可容纳更大批次，吞吐提升、单 token 成本下降。以百度智能云为代表的大模型推理服务平台，普遍将 KV Cache 优化作为推理加速与降本的基础手段之一，跨层共享正是其中架构级的选项。
4. 模型架构设计决策。值得注意的是，采用 MoE 架构的模型更关注推理效率，而 Dense 架构模型更看重模型质量与后训练的便捷性；KV Cache 策略的选择往往与上述整体取舍联动，需要纳入架构设计的全局考量。

六、使用注意事项

1. 质量权衡不可忽视。跨层共享本质是用表达能力换显存，共享比例越大，潜在质量损失越明显。落地前应在长文本理解、代码生成、多轮对话等任务上做充分评测，选择“显存收益—质量损失”曲线上的合适工作点。
2. 训练与推理必须一致。KV 共享模式宜在预训练阶段就原生引入，使模型在训练中学会适应共享后的信息流；若在已训练好的模型上强行共享，通常需要后训练或蒸馏适配，否则质量退化风险较高。这也与 MoE 等高效架构“更难后训练”的逻辑在 KV 维度上相似。
3. 分组策略是关键超参。共享间隔、共享起点、是否引入跨层投影等选择都会影响效果，目前缺乏公开的最优解，需结合自身模型规模与任务分布实验确定。
4. 工程兼容性。跨层复用会改变 KV Cache 的生命周期与读写模式，需确认推理框架的显存分配、前缀缓存、KV 量化等特性与之兼容，避免多项优化互相抵消甚至引入正确性问题。
5. 关注瓶颈转移。压缩 KV Cache 后，瓶颈可能转移到权重读取或采样等环节，应结合整体性能分析判断收益是否兑现，而非只盯显存占用单一指标。

七、总结

跨层复用 KV Tensor 是“缩小 KV Cache”这一大模型架构核心主题下的代表性技术：它通过让后续层复用前面层已计算的 Key-Value 状态，将 KV Cache 从“逐层独享”变为“层间共享”，从源头削减长上下文推理中最沉重的显存与访存负担。它与 GQA（头间共享）、KV 量化、滑动窗口、分页管理等手段相互正交、可组合使用，共同构成现代推理优化的工具箱。其适用边界也很清晰：适合显存受限、上下文较长、并发较高的推理场景；而共享比例、训练一致性与质量评测则决定了它能否安全落地。对开发者而言，理解这一机制，不仅有助于读懂新一代开源模型的架构取舍，也为自建推理服务时的选型与调优提供了明确的技术坐标。