简介:本文围绕“用更低推理成本获得同等能力”这一目标,解释高效注意力架构的定义、核心组成与工作原理。文章比较线性注意力、稀疏注意力与混合排布的差异,梳理典型应用场景与选型注意事项,帮助读者判断这类技术对推理成本和模型能力的实际影响。
高效注意力架构指在大语言模型中,通过改变注意力的计算方式、缓存结构或层间组织方式,降低推理阶段的计算量与显存占用,并尽量保持模型效果的一类设计方法。它保留 Transformer 的基本框架,针对其中开销最大的注意力部分进行替换或优化。
可以从三个视角理解这一概念:
标准的全注意力(Full Attention)让每个 token 与序列中所有历史 token 计算相关性。序列长度为 n 时,注意力计算量与 n² 成正比,KV 缓存占用随 n 线性增长。上下文扩展到数万甚至更长时,推理成本会迅速上升。
这带来以下几类常见问题:
高效注意力架构的价值在于,把成本曲线从“随上下文平方增长”改为“近似线性或受控增长”。这样,模型能在能力与成本之间取得更好的平衡。
行业讨论中,“斩杀线”一词常指某项成本或能力指标的临界值。跌破该值,服务方便难以在价格上保持竞争力。推理成本就是其中的关键指标之一,因此架构层面的效率改进会直接影响服务的可持续性。
高效注意力架构通常由以下几个模块组合而成。
线性注意力通过核函数特征映射,把 softmax 注意力改写为可递推累积的形式。模型维护一个固定大小的状态矩阵,每一步的更新与读取只依赖该状态,因此缓存大小不随序列长度增加。
稀疏注意力让每个查询只与部分历史 token 计算注意力。典型流程是:轻量级索引器先对历史块打分,再用 top-k 选出最相关的若干块,主注意力只在这些块上计算。
压缩机制把多个相邻 token 的 KV 聚合为一个压缩表示,从而减少缓存条目数量。它常与稀疏选择配合使用,让索引器在压缩后的块级表示上打分,进一步降低索引开销。
混合排布指不同层采用不同类型的注意力。大部分层使用线性注意力承担主要的序列建模工作,少数层保留全局稀疏或全注意力,负责精确的长距离信息检索。两类层的比例是重要的设计参数,需要结合任务特点确定。
深层网络中,信号容易衰减或爆炸。改进的残差连接,例如带门控或可学习混合权重的残差结构,可以改善信号在层间的传播。训练阶段使用的优化器也会影响收敛速度与最终效果,因此架构与优化器通常需要配套设计。
以一次长文本推理的解码步骤为例,混合架构的执行逻辑可以用如下示意伪代码表示:
# 示意伪代码:混合注意力层的单步解码流程def hybrid_decode_step(x, layers, cache):for layer in layers:if layer.kind == "linear":# 固定大小的状态,读写成本与序列长度无关x, cache[layer.id] = linear_attn_step(x, cache[layer.id])elif layer.kind == "sparse":# 索引器对历史块打分,取 top-k 块参与注意力计算scores = indexer(x, cache[layer.id].block_summaries)blocks = topk(scores, k=layer.k)x, cache[layer.id] = sparse_attn_step(x, cache[layer.id], blocks)# 残差混合,控制深层信号传播x = residual_mix(x, layer.residual_state)return x
从执行过程看,架构效率主要来自三点:
三类注意力的特性对比如下:
| 类型 | 计算量(主注意力) | 缓存规模 | 精确检索能力 |
|---|---|---|---|
| 全注意力 | 与 n² 成正比 | 随 n 线性增长 | 强 |
| 线性注意力 | 近似与 n 成正比 | 固定大小 | 较弱 |
| 稀疏注意力 | 与选中块数 k 相关 | 随 n 增长,可通过压缩降低 | 较强,依赖索引质量 |
高效注意力架构的核心目标是让推理成本随上下文增长更加平缓,同时保留足够的建模与检索能力。线性注意力降低了计算量与缓存的增长速度,稀疏注意力保留了按需访问历史信息的能力,混合排布则在两者之间做出取舍。
该技术的适用边界取决于两点:任务对精确长距离检索的依赖程度,以及部署环境的显存与并发约束。选型时,应以统一条件下的端到端评测和成本核算结果为依据,不宜只参考单一架构指标。