简介:本文系统解释大模型长上下文能力背后的注意力压缩技术:它究竟是什么,为何被视为下一代模型的基础设施,如何通过序列压缩、稀疏访问与分层缓存把注意力的二次复杂度压下来,以及在智能体长程任务、跨文档分析等场景中的选型要点与常见认知误区。
长上下文注意力压缩,指的是在大模型的自注意力(Self-Attention)计算中,通过降低参与计算的 token 数量、降低每个 token 的表示维度,或者只计算真正相关的一部分 token,从而把”上下文长度增加带来的计算与显存开销”从平方级增长压回接近线性增长的一整套架构与技术手段。
它不是一个单点优化,而是一个技术族。可以从三个视角理解:
一句话概括:上下文窗口是容量,注意力压缩是决定这个容量是否可用的工程手段。
标准 Transformer 的自注意力,需要让序列中每个 token 与其他所有 token 两两计算相关性,再对值向量做加权聚合。序列长度为 $n$ 时,注意力矩阵规模是 $n \times n$,计算量与显存占用都随 $n$ 的平方增长。
这意味着:上下文从 4K 涨到 128K,token 数变为 32 倍,理论注意力开销变为约 1000 倍。上下文从 128K 涨到 1M,又是几十倍。这条曲线在两件事上同时变得不可接受:
因此原始材料中的一个判断值得展开:长上下文不是功能清单里的一项,而是下一代模型的基础设施。 推理时扩展(test-time scaling)要求模型”想很久”,会产生极长的思考链;长程智能体任务要求模型记住几十步之前的状态与约束。这两条趋势都把压力直接压在注意力机制上——如果长序列的单位成本高到跑不起来,那么再强的推理能力也没有商业价值。反过来,谁先解决长上下文效率,谁就能更快地把推理深度、长程任务和在线后训练同时推进。
业界常见的长上下文注意力方案,通常由下面几层组合而成,不同技术路线的差别主要体现在”在哪一层下刀”。
在真正计算注意力之前,先把相邻的若干 token 聚合成一个更粗的表示单元,例如把连续 $k$ 个 token 的中间层表示做一次合并,让后续的注意力只在压缩后的短序列上进行。直观上,这相当于从”逐字阅读”变成”逐段阅读”,保留段落级语义骨架,牺牲部分细节颗粒度。这就是原始材料中”重新定义压缩、从变薄到变短”的核心含义——传统做法是压缩每个 token 的通道维度,而序列维度压缩动的是参与计算的 token 总数。
在不改变 token 数量的前提下,降低 Query/Key 的低秩投影维度,让注意力矩阵的单次计算更便宜。低秩近似是这一层的常见思路:既然注意力矩阵往往存在较强的低秩结构,就可以用更小的隐维度承载近似等价的信息量。
不做全量注意力,而是通过某种打分或选择机制,让每个查询位置只关注少量”最有信息量”的 token 或块。块级稀疏、Top-k 选择、局部窗口 + 少量全局锚点,都是这一层的典型实现。它的收益最大,但风险也最大:一旦选择策略在训练中没学到该看哪里,长程关键信息就会被漏掉。
把 Key/Value 缓存组织成层级结构:近期内容保留高精度、细粒度的表示,远端历史保留粗粒度、可摘要的表示,需要时再向下钻取还原细节。这让”精确最近 + 摘要远端”成为可能,也是长文档问答、长会话记忆的常见架构。
注意力结构改了之后,必须配合位置编码的扩展方案与长序列训练数据策略,否则模型在训练长度之外会明显退化。工程上常见的做法包括渐进式延长训练长度、长样本与短样本混合配比、以及在长样本上做专门的能力评测。
下面是与具体厂商无关示意性伪代码,用于说明压缩型注意力与标准注意力的差别:
# 标准注意力:开销随序列长度平方增长def standard_attention(Q, K, V):# Q: [n, d] K: [n, d] V: [n, d]scores = (Q @ K.T) / sqrt(d) # [n, n] <- 平方级矩阵weights = softmax(scores + causal_mask)return weights @ V # [n, d]# 压缩型注意力:先在序列维度上聚合,再算注意力def compressed_attention(Q, K, V, block_size=16):# 第一步:把长序列分块,块内做聚合,得到短序列K_short, V_short = block_pool(K, block_size), block_pool(V, block_size)# 第二步:在短序列上做注意力,矩阵规模降为 [n, n / block_size]scores = (Q @ K_short.T) / sqrt(d) # [n, n/b]# 第三步:稀疏补充,只对 Top-k 高相关块下钻到细粒度topk_blocks = top_k(scores, k=4)K_fine, V_fine = gather_fine_grained(K, V, topk_blocks)scores_fine = (Q @ K_fine.T) / sqrt(d)out = softmax(concat(scores, scores_fine)) @ concat(V_short, V_fine)return out
要点在于:先用低成本的粗粒度表示做一次全局扫描,再把算力集中投放到真正相关的少数区域。 这是几乎所有高效长上下文方案的共同思想,差别只在于”怎么聚””怎么打分””下钻到多细”。
这几个概念经常被混为一谈,边界需要分清。
长上下文注意力压缩的本质,是用可控的信息损失换取数量级更低的序列成本:通过序列维度聚合、特征维度低秩化、稀疏选择与分层缓存的组合,把注意力的平方复杂度压回可运营的区间,从而让长思考链、长程智能体任务和在线后训练在经济上成立。它的价值不在于让窗口数字变大,而在于让”长上下文”从一个营销参数变成可依赖的基础设施;它的边界也很清楚——压缩与稀疏始终是有损的,越是依赖精确细节与全局聚合的任务,越需要认真设计评测与回退策略。理解了这条边界,才能判断一个模型在你的业务里是”支持长上下文”,还是”真的能用长上下文”。