简介:注意力压缩是长上下文大模型的核心技术。本文解释其定义与价值,拆解CSA/HCA两类压缩机制的原理,并提炼Benchmark之外的三项范式级创新:压缩维度重构、长上下文基础设施化、推理时计算的成本结构重构;同时说明它与稀疏注意力、检索增强、上下文摘要等概念的区别,以及在选型、部署与评测中的注意事项。
当一个开源模型团队用一年多时间推出新版本旗舰模型时,外界最先看的往往是公开评测分数:它是否追平上一代旗舰?是否领先同类开源模型?如果答案是“小幅超越领先的开源模型,但距离最新的闭源旗舰仍有约三到六个月的差距”,结论似乎就是“惊喜有限”。然而,模型架构层面的演进很少只体现在榜单数字上。这类新一代模型真正的范式级创新藏在注意力压缩(CSA/HCA)之中:它重新定义了“压缩”的含义,并把长上下文从一项“可选功能”提升为支撑推理时计算、智能体与在线后训练的基础设施。
本文以注意力压缩为核心,回答四个问题:它是什么,为什么重要,如何工作,以及在选型与部署时应当注意什么。
注意力压缩(Attention Compression)是一类针对自注意力机制的设计技术。它通过降低注意力计算中“有效参与”的上下文长度,把计算量与键值缓存(KV Cache)随序列长度的增长,从平方级改造成接近线性的形态。
理解这一技术,需要回到标准自注意力的工作机制。序列中的每个token都要与其他所有token逐一计算相关性:
当上下文从32K扩展到128K时,仅注意力部分的计算量就会增加约16倍,缓存也会同步膨胀。
由此可从三个视角理解注意力压缩:
一句话概括:注意力压缩的本质,是把“模型看到的内容”与“模型逐一计算的内容”解耦。模型仍能感知完整上下文,但真正参与注意力计算的,只有少量经过压缩或筛选的信息载体。
对新一代模型而言,长上下文不再只是一个“支持多少K”的功能参数,而是下一代大模型的基础设施。原因有三。
第一,推理时计算需要更长的“思考空间”。 近年来的推理时计算范式要求模型在回答前进行更充分的内部推理,生成很长的思维链。输入与输出叠加后,序列长度迅速攀升,注意力的二次方成本被进一步放大。若底层架构不高效,每提升一分推理深度,就要付出数倍的算力代价。
第二,智能体工作流天然产生超长上下文。 在工具调用密集的任务中,每一步的规划、执行与观察结果都会进入上下文,并不断累积。任务越长,上下文越像一本“流水账”:代码理解需要装下整个工程,跨文档分析需要同时比对大量材料,多轮对话则持续堆叠历史记录。如果长上下文效率不足,智能体就会“跑不动”;跑不动,就无法稳定运行长周期任务,商业价值也随之受限。
第三,长上下文决定在线后训练的可行性。 模型上线后持续使用真实流量进行后训练,已成为模型迭代的常见思路。在线数据往往天然携带大量历史交互,序列很长、噪声较多。上下文处理效率不足,训练成本会显著上升,迭代速度随之放缓。
一个值得注意的判断是:上下文压缩效率在很大程度上决定了模型的“进化速度”。谁能先突破长上下文的效率瓶颈,谁就能更快、更充分地推进推理时计算、智能体任务与在线后训练,并在下一轮迭代中形成领先。
这一判断并非一家之言。这类模型的技术报告中明确指出:长视野场景与任务的涌现,从复杂的智能体工作流到大规模跨文档分析,使超长上下文的高效支持对未来的进展至关重要。报告还进一步指出,近期的开源努力虽然在推进通用能力方面取得了进展,但在处理超长序列时,核心架构的低效仍是关键障碍。它既限制了推理时计算的进一步收益,也阻碍了对长视野场景的探索。
公开评测分数存在明显的滞后性与局限性。它多基于相对简短的输入,反映的是特定任务上的“快照”能力,却难以捕捉长上下文、长程推理等深层能力的变化。因此,在分数追平之外,更值得关注的是三项范式级创新。
| 创新维度 | 旧范式 | 新范式 |
|---|---|---|
| 注意力压缩 | 在既定维度内“变薄”:压缩键值宽度、量化缓存 | 切换压缩维度“变短”:压缩有效上下文长度 |
| 长上下文定位 | 可配置的功能参数,按需开启 | 支撑推理时计算、智能体与在线后训练的基础设施 |
| 训练与成本结构 | 短输入、短输出的静态任务 | 长输入、长思维链的交互式任务,训练与推理深度耦合 |
范式一:重新定义“压缩”,从变薄到变短。 对这条创新主线而言,注意力压缩本身就是最重要的技术革新,也代表了其对AI发展下一高地的判断。
范式二:长上下文从功能升级为基础设施。 它不再按长度档位打包成“卖点”,而是成为底层架构的一部分,服务模型能力最前沿的三个方向。
范式三:训练与成本结构的重构。 长上下文中,“看得见”与“算得动”之间的鸿沟,是这类模型架构创新的出发点。
其中,第一项技术含量最高、也最容易被误解,下文将展开拆解。
在大模型领域,注意力压缩并非新概念,各家模型对“压缩”的理解却大相径庭。主流思路大致有三条:
它们的共同点,是在“变薄”这一维度上做文章。
这类新一代模型选择的维度是“变短”,即压缩有效上下文长度。据其公开的技术报告,CSA与HCA是其长上下文设计的两类核心机制,分别代表两种互补的压缩思路:
通俗地说,CSA解决的是“眼前信息如何浓缩”,HCA解决的是“久远信息如何留痕”。二者共同构成一个分层、非均匀的上下文记忆结构:
这类设计让模型既能紧贴最新输入,又不至于遗忘较早的关键信息。
下面给出两类机制的示意性说明。具体参数与实现细节以相关模型团队公开的官方技术报告为准,本文仅从通用原理角度进行阐释。
(一)CSA:局部压缩注意力
CSA的思路是在局部窗口内对键值序列进行分块压缩:
与线性注意力、状态空间模型等“无限压缩记忆”不同,CSA仍保留标准 softmax 注意力的可微形式与训练稳定性。区别只在于,键值序列被“重采样”为压缩表示。
示意代码如下(仅用于说明原理):
def local_compressed_attention(q, k_full, v_full, window_size, block_size):"""示意实现,非任何具体模型的代码q: [batch, heads, 1, head_dim] 当前位置的查询k_full: [batch, heads, n, head_dim] 全部键v_full: [batch, heads, n, head_dim] 全部值window_size: 局部精确窗口大小block_size: 压缩块大小"""scale = q.size(-1) ** -0.5# 1. 局部:最近 window_size 个 token 保持原文参与注意力out_local = softmax(q @ k_full[:, :, -window_size:].transpose(-1, -2)* scale) @ v_full[:, :, -window_size:]# 2. 远端:窗口之前的 token 按块压缩为摘要键值k_remote = k_full[:, :, :-window_size]v_remote = v_full[:, :, :-window_size]batch, heads, length, dim = k_remote.shapenum_blocks = length // block_sizek_remote = k_remote[:, :, :num_blocks * block_size] \.view(batch, heads, num_blocks, block_size, dim).mean(dim=3)v_remote = v_remote[:, :, :num_blocks * block_size] \.view(batch, heads, num_blocks, block_size, dim).mean(dim=3)out_compressed = softmax(q @ k_remote.transpose(-1, -2) * scale) @ v_remote# 3. 两类注意力结果的融合方式由具体设计决定return out_local + out_compressed
需要说明的是,实际实现通常会引入可学习的压缩模块与门控融合机制,例如让每个位置在“查原文”和“看摘要”之间动态分配权重,而非简单地把块内向量取平均。
(二)HCA:高压缩率的分层上下文
HCA的核心原则是:上下文越久远,压缩率越高。
示意上,可以把上下文沿时间轴划分为若干层级:
打个比方:就像读一本长篇报告,刚读过的章节可以逐字回看,读过的章节只看摘要,很久以前的内容则只记得核心结论。这种“金字塔式”结构,让模型在有限算力内同时拥有近处细节与远处全局视野。
(三)两条路线为何构成范式级创新
| 对比维度 | 变薄路线 | 变短路线(CSA/HCA) |
|---|---|---|
| 压缩对象 | 单个键值向量的宽度 | 参与注意力的上下文长度 |
| 典型做法 | 分组查询注意力、低秩潜在表示、键值缓存量化 | 局部窗口+压缩块摘要、远距离高压缩率、分层全局摘要 |
| 对复杂度的改造 | 降低常数因子,仍为平方级 | 近似线性级 |
| 适用阶段 | 主要影响解码阶段 | 同时影响预填充与解码 |
| 信息保留方式 | 每条信息都保留,但精度或维度下降 | 近期信息保真,远期信息抽象 |
两条路线并不互斥:分组查询注意力、低秩键值表示、键值缓存量化可与CSA/HCA叠加使用。但只有从“变薄”转向“变短”,才能从复杂度阶数上解决长上下文问题。
(一)预填充阶段:先压缩,再计算
传统注意力在长输入上表现为稠密的n×n注意力矩阵。引入CSA/HCA后,一次预填充的典型流程如下:
示意流程:
输入序列(例如 128K tokens)│▼┌──────────────────────┐│ 近处:保留完整键值 │──► 精确注意力(局部窗口)└──────────────────────┘│▼┌──────────────────────┐│ 远处:按块压缩为摘要 │──► 压缩注意力(高压缩率)└──────────────────────┘│▼多头融合 / 加权组合│▼注意力输出
(二)解码阶段:读取成本大幅下降
生成阶段每产生一个新token,都需读取全部键值缓存。键值规模被压缩后,解码环节从“访存受限”逐步向“算力受限”靠拢,高并发长上下文服务的单位成本随之下降。
(三)训练阶段:让“压缩”成为可学习的能力
要让模型真正“学会”使用压缩后的上下文,训练阶段同样需要引入压缩结构,具体体现在三点:
这或许也是其技术报告点名批评同行“没有直面问题”的原因:长上下文并非把窗口参数调大就能得到,架构层面的改变必须贯穿训练与推理全过程。
| 概念 | 压缩对象 | 作用层面 | 主要优势 | 主要局限 |
|---|---|---|---|---|
| 注意力压缩(CSA/HCA) | 参与注意力的上下文长度 | 模型架构内部 | 复杂度近似线性,可在训练中学习 | 实现与调试复杂 |
| 分组查询注意力/低秩键值表示 | 键值向量的数量或维度 | 模型架构内部 | 实现成熟,与现有生态兼容 | 复杂度仍为平方级 |
| 键值缓存量化/淘汰 | 缓存的精度或条目数 | 推理运行时 | 部署灵活,可按需开启 | 精度损失,受淘汰策略影响 |
| 稀疏注意力 | 注意力连接的数量 | 模型架构内部 | 长序列下计算量可控 | 可能遗漏关键信息 |
| 检索增强生成(RAG) | 外部知识库 | 模型之外 | 无需训练即可扩展知识 | 依赖检索质量,多跳推理能力有限 |
| 上下文压缩(Contextual Compression) | 提示词的文本内容 | 模型之外(提示侧) | 成本低、见效快 | 信息损失不可逆,长度依赖外部流程 |
简而言之:变薄、变短、压精度、减连接、外部检索、文本摘要,分别从六个不同的层面应对长上下文问题。注意力压缩的特点,是把“压缩”内化为模型自身的能力,而不依赖外部流程或精度妥协。
回到定义本身:注意力压缩是以降低“有效上下文长度”为核心手段,让大模型在高保真感知长上下文的同时,把计算与缓存开销控制在近似线性水平的一类架构技术。其中,CSA侧重近处的局部压缩,HCA侧重远处的高压缩率,二者共同构成分层的上下文记忆结构。
Benchmark上的分数追平或小幅领先,只能说明模型在特定任务上的表现进入同一区间;CSA/HCA所代表的范式级创新,改变的是模型处理长上下文、支撑推理时计算与智能体任务的底层效率。当长上下文成为下一代模型的基础设施,真正的竞争将发生在架构层面:谁能以更低的成本“想得更久、看得更远”,谁就更可能率先打开长程智能的想象空间。
对技术选型者而言,与其只盯着榜单名次,不如回到业务本身:用真实的长文档、长会话与长程任务去检验模型的“有效上下文”,这往往比任何分数都更有说服力。