长上下文效率之争：注意力压缩路线对比

一、对比背景：为什么长上下文成了分水岭

过去一年，大模型的能力竞争从“单轮问答质量”逐步转向“长程任务完成度”。智能体工作流、跨文档分析、多轮工具调用等场景，都要求模型在推理阶段维持极长的上下文，并在其中反复检索、比对与推演。这类场景本质上是 test-time scaling 的延伸：模型思考越久、链路越长，上下文窗口承受的压力越大。

问题在于，标准注意力机制的计算与显存开销随序列长度呈二次方增长。上下文翻倍，注意力部分的成本大致变为四倍。当序列长度进入十万乃至百万级 token 区间，效率瓶颈就不再是“体验问题”，而是“能否跑起来、能否商业化”的问题。因此，长上下文不再是一项附加功能，而更接近下一代模型的基础设施：谁先把长序列的处理效率做上去，谁就能更早推进推理增强、长程任务和在线后训练的迭代。

围绕这一目标，业界出现了两类有代表性的注意力压缩思路。本文的对比对象即由此而来：

• 对象A：维度压缩路线（“变薄”）——压缩注意力的头维度或键值表示维度，让每个 token 的注意力表示更紧凑；
• 对象B：序列折叠路线（“变短”）——压缩参与注意力的序列长度本身，把长序列折叠为更短的表示再计算注意力。

二者都瞄准“降低长序列注意力成本”这一共同目标，但在下刀维度、实现复杂度与适用边界上差异明显。

二、相同点：目标一致，约束相似

在展开差异之前，先明确两者的共性，避免把路线差异误读为能力优劣。

1. 共同目标：降低长序列注意力的时间与显存开销，使超长上下文在推理和训练中具备可行性。
2. 共同约束：都必须在“压缩”与“保真”之间取舍。压缩越激进，节省越多，但信息损失风险越高，长程依赖、细节召回等能力可能受影响。
3. 共同受益场景：智能体工作流、跨文档分析、长链路推理、在线后训练等需要维持长上下文的任务。
4. 共同工程代价：都需要对注意力算子做底层改造，涉及算子实现、并行策略、显存管理与训练稳定性，不是简单改一个配置项就能落地。

三、核心差异分析

3.1 技术架构：压缩的对象不同

对象A压缩的是“表示维度”。每个 token 仍然保留在序列中，但参与注意力的键值向量被投影到更低维空间，或减少注意力头数、共享键值头。序列长度不变，单 token 的注意力成本下降。

对象B压缩的是“序列长度”。它通过折叠、分块聚合或引入中间表示，把长序列映射为更短的等效序列，再在短序列上做注意力计算。序列长度下降，注意力成本的二次方项被直接削弱。

一个直观的类比：对象A是把每个箱子的体积做小，箱子数量不变；对象B是把箱子合并、减少箱子数量。前者节省的是单位成本，后者节省的是总量级。

3.2 功能能力：保真点不同

• 对象A对局部细节相对友好。因为每个 token 仍在序列中，位置信息与细粒度对应关系保留较完整，适合需要精确召回原文片段的场景。
• 对象B对全局结构相对友好。折叠后的表示更强调段落级、篇章级语义，适合需要把握长文档整体脉络、做跨章节归纳的任务，但对逐字级细节的保留依赖折叠策略设计。

3.3 性能表现：收益曲线不同

对象A的收益大致随维度压缩比例线性体现，对超长序列的二次方项抑制有限——序列继续增长时，成本仍会快速上升。

对象B直接作用于序列长度维度，对二次方项的打压更彻底，序列越长，相对收益越明显。但其代价是折叠本身引入额外计算与实现复杂度，在短序列场景下可能反而多出开销。

说明：此处只描述收益趋势，不引用具体性能数据；实际表现取决于实现质量、硬件配置与序列分布。

3.4 接入与改造成本

• 对象A改造点相对集中：注意力层的投影维度、头数配置、算子适配，可与现有并行策略较好兼容，迁移路径较短。
• 对象B改造面更广：需要设计折叠/聚合规则、处理位置编码与掩码对齐、调整训练与推理流程，对算子与框架的侵入性更强，验证周期更长。

3.5 运维与使用边界

两者都对显存管理与批处理策略提出新要求。对象A的边界在于：压缩比例过高时，细节召回能力下降，需要按任务调参；对象B的边界在于：折叠策略与任务分布强相关，跨任务泛化需要更充分的评估，且调试可观测性更复杂。

四、对比表格

对比维度	对象A：维度压缩（变薄）	对象B：序列折叠（变短）
压缩对象	注意力表示维度/头数	参与注意力的序列长度
长序列成本抑制	线性改善，二次方项仍在	直接削弱二次方项，序列越长收益越明显
细节保真	较好	依赖折叠策略，需评估
全局结构把握	一般	较好
改造侵入性	较低，改造点集中	较高，涉及位置编码与流程
短序列开销	基本无额外负担	可能引入额外开销
调试可观测性	较直观	较复杂
适用边界	细节召回型长任务	篇章归纳型长任务

五、典型场景选择

• 需要逐字级引用、精确检索的长文档问答：可优先评估对象A，细节保留更稳。
• 跨章节归纳、长链路智能体规划：可优先评估对象B，全局结构与长程效率更匹配。
• 混合型任务：可考虑分层组合，例如在浅层用维度压缩控制成本，在深层用序列折叠处理全局依赖，但需额外验证一致性与训练稳定性。

六、选型建议与迁移注意事项

选型不应只看 Benchmark 分数，而应回到三个问题：序列长度分布、任务对细节保真的敏感度、团队工程承受能力。若序列以十万级为主且细节要求高，对象A的迁移风险更低；若面向百万级上下文与长程任务，对象B的效率收益更值得投入评估。

迁移时需注意：其一，压缩策略变更会影响已有评测基线，需重建对照集；其二，位置编码与掩码对齐是常见踩坑点，需覆盖边界长度测试；其三，训练与推理需保持压缩配置一致，避免分布偏移；其四，显存与吞吐的收益要在真实批处理配置下验证，而非单条推理。

七、总结

维度压缩与序列折叠并非替代关系，而是面向不同瓶颈的两把刀：前者压缩单位成本，后者压缩总量级。理解“压缩的是什么”比记住“哪个更强”更重要。在长上下文成为基础设施的趋势下，合理的做法是按任务分布做组合评估，用条件化的选型判断替代绝对化结论。