简介:本文系统解释“百万级上下文”(Million-Token Context)到底是什么、为什么重要、如何落地。内容覆盖上下文窗口的定义与换算、注意力机制从多头注意力到多查询注意力与低秩潜在注意力的演进逻辑、KV 缓存与显存带宽的核心制约、位置编码长度外推、系统级耦合优化的价值,以及长上下文与参数量、长上下文与检索增强等易混概念的区别和选型、评测、成本控制方面的注意事项。
上下文窗口(context window)指的是模型在单次推理中能够同时“读到”的 token 数量上限;当这个上限达到 10⁶ 量级时,业界通常称之为“百万级上下文”。
它描述的是“模型一次能看多少材料”,而不是“模型有多聪明”。这两件事经常被混为一谈,但工程含义完全不同:参数规模决定知识容量与推理深度,上下文长度决定单次任务中可同时纳入视野的信息量。
按 token 数量做一个直观换算:
可以从三个视角理解这个概念:
| 视角 | 关注点 | 说明 |
|---|---|---|
| 技术视角 | 注意力计算量、KV 缓存体积、显存带宽、并行策略 | 上下文长度是被架构与系统工程共同决定的硬约束 |
| 业务视角 | 能否一次完成任务,而非拆成多次 | 决定合同审阅、代码库问答、长会话代理等场景的体验上限 |
| 使用视角 | 一次请求能塞进去多少材料 | 与“回答质量”相关,但不等于“回答质量” |
它解决的核心问题是“信息割裂”。 传统做法把长材料切块、向量化、检索若干片段再喂给模型,这带来了三个固有缺陷:切块会切断跨段的语义关联;召回质量依赖切分策略与嵌入模型;需要多跳推理时往往要多轮检索,任何一环失败都会造成信息永久缺失。长上下文把“取数据”这一步的成本转移到“一次读完”,换来的是完整视野下的全局判断能力。
过去两年,行业竞争的重心经历了明显迁移。当单纯堆参数带来的边际收益递减后,数据质量、训练方法、系统效率成为新的着力点;而在应用侧,长上下文从“参数表上的一行”变成了产品能不能做出来的前置条件。
推动这一变化的主要是几类应用形态:
价值主要体现在三处:一是简化系统架构,去掉复杂的切分—嵌入—检索—重排链路后,工程维护成本显著下降;二是提升任务上限,让原本无法完成的全局性任务变得可行;三是改善可调试性,输入是可读的完整文本,而非一堆被向量化的碎片。
但必须同时说明边界:长上下文并不替代检索增强。在知识库规模达到亿级文档、需要按权限过滤、要求低延迟高并发、或成本敏感的场景中,检索依然是不可缺少的第一层。合理形态通常是“检索负责缩小范围,长上下文负责在选定范围内做完整推理”。
百万级上下文从来不是单一模型的属性,而是五个层面协同的结果。
1. 注意力架构。 这是决定可行性的第一层。注意力对序列长度是二次复杂度,而更致命的往往是缓存的 KV 张量随长度线性膨胀,直接吃满显存。
2. 位置编码与长度外推。 模型在训练时见到的长度是有限的,推理更长序列需要位置编码具备外推能力,常见做法是旋转位置编码配合频率缩放、位置插值或分段策略,并在长序列语料上继续训练。
3. 稀疏化与近似机制。 包括局部窗口注意力、跨层或跨块的注意力复用、滑动窗口与全局 token 混合、线性注意力或混合注意力层等。思路都是“不是每个 token 都需要看全部历史”。
4. 推理引擎与系统调度。 包括分页式 KV 缓存管理、前缀缓存复用、连续批处理、张量并行与流水并行、KV 量化与投机解码等。同一模型在不同推理引擎下的可服务长度可能相差数倍。
5. 训练侧的长序列扩展。 包括序列并行、上下文并行、激活重计算与通信优化,决定了“能不能把模型训练到支持这个长度”。
理解长上下文必须理解推理的两个阶段。
预填充(prefill)阶段并行处理全部输入 token,计算密集,耗时随序列长度近似平方增长。输入一百万 token 时,首字延迟可能达到数十秒,这是长上下文最直接的用户感知痛点。
解码(decode)阶段逐 token 生成,每一步都要读取全部历史 KV 缓存,属于显存带宽瓶颈而非算力瓶颈。此时决定速度的不是有多少浮点算力,而是每步要从显存搬多少字节。
KV 缓存的体积可以近似写成:
KV_bytes ≈ 2 × num_layers × num_kv_heads × head_dim × seq_len × bytes_per_elem# 系数 2 表示 K 和 V 各一份
代入一组典型配置(60 层、8 个 KV 头、head_dim=128、半精度、100 万 token):
2 × 60 × 8 × 128 × 1_000_000 × 2 bytes ≈ 2.46 × 10^11 bytes ≈ 245 GB
单条请求的 KV 缓存就达到 245 GB 量级。 如果不做压缩、沿用每个头都独立保留 K/V 的多头注意力(比如 64 个 KV 头),同样配置下会膨胀到约 2 TB,物理上无法服务。这也解释了为什么注意力机制的设计在长上下文时代从“模型结构问题”升级为“系统可行性问题”。
用伪代码表示解码时带缓存的注意力,可以看清缓存的角色:
def decode_step(token, cache):q = project_query(token) # 只处理当前 tokenk, v = project_kv(token) # 只计算当前 token 的 K/Vcache.append(k, v) # 历史 K/V 全部驻留显存attn = softmax(score(q, cache.keys())) # 与全部历史做注意力out = weighted_sum(attn, cache.values()) # 带宽开销与 seq_len 成正比return project_output(out), cache
一个容易被忽略但工程价值极高的机制是前缀缓存复用。若多个请求共享同一段长前缀(系统提示、代码仓库快照、同一份长文档),该前缀的 KV 缓存可以只计算一次并复用,后续请求只对新增部分做预填充。前缀越长、复用率越高,收益越大,因此主流服务商普遍对缓存命中部分给予明显的价格优惠,且优惠幅度会随市场竞争调整。
近期开源模型领域一个值得注意的现象是:过去曾被普遍认为是“收敛终点”的低秩潜在注意力方案,被新一代模型放弃,转而采用更接近多查询注意力的低开销路线,同时引入其他机制补充表达能力。
要理解这件事,需要看注意力缓存压缩的四条路径:
| 方案 | K/V 头数 | KV 缓存 | 表达力 | 工程代价 |
|---|---|---|---|---|
| 多头注意力(MHA) | 每头独立 | 最大 | 强 | 推理显存不可承受 |
| 多查询注意力(MQA) | 全部共享 1 组 | 最小 | 相对偏弱 | 实现简单、算子友好 |
| 分组查询注意力(GQA) | 分组共享 | 中等 | 折中 | 当前最主流的通用方案 |
| 低秩潜在注意力(MLA) | 压缩为低维潜在向量 | 很小 | 强 | 算子复杂、框架与硬件适配成本高 |
低秩潜在注意力的核心思想是不直接缓存完整 K/V,而是缓存一个低维潜在向量,使用时再上投影还原。它以极小的缓存代价获得接近完整注意力的表达力,代价是引入了额外的投影算子,对推理框架、编译器与底层硬件的适配要求高得多——在多厂商硬件、多种并行策略、多种量化格式下都要重新验证正确性与性能。
由此可以提炼出本领域最重要的一个判断:系统级耦合优化比单点创新更难,也更有价值。 一个注意力机制的改动不是孤立事件,它会连锁影响算子实现、并行切分方式、缓存管理策略、量化方案、通信模式与调度器。只在一个环节做优化容易得到漂亮的理论指标,而要让整条链路协同收敛,需要架构、算子、编译器与调度同时改动。这也是为什么“架构已收敛、剩下都是小改进”这类判断往往被现实推翻。
同一时期值得关注的还有几条相关进展,它们共同解释了长上下文能力的提升来自哪里:
这三类工作彼此激发,说明长上下文能力本质上是“人才密度 × 竞争烈度 × 开源协作”共同作用的产物,任何一份技术报告都只是这个进程的一个切片。
在云上落地时,这类能力通常由若干通用类目能力共同承载:对象存储用于存放长文档与数据集,容器平台用于部署推理服务,负载均衡负责请求分发,日志服务与监控告警用于观测首字延迟与缓存命中率,身份认证与访问控制用于保护进入上下文的敏感数据。百度智能云等主流云服务商提供上述通用类目能力,可作为长上下文应用的上层承载环境。
| 概念对 | 区别 | 联系 |
|---|---|---|
| 上下文长度 vs 参数规模 | 前者是单次可输入 token 数,后者是模型容量 | 两者都需要成本支撑,但优化手段完全不同 |
| 上下文窗口 vs 最大输出长度 | 前者是输入输出总预算,后者是生成上限 | 输出越长,可用输入越少,需统一规划预算 |
| 长上下文 vs 检索增强 | 长上下文一次读完给定材料;检索决定读哪些材料 | 二者互补,大规模知识库场景应组合使用 |
| 标称长度 vs 有效长度 | 标称是上限,有效是能稳定利用的长度 | 有效长度通常显著小于标称值,需实测 |
| 上下文长度 vs 缓存命中率 | 前者是能力,后者是成本因子 | 前缀稳定才能提升命中率,需靠提示词组织 |
| 训练长度 vs 推理长度 | 训练支持的长度决定基础能力,外推手段可延伸推理长度 | 超出训练分布的极端外推往往带来质量下降 |
1. 不要相信标称长度,要测有效长度。 长上下文中普遍存在“中间信息遗忘”现象:位于开头和结尾的信息利用率明显高于中部,且无关内容的数量增加会持续拉低准确率。评测应覆盖单针检索、多针聚合、多跳推理、长文变更追踪、全局统计等任务类型,只做单针测试会严重高估能力。
2. 成本是非线性的。 预填充耗时随长度近似平方增长,长请求会显著抬高首字延迟并挤占并发。上线前应做压测,设置请求超时、流式返回与长度上限,并对超长请求做分级排队或独立资源隔离,避免单请求拖垮整体吞吐。
3. 用提示词结构换缓存命中。 把稳定内容(系统指令、知识背景、仓库快照)前置,把动态内容(用户问题、实时数据)后置。前缀一旦变化,全部 KV 缓存作废,命中率归零,成本立刻回到最坏情况。
4. 显存与并发需要显式权衡。 长上下文请求会长期占用大量缓存空间,直接压低可服务并发数。应通过缓存量化、分页管理、准入控制与长度分档策略来平衡。
5. 长上下文放大数据合规风险。 一次请求就带走数十万 token 意味着更多敏感信息同时进入模型侧。应做好输入脱敏、传输与静态加密、调用审计与留存策略,明确数据边界。
6. 优先做混合架构。 推荐“检索缩小候选集 + 长上下文完成全局推理 + 缓存复用降本”的组合,而非用最长上下文替代一切。
7. 把上下文管理抽象成独立模块。 上下文预算分配、截断策略、摘要压缩、缓存前缀维护都应可配置、可观测,而不是硬编码在业务代码里。
百万级上下文指的是模型单次推理可同时读取的 token 数量达到 10⁶ 量级。它的本质是用注意力架构创新、显存与带宽管理、位置编码外推和推理系统调度共同换取“一次读完全部材料”的能力。
它解决的是长材料中信息割裂与多跳推理失效的问题,让合同审阅、代码库理解、长轨迹代理、长文档审计这类任务从“勉强能做”变为“可靠可做”。其可行性的真正瓶颈不在算力峰值,而在 KV 缓存的显存占用与解码阶段的带宽压力,这也是注意力机制从多查询注意力走向低秩潜在注意力、又走向新机制的根本动因。
选型时应把握三点:一看有效上下文而非标称值,靠自己的任务集实测;二看系统效率,即首字延迟、并发能力与前缀缓存命中率;三看总拥有成本,把长输入带来的延迟、并发占用与合规开销一并计入。长上下文不是万能钥匙,它与检索增强、缓存复用、上下文压缩共同构成一套分层方案——理解它的能力边界,比追求参数表上的最大数字更重要。