简介:本文从技术定义出发,系统解释KV Cache是什么、为什么能够减少大模型逐词生成时的重复计算,以及它如何影响显存占用、并发能力和推理成本。文章还将介绍KV Cache的计算过程、容量估算、典型应用场景、优化方向与使用边界,帮助开发者理解模型服务价格变化背后的通用工程机制。
KV Cache,即 Key-Value Cache,中文通常称为“键值缓存”,是大语言模型推理阶段用于减少重复计算的一种显存优化机制。
大语言模型生成文本时,并不是一次性输出完整答案,而是按照自回归方式逐步生成。模型每次生成一个新的 token,再将这个 token 添加到已有上下文中,继续预测下一个 token。例如:
在注意力机制中,每个 token 通常会经过线性变换,生成 Query、Key 和 Value 三类向量,分别用于查询、匹配和信息聚合。随着生成过程推进,历史 token 对应的 Key 和 Value 并不会发生变化,因此没有必要在每一步重新计算。
KV Cache的核心定义可以概括为:
在模型推理过程中,将历史 token 已经计算得到的 Key 和 Value 保存起来,后续生成时直接复用,从而避免对历史上下文进行重复计算。
它主要解决的是“自回归生成中的重复计算问题”,并不是用于改变模型参数、提升模型知识量或替代模型训练。
如果不使用缓存,模型每生成一个新 token,都需要把从开头到当前时刻的完整序列重新送入注意力计算。
假设当前序列长度为 (n),生成下一个 token 后长度变为 (n+1)。在没有缓存的情况下,模型需要重新计算这 (n+1) 个 token 的中间表示,其中包括历史 token 的 Key 和 Value。
当生成长度不断增加时,历史内容会被反复处理,造成大量冗余工作。尤其是在以下场景中,这种重复计算会非常明显:
使用KV Cache后,历史 token 的 Key 和 Value 被保存在显存中。下一步推理只需要为新 token 计算新的 Query、Key 和 Value,然后使用新的 Query 与全部历史 Key 进行匹配,并根据注意力权重聚合历史 Value。
因此,模型在生成阶段不再反复计算历史 token 的 Key 和 Value,单步推理的重复工作显著减少。
一次完整的推理过程通常可以分为两个阶段:提示词处理阶段和逐 token 生成阶段。
用户输入的整段提示词通常称为 prompt。模型首先会对这段输入进行批量计算,并为每一层注意力结构生成对应的 Key 和 Value。
这些结果会被写入KV Cache,作为后续生成阶段的历史上下文。
例如,用户输入:
“请介绍数据库索引的工作原理。”
模型会先对这段文本进行编码,并为每个输入 token 计算Key和Value。完成后,这些数据就可以被缓存。
当模型开始生成答案时,每一步只会新增一个 token。对这个新 token,模型需要计算:
其中,新的Key和Value会追加到缓存中;新的Query则会与当前缓存中的全部Key进行注意力计算,得到注意力分数,再利用这些分数对缓存中的Value进行加权汇总。
可以用简化流程表示:
输入历史上下文↓计算历史 token 的 K、V↓写入 KV Cache↓生成新 token↓只计算新 token 的 Q、K、V↓新 Q 与缓存中的全部 K 计算注意力↓读取缓存中的 V↓生成下一个 token
需要注意的是,KV Cache并不意味着每一步只访问一个历史 token。新Query仍然需要与历史Key进行注意力匹配,只是历史Key和Value不再重复生成。这种优化减少了大量投影和中间表示计算,同时降低了逐步生成时的计算浪费。
KV Cache对性能的影响主要体现在三个方面。
在自回归生成中,历史上下文通常保持不变。如果每一步都重新计算历史内容,会产生明显的重复操作。缓存让模型能够复用已经完成的Key和Value计算结果,减少每个生成步骤的工作量。
在实际推理中,用户通常更关心首个 token 的等待时间和后续 token 的生成速度。KV Cache主要对后续生成阶段更有帮助,使每一步生成更加稳定。
不过,实际速度还会受到显卡带宽、算子实现、批处理策略、序列长度和并发请求数量等因素影响,因此不能简单地认为启用缓存后速度一定按照固定倍数提升。
在模型服务场景中,系统通常需要同时处理多个请求。缓存能够减少每个请求的重复计算,使有限的计算资源服务更多生成任务。
这也是推理成本优化的重要组成部分。硬件成本、显存使用效率、并发能力和单位时间生成量之间存在直接关系。若缓存命中率较高、管理方式合理,系统就可能以更少的重复计算完成更多请求,从而改善整体资源利用率。
KV Cache虽然能够降低计算量,但会占用显存,而且其容量通常会随着上下文长度和并发数量增加而线性增长。
一个常用的估算公式是:
KV Cache大小= 2 × 层数 × 注意力头数 × 每头维度× 序列长度 × 每个数据元素占用的字节数
公式中的“2”表示需要同时保存Key和Value两类数据。
假设某模型具有以下配置:
那么,单个 token 在单层上的KV缓存大小为:
2 × 32 × 128 × 2= 16384字节
约为16KB。
如果模型有32层,序列长度为4096,则总缓存约为:
16KB × 32 × 4096≈ 2GB
如果同时处理10个请求,并且每个请求都接近这一长度,那么KV Cache理论上可能需要约20GB显存。
这只是便于理解的估算,实际占用还会受到以下因素影响:
模型参数通常是静态数据,而KV Cache属于动态数据。模型加载完成后,参数占用相对稳定;但KV Cache会随着请求数量、上下文长度和生成进度不断变化。
在短文本、低并发场景中,KV Cache可能不是主要问题。但在长上下文和高并发服务中,它可能成为限制系统规模的关键因素。
例如,一个请求使用较长的历史对话,系统同时处理数百个请求,即使模型参数能够放入显存,也可能因为缓存空间不足而无法继续提升并发量。
当显存不足时,系统可能出现以下情况:
因此,KV Cache并不是“只带来收益、没有代价”的技术。它用显存空间换取计算效率,最终效果取决于计算资源和存储资源之间的平衡。
如果多个请求包含相同的前缀,例如统一的系统提示词、固定格式说明或共享文档内容,那么这些前缀的Key和Value可以在一定条件下复用。
缓存命中率越高,重复处理的内容越少,系统整体效率通常越好。
不过,缓存命中需要严格判断上下文是否一致。只要前缀内容、位置编码条件或相关推理配置存在差异,就可能无法直接复用。
缓存容量与序列长度近似线性相关。上下文越长,单个请求占用的显存越多。
因此,在系统设计中应区分“最大上下文长度”和“常用上下文长度”,不能只根据极限配置评估平均资源需求。
并发请求越多,KV Cache总占用越大。高并发系统需要根据显存容量、请求长度分布和生成速度动态调度资源,而不能简单按照固定请求数分配缓存。
KV Cache可以使用不同精度存储。降低精度通常能够减少显存占用,但可能引入精度损失或影响模型输出稳定性。
是否适合降低缓存精度,需要结合模型结构、任务类型和质量要求进行验证。
如果系统以固定大小为每个请求预留最大缓存,短请求可能造成大量空间浪费。更灵活的管理方式可以按照实际使用长度分配和回收缓存,提高显存利用率。
KV Cache与普通应用缓存、数据库缓存并不完全相同。
普通应用缓存通常保存业务对象、接口结果或计算结果,重点是通过复用结果减少重复访问。KV Cache保存的是模型注意力层中的中间张量,属于推理过程内部状态。
它也不同于模型权重:
KV Cache还不同于文本历史记录。文本历史是人类可读的 token 序列,而KV Cache是模型内部使用的数值张量,不能直接当作普通文本保存或展示。
首先,缓存内容可能包含用户输入、对话历史或业务数据,因此需要按照敏感数据处理要求管理生命周期,避免跨请求错误复用。
其次,缓存复用必须保证请求隔离。不同用户、不同权限范围或不同会话的数据不能因为前缀相似而被错误共享。
再次,需要监控缓存命中率、平均缓存长度、显存占用、请求排队时间和生成速度。这些指标能够帮助定位性能问题。
最后,不能只关注缓存命中率。若为了追求更高命中率而长期保留大量缓存,可能导致显存压力增大,反而降低整体吞吐。实际系统应在命中收益、缓存容量、请求时延和数据安全之间进行平衡。
KV Cache是一种面向大语言模型推理阶段的键值缓存技术。它通过保存历史 token 已经计算得到的Key和Value,减少自回归生成中的重复计算,从而改善生成速度和资源利用率。
它的核心价值在于:
但KV Cache也会持续占用显存,并且占用量会随着上下文长度和并发请求数增加。因此,它不是单独决定模型服务成本的因素,而是与模型规模、硬件资源、批处理策略、缓存命中率和调度方式共同作用。
从工程角度看,理解KV Cache,有助于开发者正确分析大模型推理速度、显存瓶颈和服务成本变化,也能够为上下文设计、并发控制和推理系统优化提供更加可靠的技术依据。