Prompt Caching 是什么？一文读懂大模型推理缓存机制

一、概念定义：它到底是什么

Prompt Caching（提示缓存）是一种面向大语言模型推理过程的性能与成本优化机制。它的核心思想是：当多次请求中包含相同或高度相似的前缀内容时，将这些前缀在模型内部已经计算好的中间状态保存下来，后续请求直接复用，而不必从头重新计算。

从使用视角看，它表现为”相同前缀的第二次调用更便宜、更快”；从计费视角看，它表现为”缓存命中部分的 token 单价显著低于未命中部分”；从技术视角看，它本质上是对 Transformer 注意力机制中键值向量（Key/Value，简称 KV）的跨请求复用。

需要强调一点：Prompt Caching 缓存的不是”文本”，也不是”模型输出”，而是模型在读取这段文本时产生的中间计算结果。理解这一点，是理解后续所有内容的前提。

二、背景与价值：为什么它会出现

在 Prompt Caching 被广泛讨论之前，行业里存在一个被忽视的事实：大模型推理中，有相当大比例的计算是在重复做同一件事。

典型例子包括：

• 长系统提示：很多应用会为每次请求附带一段数千甚至上万 token 的系统指令，且内容几乎不变；
• 多轮对话：每一轮新消息都会携带之前所有轮次的完整历史；
• 智能体（Agent）场景：工具定义、角色设定、任务模板会在一次任务的几十次调用中反复出现；
• 检索增强生成：固定的指令模板与格式要求每次都要重新输入。

这些重复前缀带来两个直接后果：

1. 成本问题：按 token 计费的 API 模式下，重复输入会被反复计费；
2. 延迟问题：长前缀的预填充阶段耗时显著，直接推高首字延迟。

Prompt Caching 的价值就在于，把这块”被重复做的计算”省下来，同时改善成本与响应速度两个指标。行业多家服务商上线该能力后，普遍将缓存命中部分的价格压到未命中价格的约十分之一量级，这从侧面印证了”重复计算”的规模之大。

三、核心原理：从 KV 向量到缓存复用

3.1 一次推理的两个阶段

要理解缓存省掉了什么，先要理解模型推理的两个阶段：

第一阶段：Prefill（预填充）

模型一次性读取输入的全部 token，为每个 token 计算出一组 Key 和 Value 向量。这个阶段是并行的、计算密集的，长提示的绝大部分首字延迟都消耗在这里。

第二阶段：Decode（解码）

模型一次生成一个 token。每生成一个新 token，都要”回看”之前所有 token 的 K 和 V，但不需要重新计算它们，只做注意力加权。

3.2 关键洞察

整个 Prompt Caching 的价值，建立在一个性质之上：

任意一个 token 的 K 和 V 向量，只取决于它自身以及它前面的 token，与它后面的内容无关。

这意味着，只要两段请求的前缀完全相同，那么这段前缀对应的 K/V 序列就是确定且可复用的。模型完全可以把这段 K/V 存下来，下次遇到相同前缀时直接加载，跳过预填充中的重复计算。

用伪代码示意这一逻辑：

# 无缓存
kv = compute_kv(prompt)          # 每次都完整计算
output = decode(kv)
# 有缓存
if prefix in cache:
    kv_prefix = cache[prefix]    # 直接复用
    kv_suffix = compute_kv(suffix)
    kv = concat(kv_prefix, kv_suffix)
else:
    kv = compute_kv(prompt)
    cache[prefix] = kv[:len(prefix)]
output = decode(kv)

3.3 为什么必须”前缀完全一致”

由于 K/V 的计算依赖于前文上下文，一旦前缀中任何位置发生变化（哪怕只是一个字符），其后所有 token 的 K/V 都会改变。因此缓存通常采用最长公共前缀匹配策略：从第一个 token 开始逐位比对，命中到第一个不一致的位置为止。

这也解释了为什么 prompt 的结构设计对缓存效率影响巨大——把稳定内容放在前面、把变化内容放在后面，是提升命中率的核心原则。

四、核心组成与关键能力

一个完整的 Prompt Caching 能力通常包含以下几个部分：

• 前缀识别与匹配：确定当前请求与前序请求之间的最长公共前缀；
• 缓存存储：保存前缀对应的 K/V 中间状态，通常有容量上限与生命周期管理；
• 失效与淘汰：根据时间、容量、访问频率等策略清理过期缓存；
• 计费区分：将命中部分与未命中部分分别计价，通常还会区分”缓存写入”与”缓存读取”两种操作；
• 可观测性：提供命中率、命中 token 数等指标，便于优化 prompt 结构。

值得注意的是，”写入缓存”本身有时也带有成本（因为仍需完成一次预填充），真正的收益来自后续多次读取。因此缓存策略的经济性取决于复用次数与复用间隔。

五、典型适用场景

• 长系统提示的对话应用：固定人设、安全策略、格式约束放在最前，可长期命中；
• 多轮对话：历史对话作为前缀被复用，避免每轮重算全部上下文；
• 智能体与工具调用：工具定义、任务模板稳定，多步推理中反复命中；
• 检索增强生成：固定指令模板 + 变动检索片段的结构天然适合缓存；
• 批处理任务：同一模板下处理大量不同输入，前缀命中率极高。

反之，如果每次请求前缀都完全不同（例如每段文本都独立且无公共开头），则缓存收益有限。

六、相关概念区别

• 与 KV Cache 的区别：KV Cache 通常指单次推理内部、解码阶段对已生成 token 的 K/V 复用，生命周期限于一次请求；Prompt Caching 则是跨请求的 KV 复用，是 KV Cache 思想在服务层面的延伸。
• 与结果缓存的区别：结果缓存直接返回相同输入的相同输出；Prompt Caching 只复用中间计算，输出仍按当前请求正常生成，因此支持同一前缀下的不同后缀。
• 与语义缓存的区别：语义缓存基于”意思相近”做匹配，存在近似判断；Prompt Caching 是精确前缀匹配，不涉及语义近似，行为更可预测。

七、使用注意事项

1. 前缀顺序设计：稳定内容前置，动态内容后置，是提升命中率的第一原则；
2. 最小可缓存长度：多数实现设有最小 token 阈值，过短前缀不会被缓存；
3. 生命周期：缓存通常有存活时间，间隔过久可能失效，需要评估业务调用频率；
4. 成本核算：要综合考虑写入成本、读取成本与命中率，而非只看单次价格；
5. 一致性要求：前缀中任何微小变动（空格、时间戳、随机 ID）都会导致失效，需避免在前缀中嵌入动态字段；
6. 安全与隔离：缓存通常按账号或项目隔离，跨租户复用需谨慎评估合规要求。

八、总结

Prompt Caching 是对大模型推理中”重复前缀计算”这一浪费的系统性回收。它建立在注意力机制的一个基本性质之上——token 的 K/V 只依赖前文——通过跨请求复用中间状态，同时降低首字延迟与推理成本。

它的适用边界也很清晰：前缀越稳定、复用越频繁，收益越大。对于构建长系统提示、多轮对话与智能体应用的开发者而言，理解并善用这一机制，已经成为设计高效推理链路的基本功。