# Prompt Caching 详解:缓存命中与未命中的成本与架构差异

作者:梅琳marlin2026.11.16 10:50浏览量:0

简介:大模型推理成本中,有一块长期被忽视的“金矿”——Prompt Caching(提示词缓存)。本文系统对比缓存命中与缓存未命中两种路径在计费、性能、架构实现上的差异,剖析其底层注意力机制原理,梳理典型适用场景、选型依据与工程实践注意事项,帮助开发者在 Agent 与长上下文应用中有效控制推理成本。

一、对比背景:为什么 Prompt Caching 值得认真对待

2024 年以来,多家主流大模型服务商先后上线了 Prompt Caching 能力,行业共识逐渐形成:大模型推理中有相当一部分计算是在被重复执行的,把这部分省下来就是真金白银。据公开的行业数据,缓存命中部分的价格普遍被下调至原价的 10% 左右,个别厂商公布的价差可达 10 倍;某厂商在其技术博客中展示了智能编程助手的实际生产数据:缓存命中率可达 90% 以上,整体成本下降约八成。

这意味着,对于系统提示词较长、多轮对话频繁、Agent 循环调用密集的应用而言,“是否合理组织 prompt 以命中缓存”已经不再是锦上添花的优化,而是直接影响成本结构甚至商业可行性的关键决策。本文对比的核心对象,就是同一次推理请求中的两条路径:缓存命中路径与缓存未命中路径,并延伸到“启用缓存方案”与“不启用缓存方案”在架构与成本上的系统性差异。

二、对象定义:两种路径分别是什么

缓存未命中路径:请求的前缀在服务端没有可复用的中间计算结果,推理引擎需要从第一个 token 开始,完整执行一遍预填充计算,逐层计算注意力、生成并保存 KV Cache,随后再进入解码阶段。

缓存命中路径:请求的前缀与近期某次请求的前缀完全一致(或前缀部分一致),服务端可以直接复用已保存的 KV Cache,跳过对这部分 token 的重复计算,只需对新增加的增量 token 执行预填充。

需要强调的是,这两条路径并不是两种不同的“产品”,而是同一次 API 调用在不同条件下走的两种执行状态。正因为如此,开发者的工作重点不是“选择用不用缓存”,而是“如何组织请求结构,让尽可能多的 token 落在命中路径上”。

三、相同点分析

两条路径在以下方面是一致的:

  • 模型能力完全相同:命中与否不影响模型输出的数学结果,缓存只是复用确定性计算的中间产物,理论上生成内容无差异。
  • 调用接口一致:开发者使用同一套 API 协议,缓存机制对上层透明,命中状态通常通过响应中的计费字段或使用统计体现。
  • 数据与安全边界一致:缓存存储在服务端,遵循与常规推理相同的隔离与生命周期策略,缓存通常设有过期时间(TTL)。
  • 最终都要进入解码阶段:缓存只加速预填充部分,逐 token 生成的解码计算无法被缓存复用。

四、核心差异分析

1. 计费结构差异

这是最直观的差异。主流计费方式将输入 token 区分为“缓存命中”与“缓存未命中(含缓存写入)”两类:

项目 缓存未命中 缓存命中
输入计费 按标准输入价 约为标准价的 10%~20%
首次写入 可能附加一次性写入费用 不适用
计费粒度 按完整前缀 token 数 按实际命中前缀 token 数

以原文引用的行业数据为例:某厂商对高重复输入的定价中,命中价格与未命中价格相差整整 10 倍。对于系统提示 20K token、每天数千次调用的 Agent 应用,仅这一项差异就可能决定产品是否“破产”。

2. 计算路径与延迟差异

从架构上看,预填充阶段对长前缀的计算量与 token 数近似成正比,且是典型的算力密集型操作。命中路径跳过了这部分计算,最直接的收益是首 token 延迟(TTFT)显著下降。原文提到的趣味现象正源于此:研究者可以通过响应速度的细微差异,推测某个输入前缀是否被缓存过——延迟本身成了可观测的信号。这也提示了一个使用边界:延迟差异虽然通常是好事,但在某些场景下也可能构成侧信道信息,需要从隐私与安全角度加以评估。

3. 匹配规则差异:前缀匹配的严格性

当前主流实现普遍采用严格前缀匹配:缓存命中的前提是请求开头部分与缓存内容逐字节一致。这意味着:

  • prompt 中任何位于前缀的动态内容(如时间戳、随机 ID、用户名)都会“切断”缓存;
  • token 序列而非字符串相同才是匹配依据,某些看似无害的格式变化也会导致未命中。

一个通用的组织原则示意如下:

  1. 推荐结构:
  2. [静态部分:系统指令 + 工具定义 + 少样本示例] ← 稳定,易于命中
  3. [半静态部分:会话级上下文] ← 会话内可复用
  4. [动态部分:当前用户输入] ← 放在最末尾
  5. 反模式:
  6. [动态时间戳] + [静态系统指令] + [用户输入] ← 前缀被污染,几乎永不命中

4. 命中率与成本的杠杆关系

两条路径的差异最终通过命中率这一杠杆放大或缩小。命中率取决于三个因素:prompt 前缀的稳定性、缓存 TTL 内的调用密度、以及流量在多租户间的分布。高重复率业务(如固定系统提示的编程助手、批处理文档分析)天然命中率高;而前缀高度个性化的应用收益有限。

5. 运维与设计复杂度差异

维度 缓存命中路径 缓存未命中路径
工程投入 需要重构 prompt 结构、拆分静态与动态内容 无额外设计
成本 低(约为标准价的 10%~20%) 全价
首 token 延迟 明显降低 与前缀长度成正比
结果一致性 理论上与未命中一致 基准
风险 依赖 TTL 与流量模式,命中率波动 稳定但昂贵

五、典型场景选择

  • Agent / 编程助手类应用:系统提示与工具定义固定且很长,多轮循环调用,缓存命中率可达 90% 以上,是最大受益场景,应优先按“静态前缀优先”原则重构 prompt。
  • 多轮对话应用:将历史对话整体作为前缀追加,保证会话内每轮请求共享前缀,命中收益随对话轮次累积。
  • 批量文档处理:对同一批文档反复提问时,把文档内容放前缀、问题放末尾,可复用文档部分的计算。
  • 前缀高度个性化的实时服务:如每位用户的上下文都独一无二且调用间隔超过 TTL,缓存收益有限,不应为此过度改造架构。

六、选型建议与使用注意事项

选型上可遵循以下条件化判断:当应用具备“长且稳定的公共前缀 + 高调用频次”特征时,启用缓存方案收益明确;当团队无法控制 prompt 的前缀稳定性时,应先做 prompt 结构改造再评估缓存价值;在成本敏感的规模化生产系统中,建议将缓存命中率纳入核心监控指标。

迁移与使用时需注意:其一,重构 prompt 结构可能影响模型行为,静态与动态内容的重排需回归测试验证输出质量;其二,缓存存在 TTL,流量低谷后首轮调用可能未命中,容量与成本预算需按混合命中率估算;其三,命中与未命中的计费字段需在账单分析中区分统计,避免成本归因错误;其四,多租户场景下需确认服务方对缓存的隔离策略,避免跨租户信息泄露风险;其五,延迟差异可被外部观测,对时延敏感或隐私敏感的业务应做相应评估。

七、总结

Prompt Caching 的本质,是把注意力机制中本就确定性的预填充计算,从“每次重做”变成“按前缀复用”。缓存命中与未命中两条路径在模型能力上毫无差别,但在计费(可达 10 倍价差)、首 token 延迟和工程要求上差异显著。决策的核心不是“要不要用缓存”,而是“prompt 的前缀能否稳定到足以命中”。对于 Agent 时代普遍面临长系统提示的应用而言,理解这两条路径的差异、按前缀稳定性重构请求结构,是控制推理成本最直接、杠杆最大的一项工程实践。