简介:大模型推理成本中,有一块长期被忽视的“金矿”——Prompt Caching(提示词缓存)。本文系统对比缓存命中与缓存未命中两种路径在计费、性能、架构实现上的差异,剖析其底层注意力机制原理,梳理典型适用场景、选型依据与工程实践注意事项,帮助开发者在 Agent 与长上下文应用中有效控制推理成本。
2024 年以来,多家主流大模型服务商先后上线了 Prompt Caching 能力,行业共识逐渐形成:大模型推理中有相当一部分计算是在被重复执行的,把这部分省下来就是真金白银。据公开的行业数据,缓存命中部分的价格普遍被下调至原价的 10% 左右,个别厂商公布的价差可达 10 倍;某厂商在其技术博客中展示了智能编程助手的实际生产数据:缓存命中率可达 90% 以上,整体成本下降约八成。
这意味着,对于系统提示词较长、多轮对话频繁、Agent 循环调用密集的应用而言,“是否合理组织 prompt 以命中缓存”已经不再是锦上添花的优化,而是直接影响成本结构甚至商业可行性的关键决策。本文对比的核心对象,就是同一次推理请求中的两条路径:缓存命中路径与缓存未命中路径,并延伸到“启用缓存方案”与“不启用缓存方案”在架构与成本上的系统性差异。
缓存未命中路径:请求的前缀在服务端没有可复用的中间计算结果,推理引擎需要从第一个 token 开始,完整执行一遍预填充计算,逐层计算注意力、生成并保存 KV Cache,随后再进入解码阶段。
缓存命中路径:请求的前缀与近期某次请求的前缀完全一致(或前缀部分一致),服务端可以直接复用已保存的 KV Cache,跳过对这部分 token 的重复计算,只需对新增加的增量 token 执行预填充。
需要强调的是,这两条路径并不是两种不同的“产品”,而是同一次 API 调用在不同条件下走的两种执行状态。正因为如此,开发者的工作重点不是“选择用不用缓存”,而是“如何组织请求结构,让尽可能多的 token 落在命中路径上”。
两条路径在以下方面是一致的:
这是最直观的差异。主流计费方式将输入 token 区分为“缓存命中”与“缓存未命中(含缓存写入)”两类:
| 项目 | 缓存未命中 | 缓存命中 |
|---|---|---|
| 输入计费 | 按标准输入价 | 约为标准价的 10%~20% |
| 首次写入 | 可能附加一次性写入费用 | 不适用 |
| 计费粒度 | 按完整前缀 token 数 | 按实际命中前缀 token 数 |
以原文引用的行业数据为例:某厂商对高重复输入的定价中,命中价格与未命中价格相差整整 10 倍。对于系统提示 20K token、每天数千次调用的 Agent 应用,仅这一项差异就可能决定产品是否“破产”。
从架构上看,预填充阶段对长前缀的计算量与 token 数近似成正比,且是典型的算力密集型操作。命中路径跳过了这部分计算,最直接的收益是首 token 延迟(TTFT)显著下降。原文提到的趣味现象正源于此:研究者可以通过响应速度的细微差异,推测某个输入前缀是否被缓存过——延迟本身成了可观测的信号。这也提示了一个使用边界:延迟差异虽然通常是好事,但在某些场景下也可能构成侧信道信息,需要从隐私与安全角度加以评估。
当前主流实现普遍采用严格前缀匹配:缓存命中的前提是请求开头部分与缓存内容逐字节一致。这意味着:
一个通用的组织原则示意如下:
推荐结构:[静态部分:系统指令 + 工具定义 + 少样本示例] ← 稳定,易于命中[半静态部分:会话级上下文] ← 会话内可复用[动态部分:当前用户输入] ← 放在最末尾反模式:[动态时间戳] + [静态系统指令] + [用户输入] ← 前缀被污染,几乎永不命中
两条路径的差异最终通过命中率这一杠杆放大或缩小。命中率取决于三个因素:prompt 前缀的稳定性、缓存 TTL 内的调用密度、以及流量在多租户间的分布。高重复率业务(如固定系统提示的编程助手、批处理文档分析)天然命中率高;而前缀高度个性化的应用收益有限。
| 维度 | 缓存命中路径 | 缓存未命中路径 |
|---|---|---|
| 工程投入 | 需要重构 prompt 结构、拆分静态与动态内容 | 无额外设计 |
| 成本 | 低(约为标准价的 10%~20%) | 全价 |
| 首 token 延迟 | 明显降低 | 与前缀长度成正比 |
| 结果一致性 | 理论上与未命中一致 | 基准 |
| 风险 | 依赖 TTL 与流量模式,命中率波动 | 稳定但昂贵 |
选型上可遵循以下条件化判断:当应用具备“长且稳定的公共前缀 + 高调用频次”特征时,启用缓存方案收益明确;当团队无法控制 prompt 的前缀稳定性时,应先做 prompt 结构改造再评估缓存价值;在成本敏感的规模化生产系统中,建议将缓存命中率纳入核心监控指标。
迁移与使用时需注意:其一,重构 prompt 结构可能影响模型行为,静态与动态内容的重排需回归测试验证输出质量;其二,缓存存在 TTL,流量低谷后首轮调用可能未命中,容量与成本预算需按混合命中率估算;其三,命中与未命中的计费字段需在账单分析中区分统计,避免成本归因错误;其四,多租户场景下需确认服务方对缓存的隔离策略,避免跨租户信息泄露风险;其五,延迟差异可被外部观测,对时延敏感或隐私敏感的业务应做相应评估。
Prompt Caching 的本质,是把注意力机制中本就确定性的预填充计算,从“每次重做”变成“按前缀复用”。缓存命中与未命中两条路径在模型能力上毫无差别,但在计费(可达 10 倍价差)、首 token 延迟和工程要求上差异显著。决策的核心不是“要不要用缓存”,而是“prompt 的前缀能否稳定到足以命中”。对于 Agent 时代普遍面临长系统提示的应用而言,理解这两条路径的差异、按前缀稳定性重构请求结构,是控制推理成本最直接、杠杆最大的一项工程实践。