简介：Prompt Caching正成为大模型推理降本的关键技术。本文从底层KV Cache机制出发，对比缓存命中与未命中在计算路径、延迟表现和计费逻辑上的核心差异，帮助开发者理解何时能省下真金白银、如何设计缓存友好的Prompt结构，以及在Agent与长对话场景中的选型与迁移注意事项。
2024年以来，大模型推理成本结构发生了一次静默但深刻的变化。多家主流模型服务商先后上线了Prompt Caching能力，将缓存命中部分的输入价格降至未命中价格的十分之一左右。同一时期，部分厂商公开的生产数据显示，在代码辅助等高频场景中，缓存命中率可以超过九成，整体成本下降幅度超过八成。
这个数字背后有一个容易被忽视的事实：大模型推理中大量计算是重复的。理解这种重复从何而来、缓存如何将其转化为成本优势、以及不同缓存策略之间的差异，已经成为开发者、技术负责人和架构师在AI应用设计阶段就必须掌握的底层知识。
本文将从最底层的Transformer推理机制出发，对比Prompt Caching中“缓存命中”与“缓存未命中”两条路径的本质差异，并延伸到架构设计、适用场景、选型依据和迁移注意事项。
在讨论Prompt Caching之前，需要先明确本文对比的两个核心对象：缓存命中路径与缓存未命中路径。
缓存未命中路径，指的是模型对输入Prompt中的所有token从头执行完整的计算过程。系统需要为每一个输入token生成对应的Key和Value向量，并在后续解码阶段反复读取这些向量。这条路径的计算量与输入长度成正比，是完整成本。
缓存命中路径，指的是系统识别出输入Prompt的某个前缀已经在之前的请求中被计算过，因此直接复用已存储的Key和Value向量，跳过这部分token的重复计算。模型只需要处理新增的、未被缓存的部分，并在解码阶段同时读取缓存向量和新增向量。
两者的对比不是一个功能层级的问题，而是同一个推理请求在计算路径上可能走向的两种截然不同的资源消耗模式。
要理解缓存命中与未命中的本质区别，必须回到Transformer推理的两个阶段。
Prefill阶段的任务是将输入的全部token一次性送入模型，为每个token计算出Key和Value向量。这个阶段具有两个显著特征：
第一，计算并行度高。所有输入token的向量计算可以同时进行，但这也意味着Prefill阶段的计算量与输入长度直接相关。
第二，首字延迟的主要贡献者。Time To First Token主要消耗在Prefill阶段。输入越长，用户等待第一个输出token的时间越长。
对于缓存未命中路径，Prefill阶段必须覆盖所有输入token。而对于缓存命中路径，Prefill阶段只需处理缓存前缀之后的新增token。如果缓存前缀覆盖了绝大部分输入，Prefill的计算量可以大幅下降。
Decode阶段每次生成一个新token时，模型都会回头查看之前所有token的Key和Value向量。这个“查看”动作不重新计算向量，只是读取。
关键问题在于：这些向量来自哪里？
两条路径在Decode阶段的读取量是相同的，差异集中在Prefill阶段的计算开销和向量存储的检索方式上。
任何token的Key和Value向量只取决于它自己和它前面的token，与后面的内容无关。这个特性保证了前缀缓存的可行性：只要输入的前缀完全一致，对应的向量就完全一致，可以安全复用。
基于上述机制，缓存命中与未命中路径在多个维度上存在显著差异。
| 对比维度 | 缓存未命中 | 缓存命中 |
|---|---|---|
| Prefill计算量 | 覆盖全部输入token | 仅覆盖缓存前缀之后的新增token |
| 首字延迟 | 随输入长度增加而上升 | 前缀部分不产生Prefill计算，TTFT可显著降低 |
| 计费逻辑 | 按完整输入token数计费 | 前缀部分按缓存命中价格计费，通常为原价的十分之一左右 |
| 存储与检索需求 | 无外部缓存依赖 | 依赖缓存系统的高效匹配与读取 |
| 适用输入特征 | 每次输入都显著不同 | 存在稳定的、重复的前缀结构 |
| 系统复杂度 | 低 | 需要设计缓存友好的Prompt结构 |
缓存未命中路径的架构更简单：请求进来，全量计算，返回结果。缓存命中路径则增加了一个额外的组件——缓存存储与匹配层。这个层需要完成前缀匹配、向量检索、失效管理和并发访问控制等工作。
从实现角度看，缓存系统通常基于输入前缀的某种摘要进行匹配。当新请求到达时，系统会检查其开头部分是否与已存储的缓存前缀一致。如果一致，就跳过对应部分的Prefill计算；如果不一致，则回退到未命中路径。
性能差异集中体现在TTFT上。一个包含数万token的长系统提示，如果每次都需要完整Prefill，首字延迟会非常明显。而当缓存命中时，首字延迟仅取决于新增内容的长度，与缓存前缀无关。
吞吐量的变化则取决于请求的输入构成。在高缓存命中率的场景下，系统可以将节省下来的Prefill计算能力用于处理更多请求，从而提升整体吞吐。
缓存命中的最直接收益体现为计费价格的降低。多家服务商将缓存命中部分的输入价格设置为未命中价格的约十分之一。对于缓存命中率高的场景，整体输入成本可以下降一个数量级。
但需要注意，缓存命中并非免费。缓存存储本身可能产生额外的资源占用，缓存匹配和读取也需要时间。在实际评估中，应综合考虑输入成本节省与缓存系统带来的间接开销。
缓存命中与未命中路径并非简单的优劣关系，而是适用于不同的输入特征和业务场景。
以下场景通常更容易获得高缓存命中率：
长系统提示的Agent应用。在Agent系统中，系统提示往往包含工具说明、操作规范、环境描述等大量固定内容。这些内容在每次调用中保持一致，构成天然的可缓存前缀。
多轮对话场景。用户与模型的每一轮对话，历史消息都是不变的。将历史消息放在Prompt前缀位置，后续轮次即可命中缓存。
代码辅助与补全任务。代码文件、项目结构说明等上下文在多次请求中高度重复，缓存价值显著。
批量处理固定模板。当大量请求共享相同的指令模板、格式说明或示例时，模板部分可以被高效缓存。
以下场景的缓存命中率通常较低：
输入高度随机。例如开放式的单次问答，用户每次输入的问题完全不同。
前缀频繁变化。如果Prompt前缀中包含了时间戳、随机标识或每次变化的动态内容，缓存匹配会失败。
短输入场景。输入本身很短，即使缓存命中，节省的绝对计算量也有限。
是否值得为缓存优化，可以基于以下条件判断：
条件化的建议是：在长输入、高重复、高频次、延迟敏感的场景中，优先考虑设计缓存友好的Prompt结构；在短输入、低重复、频次敏感度不高的场景中，缓存优化的边际收益有限，不宜为此过度增加系统复杂度。
缓存命中率并非完全由场景决定，开发者可以通过Prompt结构设计主动提升命中率。
缓存基于前缀进行匹配，因此所有稳定的、跨请求不变的内容应该放在Prompt的前部。典型做法是将系统指令、工具定义、上下文说明放在对话历史之前。
每次请求都会变化的内容，例如用户的最新问题、当前时间、临时状态信息，应放在Prompt的后部。这样即使后部内容变化，前部的稳定前缀仍然可以命中缓存。
任何插入在Prompt最前面的动态内容都会破坏缓存匹配。例如在Prompt开头加上一条包含时间戳的指令，会导致整个前缀无法复用。尽量将这类内容移到末尾。
如果现有应用要迁移到缓存友好的架构，以下事项需要提前评估。
不同服务商的Prompt Caching启用方式和匹配规则可能存在差异。迁移前需要确认：缓存是自动启用还是需要显式配置；匹配是否基于完全一致的字符串前缀；是否存在最小缓存长度限制。这些差异会影响Prompt结构的设计方案。
迁移后应建立命中率监控。通过记录每次请求是否命中缓存、命中前缀长度、未命中原因等信息，可以持续优化Prompt结构。没有监控的缓存优化是盲目的。
缓存有生命周期。不同的服务商可能使用不同的失效策略，例如基于时间的过期、基于存储容量的淘汰、或基于内容更新的主动失效。开发者需要了解这些机制，避免因缓存过期导致预期外的成本波动。
在缓存系统中，多个请求可能共享缓存存储。需要关注缓存键的设计是否会带来数据混淆风险。尤其是当不同用户、不同租户的请求共享缓存时，必须确保缓存匹配不会导致跨用户的数据泄漏。
缓存系统可能存在未命中、失效或不可用的情况。应用层需要有回退策略，确保在缓存不可用时功能仍然正常，只是成本或延迟会上升。
Prompt Caching的普及正在改变AI应用的设计哲学。过去，开发者可能倾向于精简Prompt以控制成本。但现在，只要Prompt的前缀足够稳定，长度本身不再等同于成本负担。
这为Agent设计带来了新的可能性：可以更充分地将规则、工具说明、历史上下文放入系统提示，而不必过度担心每次调用的输入成本。真正的成本优化重点，从“减少输入长度”转向“优化输入结构”。
一个设计良好的Agent Prompt，应当将稳定内容集中在前部，将动态内容集中在后部，并通过持续的命中率监控来验证结构的有效性。这种思路与传统的“能省则省”的Prompt优化策略有本质区别，它更强调结构性优化而非单纯的长度压缩。
Prompt Caching的价值建立在一个简单而深刻的技术事实之上：Transformer推理中，任何token的Key和Value向量只取决于它自己和它前面的token。这一特性使得前缀缓存成为可能，也让缓存命中与未命中成为两条在计算量、延迟和成本上差异显著的技术路径。
缓存未命中路径简单直接，但为重复内容持续付出全量计算成本；缓存命中路径通过复用已计算向量，在多类维度上获得数量级的改善，但要求输入具有稳定的前缀结构，并且增加了缓存匹配、存储和监控等系统复杂度。
对于开发者而言，关键不是判断哪条路径“更好”，而是识别自己的场景属于哪一类输入特征。在长输入、高重复、高频次的Agent和对话场景中，缓存友好的Prompt设计应该成为默认实践；在短输入、低重复的场景中，保持简单或许更明智。
最终，Prompt Caching的意义不止于当前的成本节省。它正在改变我们思考AI应用成本结构的方式：从关注单次请求的完整成本，转向关注请求之间的重复部分与增量部分。这种视角的转变，在Agent时代将持续影响系统架构、Prompt工程和成本优化策略的演进方向。