简介:同为大模型推理,缓存命中与未命中对应的执行路径、首字延迟和成本却可能相差一个数量级。本文从 KV Cache 的底层机制讲起,对比两条推理路径在延迟、成本、适用前提与安全上的核心差异,并给出 prompt 结构设计、场景选型与迁移注意事项,帮助你在长上下文与 Agent 应用中做出更合理的判断。
在讨论大模型推理优化时,很多讨论一上来就聚焦”接口怎么调”,这属于本末倒置。要真正理解一套优化方案的价值,必须先理解它省掉了什么计算。
从注意力机制,到接口计费,再到 Agent 时代的 prompt 组织方式,有一条完整的价值链把它们串了起来。它解释了为什么一个动辄两万 token 系统提示的编程类助手不会”把调用成本烧穿”,为什么 Agent 时代必须重新思考 prompt 结构,甚至解释了为什么有研究团队能仅凭”响应时延”这一件小事,窥探到用户正在输入什么。
本文要对比的,正是同一段推理请求在两种执行方式下的表现:
行业里近似的观察是:在高重复输入场景下,命中部分的价格通常只有未命中的一小部分(常见的量级约为十分之一),这个差距足以让架构师停下来重新审视自己的调用方式。
想象让一个对话式 AI 助手写一首诗,它在后台其实分成了两个性质完全不同的阶段:
未命中路径意味着:即便前缀与上一次请求完全相同,Prefill 依然会被完整重算一遍。
缓存命中路径的核心洞察是:任何 token 的 K、V 向量,只取决于它自己和它前面的 token。
这句话不需要理解矩阵乘法,只需要一个物理直觉:一个词在被”读”到时,它理解上下文的方式,完全由它自己和左侧所有词决定,与右侧还没出现的词无关。因此,只要一段前缀逐字节相同,它的中间计算结果(KV 状态)就是完全一样的,可以安全地存下来、反复使用。命中时,系统跳过这段前缀的重算,只对新追加的 token 做计算。
两条路径并非对立的技术,而是同一套推理流程在不同缓存策略下的两种状态,它们在以下方面高度一致:
这是最直接的差异。方案 A 的 TTFT 与提示长度近似成正比,前缀越长等待越久;方案 B 在命中时几乎省掉了整段前缀的 Prefill,TTFT 大幅下降。因此在长系统提示、长文档场景中,两者的首字延迟可能相差数倍。
方案 A 的算力消耗与”总输入 token 数”强相关,重复内容反复付费;方案 B 把成本结构拆成了”命中”与”未命中”两部分,命中部分按显著更低的费率计费。这就是”省下来的就是真金白银”的来源——它省掉的是重复 Prefill 的那块爆发式计算。需要强调:这里比较的是成本结构的差异,而非某个固定数字,实际费率因平台与时段而异,应以官方文档为准。
方案 B 有严格前提:前缀必须稳定且可复用。它对 prompt 的组织方式极其敏感——
示意性的缓存友好结构如下(通用伪代码,不含任何专有工具):
messages = [{ role: "system", content: STATIC_LONG_PROMPT }, # 稳定前缀,放最前{ role: "few_shot", content: STATIC_EXAMPLES }, # 可复用示例,紧随其后{ role: "user", content: DYNAMIC_QUERY } # 动态内容,放最后]
方案 A 则没有这些约束,任意拼装的 prompt 都能正确工作,只是享受不到复用红利。
方案 B 依赖的缓存并非永久有效,通常存在空闲超时(即一段时间无命中后自动失效)与容量上限。这意味着在低频调用、间隔较大的场景下,命中可能落空;而高并发、短间隔的稳定流量更容易维持高命中。方案 A 无此状态管理问题。
缓存引入了方案 A 不具备的时序侧信道风险:由于命中的响应通常更快,响应时延的细微差异可能泄露”前缀是否被缓存过””缓存了多少”等信息。已有研究正是借此观察时延差异,间接推断输入特征。因此在多租户、敏感数据场景中,方案 B 需要额外的隔离与访问控制考虑;方案 A 因无共享状态,这一面相对简单。这并非否定方案 B,而是提示选型时要评估隔离与审计能力。
| 维度 | 方案 A:未命中(全量重算) | 方案 B:缓存命中(复用前缀) |
|---|---|---|
| 执行方式 | 每次完整 Prefill | 复用前缀 KV,仅算新增 |
| 首字延迟 | 随前缀长度增长 | 命中时大幅降低 |
| 成本结构 | 按总输入计,重复付费 | 命中部分显著更便宜 |
| 适用前提 | 无 | 前缀稳定、可复用 |
| 结构敏感度 | 低 | 高,需前置静态内容 |
| 状态管理 | 无 | 需关注超时与容量 |
| 安全风险 | 较低 | 需防时序侧信道、加强隔离 |
| 最适场景 | 前缀各异、请求独特 | 长静态前缀、高重复、Agent 多轮 |
不做绝对化推荐,给出条件判断:
方案 A 与方案 B 的分野,本质是”是否复用那段被重复计算的 Prefill”。它们的差异并非谁优谁劣,而是由前缀是否稳定、调用是否高重复、以及对延迟与安全的要求共同决定。理解到”任何 token 的 K、V 只取决于它自身与左侧上下文”这一层,你就能明白:省下的每一分成本,都来自那块本可以只做一次的重复计算。选型的关键,是让你的 prompt 结构、流量特征与业务的安全合规要求三者对齐,再据此在复杂度与收益之间找到平衡。