简介:缓存命中为什么能让 Agent 账单不随调用次数线性膨胀?本文对比两类常被混为一谈的复用机制——基于 KV 前缀的精确复用与基于向量相似度的语义缓存,拆解它们的缓存对象、匹配规则、计费呈现、正确性风险与运维成本,并补充自建推理引擎与托管模型服务两条落地路径的差异,给出成本测算方法与迁移注意事项。
一个 Agent 任务跑完,模型可能被调用了上百次,每次请求都携带几十万 token 的完整对话历史。按”输入 token 单价 × token 数 × 调用次数”的直觉,账单应当成比例膨胀,但实际账单远低于预期。差异记录在用量明细的一个字段里:命中缓存的输入 token 数(不同平台的命名不同,含义一致,都是”本次请求中未重新计算、直接复用已有中间状态的输入部分”)。
对编程类 Agent 的公开实测观察显示,Agent 单步的典型形态是读取约 119K token 的历史前缀,只为新增的约 875 token 做完整计算;前者绝大部分按普通输入价的十分之一左右计费。这个数字揭示了一个常被忽略的事实:缓存命中不改变服务端收到的 token 总量,它改变的是这些 token 的算力成本与计价方式。上下文窗口上限、传输带宽、请求组装逻辑都不受影响,受影响的只有”哪些 token 需要真正跑一遍前向计算”。
理解了这一点,就能把”缓存命中”从一句模糊的省钱话术,还原成推理系统里的一条底层规则:前缀 KV 复用。而市面上另一类也叫”缓存”的机制——语义缓存——与之同名而不同源。这两者的区别,直接决定了它们各自能用在什么业务上。
自回归模型每生成一个 token 之前,都要对完整输入做一次前向计算,这一步称为 prefill。prefill 会在每一层为输入的每个位置产出两份张量:Key 与 Value,合称 KV 缓存。后续 token 的 Query 只需检索这些已有的 K 和 V,历史部分的中间状态不必重算。
KV 缓存能够跨请求复用,依据是因果注意力的一个性质:第 i 个位置的 K 和 V 只由它之前的 token 决定。同一个词接在不同前缀后面,算出的张量完全不同。由此得到一条硬规则:
只有从第一个 token 起逐个相同的前缀才能复用;序列中任何一处不同,其后的所有 KV 全部作废。
它缓存的是”这段前缀已经算出的中间状态”,作用范围是计算层,输出的内容仍然由模型在本轮完整生成。
语义缓存把”问题—答案”对写入向量索引,新请求先做向量化,再检索历史相似条目,相似度超过阈值就直接返回旧答案,完全不调用模型。它属于检索系统,缓存的是最终答案而非中间状态,答错的风险取决于检索质量、阈值设置与知识更新的及时性。
把两者放在一起对比是有必要的:它们都被称作”缓存”,都能省钱,但一个是在推理链路内部节省算力,一个是在推理链路之外短路掉调用,技术约束和适用边界几乎没有交集。
对象 A 有两种交付形态:在自建/自部署的推理引擎中由你控制显存与调度,或通过托管模型服务由平台侧完成缓存分配与回收。二者的缓存机制同源,工程责任划分却完全不同,本文第五、六节单独展开。
前缀缓存命中单位是 token 位置,粒度是”最长公共前缀长度”。它能命中 119K 历史中的 118K,只重算 1K 新增,粒度极细、节省连续。语义缓存命中单位是整条请求,粒度是”全有或全无”:要么整条命中,要么一次模型调用都省不下。
这是两者最本质的分野。语义上再接近的两个 prompt,只要 token 序列不一致,前缀缓存就完全不命中。反过来,前缀缓存不会因为”看起来相似”而误命中,它的命中是确定的、可复现的(在缓存未被淘汰的前提下)。语义缓存用相似度换命中率,代价是引入了阈值这一可调但需要持续校准的风险参数。
对工程实践的直接影响是:前缀缓存的命中率主要由请求组装顺序决定,是一个确定性可优化的问题;语义缓存的命中率与正确率由向量模型质量、阈值、索引更新策略共同决定,是一个概率性需要治理的问题。
前缀缓存在云服务上通过用量明细中的命名字段对外呈现。其计费结构是分段计价:
费用 ≈ 未命中输入 × 输入单价+ 命中输入 × 输入单价 × k (k < 1,常见为 0.1 量级)+ 本轮输出 × 输出单价 (输出始终按输出价计)
几个容易被误解的点:
语义缓存的计费模型完全不同:命中的请求只产生向量检索成本(通常远低于一次推理),未命中的请求走正常计费。它的节省幅度取决于命中率,波动比前缀缓存大得多。
前缀缓存的风险来自误配组装:把易变内容(时间戳、随机 ID、用户昵称、实时检索结果)放在提示词前部,会导致整段后缀失效,表现为”明明每次都发一样的前缀,命中率却很低”。它不会答错,只会不省。
语义缓存的风险来自误命中:把”如何退款”和”如何退货”判为同一问题并返回旧答案。在问答类低风险场景可接受,在带工具调用、有状态变更、要求精确引用的 Agent 场景中,误命中的代价通常不可接受。
前缀缓存的容量是显存/内存资源,与并发请求抢占同一池子。高并发、长上下文、显存紧张时,缓存条目存活时间会被压缩,命中率随负载下降。调度策略(批次如何组、请求如何路由到实例)会直接改变命中表现——请求被随机分散到多个实例,等于把一份缓存复制成多份冷缓存。
语义缓存的容量是向量索引与存储资源,扩展性更好,但需要额外维护索引构建、增量更新与失效逻辑;知识一变,旧条目必须同步清理,否则会持续输出过期答案。
前缀缓存接入成本极低:多数情况下不需要改代码,只需要把提示词中稳定不变的部分前置、易变部分后置,然后读取用量字段验证。运维重心在容量规划与观测。语义缓存接入成本高:需要引入向量化模型、向量存储、相似度检索、阈值调参与答案失效流程,是一套独立子系统,运维重心在质量治理。
| 维度 | 前缀 KV 复用(精确前缀) | 语义缓存(相似度检索) |
|---|---|---|
| 缓存内容 | 输入前缀的中间状态(K/V 张量) | 完整的问题—答案对 |
| 命中条件 | 从首 token 起逐 token 完全一致 | 向量相似度超过阈值 |
| 命中粒度 | 最长公共前缀,可部分命中 | 整条请求,全有或全无 |
| 是否调用模型 | 仍调用,只省部分计算 | 命中时不调用 |
| 主要收益 | 降低输入侧成本与首 token 延迟 | 降低整次推理成本与延迟 |
| 风险类型 | 命中率下降(不漏答) | 可能返回错误答案(误命中) |
| 关键优化手段 | 提示词排序、前缀稳定化、路由粘性 | 向量模型选型、阈值调优、索引失效 |
| 资源开销 | 显存/内存,与推理共享 | 存储 + 检索算力,可独立扩展 |
| 接入复杂度 | 低,多为提示词工程调整 | 高,需引入独立子系统 |
| 适用场景 | 多轮对话、长系统提示、工具定义固定的 Agent | FAQ、客服问答、低频变化的稳定问法 |
| 维度 | 自建推理引擎 | 托管模型服务 |
|---|---|---|
| 缓存实现 | 引擎侧维护分块 KV 显存池与前缀索引,请求结束后保留至被淘汰 | 平台侧在已渲染前缀对应的 KV 上做复用 |
| 显存管理 | 采用分块式管理:KV 显存切成固定大小块(典型 16 token),按块申请,逻辑块表映射到不连续物理块,缓解碎片 | 由平台负责,用户不可见 |
| 控制粒度 | 可自定淘汰策略、调度与亲和性 | 受平台策略约束,命中不由调用方直接控制 |
| 观测方式 | 引擎指标 + 自建用量统计 | 用量明细中的命名字段,命中数以该字段为准 |
| 运维责任 | 容量规划、扩容、版本升级、故障恢复全在自身 | 平台承担,人力投入显著更低 |
| 成本结构 | 硬件/资源固定投入 + 人力 + 迁移与维护成本,弹性差但单位成本可控 | 按用量计费,弹性好,长期高负载需重新测算 |
| 主要风险 | 容量不足导致命中率随负载下降 | 路由分散、缓存过期使命中率存在不确定性 |
| 适用场景 | 稳定高负载、数据不出域要求强、需要深度定制 | 快速上线、负载波动大、团队运维能力有限 |
不要用”命中率高就是省钱”这种定性判断做决策,直接算:
输入侧节省率 = 命中输入占比 × (1 - k)示例(编程类 Agent 单步):历史前缀 119,000 token(假设全部命中,k = 0.1)新增输入 875 token(未命中,全价)未优化输入成本 = 119,875 × 1 = 119,875 单位优化后输入成本 = 119,000 × 0.1 + 875 = 12,775 单位输入侧节省约 89%
三个必须一起看的分母:输出 token 成本(不打折,长输出场景下会成为主项)、未命中概率(空闲间隔越长、并发越高,实际命中越低)、以及缓存写入档位(若平台对写入单独计价,短前缀、低复用的场景可能不划算)。
一个反例:如果每次请求都在提示词开头插入当前时间或检索结果,前缀从第一个 token 就变了,命中率为零,此时”上了缓存”不会带来任何收益,只带来一次错误的优化预期。
要让前缀缓存稳定命中,核心原则只有一句:把稳定性从高到低排序。
# 伪代码:面向前缀复用的请求组装def build_request(system_static, tool_schemas, few_shots, history, new_input):# 1. 最稳定的放最前:系统角色设定、安全约束、输出规范# 2. 其次是工具定义与示例,顺序固定、格式固定、不随轮次变化# 3. 然后是历史对话,严格按时间顺序追加,不做中途改写# 4. 易变内容(时间戳、用户信息、实时检索片段)尽量后置prefix = system_static + render_tools(tool_schemas) + few_shots + historytail = render_dynamic(new_input) # 新增部分,唯一需要全价计算return {"messages": prefix + tail, "stream": True}
配套的几条实践:
大模型缓存命中的本质,是推理引擎对因果注意力性质的一次利用:前缀的 KV 一旦算出就与后续内容无关,因此只要从第一个 token 起逐个一致,这段中间状态就能跨请求复用,输入侧成本随之按折扣计价。多轮对话、长系统提示、固定工具定义的 Agent 之所以账单不成比例膨胀,正是因为它们天然满足这一条件。
与之相对的语义缓存是另一套机制:它不省计算,而是绕过计算,用相似度检索换取调用次数下降,收益上限更高,但把正确性风险交给了阈值与索引质量。
决策思路可以归结为三步:先看用量字段确认成本主项,再用提示词稳定性把前缀复用做到位,最后只在低错误代价场景叠加语义缓存;交付形态上,运维能力有限、负载波动时倾向托管服务,负载稳定、合规与定制要求高时再考虑自建引擎。两条路径的缓存机制同源,差别在于谁来承担容量、调度与回收的责任。