简介:大模型Agent任务中,重复的长上下文是token成本的主要来源。本文对比"缓存命中"与"缓存未命中"两种调用路径,从计费逻辑、上下文复用、显存管理、Agent框架设计等维度解析差异,帮助开发者理解缓存如何降低token费用,并给出不同场景下的选型与使用建议。
在 Agent、多轮对话、代码助手等长上下文场景中,一次任务往往触发上百次模型调用,每次都要携带成千上万 token 的历史前缀。若这些重复前缀每次都做完整的注意力计算,成本会随调用次数线性膨胀。然而实践中账单并未成比例增长,关键就在于推理系统对”重复前缀”的复用——也就是本文要对比的核心:缓存命中(cache hit)与缓存未命中(cache miss)两种调用路径。理解二者差异,直接决定了 API 成本、显存规划与 Agent 架构设计。
缓存未命中(无缓存复用):每一次请求都把完整的对话历史(系统提示、历史轮次、当前输入)重新送入模型,模型对全部 token 执行完整的 prefill 计算,全部按常规输入 token 计费。这是最直观、无状态的行为。
缓存命中(前缀缓存复用):推理系统会缓存某些请求前缀对应的中间计算结果(KV 状态)。当新请求的前缀与缓存逐 token 完全一致时,命中部分无需重新计算,只对新增的增量 token 做完整计算。命中部分通常按远低于常规输入的价格计费(行业里常见的量级约为常规输入的十分之一左右),用量接口会以独立字段单独统计,例如”缓存读取 token”。不同服务商的命名不同,但语义一致。
以某次实测的 Agent 单步为例:读取约 119K token 的历史前缀,其中绝大部分命中缓存,仅对新增的约 875 token 做完整计算。命中部分按折扣计费,未命中部分按常规计费,账单因此显著低于”全量计算”。
无论命中与否,二者在以下层面是一致的:
未命中路径下,全部输入 token 按常规价计费;命中路径把输入拆成”缓存读取(折扣价)+ 缓存写入(首次建立缓存,部分服务对写入有轻微加价)+ 常规增量”三部分。因此命中路径的成本优势来自”重复前缀被反复摊薄”。
# 伪代码:观察一次调用的 token 计费构成messages = [{"role": "system", "content": STABLE_SYSTEM_PROMPT}, # 稳定长前缀,可命中# ... 历史轮次:越靠前越稳定 ...]resp = client.chat(messages=messages)u = resp.usage# u.input_tokens 未命中、按常规价计费的输入# u.cache_read_tokens 命中缓存、按折扣价计费的输入# u.cache_write_tokens 首次写入缓存的输入(部分服务可能轻微加价)
未命中每步都要重算全量 prefill,首 token 延迟(TTFT)随上下文长度增长;命中路径跳过大部分 prefill,首 token 更快、GPU 计算量更低。这也是为什么长上下文场景中,命中带来的收益同时体现在成本和延迟两个维度。
命中要求推理系统把前缀的 KV 状态保留在显存中,这占用了宝贵的 GPU 显存,并受缓存存活时间(TTL)约束——超时或显存不足时缓存会被驱逐,退化为未命中。集群调度也需尽量把”共享同一前缀”的请求路由到同一节点,以提升命中率。未命中路径无状态、可任意调度,实现简单但不利用复用。
高命中收益要求 Agent 把”稳定内容”放在前缀、把”易变内容”放在后缀:系统提示、工具定义、固定知识放前面,逐轮新增的用户输入与工具结果追加在后面。若每轮都重排或改写前缀,命中会被打断。所以缓存机制反过来约束了 Agent 的上下文组织方式。
| 维度 | 缓存未命中 | 缓存命中 |
|---|---|---|
| 计算量 | 全量 prefill | 仅增量 prefill |
| 计费 | 全部常规输入价 | 命中折扣价 + 增量常规价 |
| 首 token 延迟 | 随上下文增长 | 明显更低 |
| 显存占用 | 无额外缓存占用 | 需保留前缀 KV |
| 调度要求 | 无状态,灵活 | 亲和路由更优 |
| 命中条件 | —— | 前缀逐 token 一致且未过期 |
| 失效风险 | 无 | TTL 到期 / 显存驱逐 |
| 适用场景 | 短上下文、一次性请求 | 长上下文、重复前缀 |
缓存命中与未命中的本质区别,在于是否复用了重复前缀的中间计算。前者用”折扣计费 + 低延迟”换取”显存占用 + 调度约束 + TTL 失效风险”,后者以”无状态、简单”换取”全量重算的高成本”。选型的核心判断是:你的调用是否具备”长且稳定的重复前缀”。若是(如 Agent、多轮对话),合理配置前缀缓存能在成本与延迟上同时获益;若否,则缓存收益有限,应把精力放在精简上下文本身。无论选择哪种路径,理解用量接口中”命中 / 写入 / 常规”三类 token 的语义,都是做好成本控制与架构设计的前提。