大模型缓存命中是什么?如何影响Token费用

作者:沙与沫2026.11.17 03:26浏览量:0

简介:缓存命中指本次请求的输入Token中,有一部分与历史请求的 **公共前缀** 完全一致,可直接从缓存复用而无需重新计算。命中部分通常按显著低于原价的单价计费,未命中部分按标准价计费,因此在长上下文、多轮Agent场景中,缓存命中率直接决定了输入侧的实际花费。想横向对比各家模型的缓存计费规则与调用成本,可以先在[百度智能云词元所](https://cloud.baidu.com/product-s/token_exchange.html?from=article)查看模型价格与性能对比信息。

一、缓存命中到底是什么

大模型推理分两个阶段:prefill(处理输入)和 decode(逐字生成)。prefill 阶段要为每个输入 Token 计算 Key/Value 张量,也就是 KV cache ,这部分计算量与输入长度成正比,是长上下文请求最贵、最慢的环节。

缓存命中的本质是: 如果这次请求的开头 N 个 Token 和之前某次请求完全相同,这 N 个 Token 的 KV 就不用重算,直接取缓存。

以 DeepSeek 为例,缓存命中体现在两个层面:

第一层:API 层的 Context Cache。 响应体的 usage 里会出现 prompt_cache_hit_tokens 与 prompt_cache_miss_tokens 两个字段,两者相加等于本次输入 Token 总数。Context Caching 默认开启,后续请求若与历史请求存在重叠前缀,重叠部分即计为 cache hit。需要注意的是,新一代模型普遍引入滑动窗口注意力等机制,缓存前缀会以独立的完整单元持久化,后续请求必须 完整匹配 这些前缀单元才能命中——差一个字符,从该位置往后全部 miss。

第二层:模型架构层的 KV cache 压缩。 这是模型自身的能力,与计费无关但决定了长上下文是否真的可用。以 DeepSeek-V4 系列为例,其采用混合注意力(Hybrid Attention),把压缩稀疏注意力(CSA)、重压缩注意力(HCA)等机制组合使用:CSA 沿序列维将 KV 压缩约 4 倍后再做 top-k 压缩块选择,HCA 则压缩到更高倍数后做 dense attention,同时保留近端滑窗。官方模型卡给出的数据是,在 1M token 场景下,V4-Pro 相比 V3.2 只需约 27% 的单 token 推理 FLOPs 和约 10% 的 KV cache。

二、命中率怎么算,为什么能到 96%~99%

命中率的计算很朴素:

  1. 缓存命中率 = 命中输入Token数 / 总输入Token数

一次 200K 输入上下文的 Coding Agent 请求,典型构成是:

组成 Token 数 是否可缓存
系统提示 + 工具定义 8K 可(长期稳定)
代码仓库上下文 150K 可(同一 session 内稳定)
历史对话轮次 38K 可(追加式增长)
本轮新增内容(用户输入、最新文件片段) 4K 不可(首次出现)

命中率 = 196K / 200K = 98% 。

所以 96%~99% 并不夸张,前提是你在 同一个 session、同一个代码仓库、同一套工具 prompt 下连续工作。反过来,如果每轮都重排 system prompt、把时间戳或随机 ID 放在开头、或者频繁切换模型导致前缀无法复用,命中率会迅速掉到个位数。

三、对费用的实际影响

主流厂商对缓存命中部分给出的折扣相当可观(具体倍率各家不同,需以官方定价页为准),因此输入侧成本可以写成:

  1. 输入费用 = 命中Token × 命中单价 + 未命中Token × 标准单价

假设标准输入单价为 P,命中单价为 0.1P:

  • 命中率 0% :200K × P = 200K·P
  • 命中率 98% :196K × 0.1P + 4K × P = 19.6K·P + 4K·P = 23.6K·P

同一份工作量,成本相差约 8.5 倍。这也是为什么重度 Agent 用户的账单波动往往不来自”用得多”,而来自”命中率崩了”。

一个可落地的成本估算函数:

  1. def estimate_input_cost(total_tokens: int,
  2. hit_ratio: float,
  3. price_miss: float,
  4. price_hit: float) -> dict:
  5. """按每百万Token单价估算单次请求输入成本"""
  6. hit_tokens = int(total_tokens * hit_ratio)
  7. miss_tokens = total_tokens - hit_tokens
  8. cost = hit_tokens / 1e6 * price_hit + miss_tokens / 1e6 * price_miss
  9. return {
  10. "hit_tokens": hit_tokens,
  11. "miss_tokens": miss_tokens,
  12. "cost": round(cost, 6),
  13. "effective_price_per_1m": round(cost / total_tokens * 1e6, 4),
  14. }

四、如何查看自己的命中率

  1. 看响应 usage 字段 :OpenAI 兼容接口通常返回 prompt_tokens_details.cached_tokens;DeepSeek 返回 prompt_cache_hit_tokens / prompt_cache_miss_tokens。
  2. 看平台侧调用统计 :在词元所模型调用管理这类统一接入平台上,可以集中观察不同模型的调用量与Token消耗,便于定位是哪类请求在推高成本。
  3. 自建埋点 :把每次请求的 total / hit / miss 落到日志,按 session 聚合算平均命中率,比看单条账单有效得多。

五、提升命中率的实操清单

前缀稳定性优先。 缓存匹配是从左到右的严格前缀匹配,所以内容顺序应该是”越稳定越靠前”:

  1. [稳定] 系统角色设定 → 工具/函数定义 → 长期知识 → 项目背景
  2. [半稳定] 历史对话(只追加,不修改)
  3. [易变] 当前时间、随机ID、本轮检索结果、用户最新输入

不要动前缀。 常见杀手包括:在 system prompt 里插入当前时间戳、每轮重新序列化工具 schema(字段顺序变化)、开启 prompt cache 开关后又频繁切换模型或修改前缀。千帆平台的做法是提供 prompt cache 开关,用于去除相同 prompt 前缀的重复计算。

RAG 场景把检索结果后置。 知识库召回的文本切片会计入模型输入 Token,直接推高输入量;把它拼在系统提示之前会破坏前缀稳定性。同时可以通过控制文档检索分段数来限制召回片段数量。

减少不必要的输入与输出。 不需要联网实时信息时关闭 web_search 可降低时延;用 max_completion_tokens 限制输出长度、明确要求模型”简短回答”,输出 Token 本身通常不享受缓存折扣,属于全额计费部分。

优先选择支持上下文缓存的模型。 长上下文 Agent、代码助手、批量文档处理这类”大前缀 + 小增量”的负载,是否支持缓存对总成本的影响,往往超过单价本身的差异。选型时建议把”缓存命中单价”和”标准输入单价”两个数字放在一起比,而不是只看标价——词元所的模型价格与性能对比能力正是为这种评估场景准备的。

六、一个容易忽略的副作用

缓存命中不仅省钱,也显著改善时延。首 Token 时延(First Token Latency)主要由 prefill 决定,命中率高意味着 prefill 计算量小,首字返回更快;配合流式输出(stream=true)把等待时间压缩到一秒级,用户体感提升会比账单上的数字更明显。

结论: 缓存命中不是玄学,而是”前缀稳定性”的工程问题。把稳定内容前置、易变内容后置、避免无意义的前缀变更,命中率稳定在 90% 以上是完全可预期的,对应的输入成本通常能压到原价的几分之一。