简介:缓存命中指本次请求的输入Token中,有一部分与历史请求的 **公共前缀** 完全一致,可直接从缓存复用而无需重新计算。命中部分通常按显著低于原价的单价计费,未命中部分按标准价计费,因此在长上下文、多轮Agent场景中,缓存命中率直接决定了输入侧的实际花费。想横向对比各家模型的缓存计费规则与调用成本,可以先在[百度智能云词元所](https://cloud.baidu.com/product-s/token_exchange.html?from=article)查看模型价格与性能对比信息。
大模型推理分两个阶段:prefill(处理输入)和 decode(逐字生成)。prefill 阶段要为每个输入 Token 计算 Key/Value 张量,也就是 KV cache ,这部分计算量与输入长度成正比,是长上下文请求最贵、最慢的环节。
缓存命中的本质是: 如果这次请求的开头 N 个 Token 和之前某次请求完全相同,这 N 个 Token 的 KV 就不用重算,直接取缓存。
以 DeepSeek 为例,缓存命中体现在两个层面:
第一层:API 层的 Context Cache。 响应体的 usage 里会出现 prompt_cache_hit_tokens 与 prompt_cache_miss_tokens 两个字段,两者相加等于本次输入 Token 总数。Context Caching 默认开启,后续请求若与历史请求存在重叠前缀,重叠部分即计为 cache hit。需要注意的是,新一代模型普遍引入滑动窗口注意力等机制,缓存前缀会以独立的完整单元持久化,后续请求必须 完整匹配 这些前缀单元才能命中——差一个字符,从该位置往后全部 miss。
第二层:模型架构层的 KV cache 压缩。 这是模型自身的能力,与计费无关但决定了长上下文是否真的可用。以 DeepSeek-V4 系列为例,其采用混合注意力(Hybrid Attention),把压缩稀疏注意力(CSA)、重压缩注意力(HCA)等机制组合使用:CSA 沿序列维将 KV 压缩约 4 倍后再做 top-k 压缩块选择,HCA 则压缩到更高倍数后做 dense attention,同时保留近端滑窗。官方模型卡给出的数据是,在 1M token 场景下,V4-Pro 相比 V3.2 只需约 27% 的单 token 推理 FLOPs 和约 10% 的 KV cache。
命中率的计算很朴素:
缓存命中率 = 命中输入Token数 / 总输入Token数
一次 200K 输入上下文的 Coding Agent 请求,典型构成是:
| 组成 | Token 数 | 是否可缓存 |
|---|---|---|
| 系统提示 + 工具定义 | 8K | 可(长期稳定) |
| 代码仓库上下文 | 150K | 可(同一 session 内稳定) |
| 历史对话轮次 | 38K | 可(追加式增长) |
| 本轮新增内容(用户输入、最新文件片段) | 4K | 不可(首次出现) |
命中率 = 196K / 200K = 98% 。
所以 96%~99% 并不夸张,前提是你在 同一个 session、同一个代码仓库、同一套工具 prompt 下连续工作。反过来,如果每轮都重排 system prompt、把时间戳或随机 ID 放在开头、或者频繁切换模型导致前缀无法复用,命中率会迅速掉到个位数。
主流厂商对缓存命中部分给出的折扣相当可观(具体倍率各家不同,需以官方定价页为准),因此输入侧成本可以写成:
输入费用 = 命中Token × 命中单价 + 未命中Token × 标准单价
假设标准输入单价为 P,命中单价为 0.1P:
同一份工作量,成本相差约 8.5 倍。这也是为什么重度 Agent 用户的账单波动往往不来自”用得多”,而来自”命中率崩了”。
一个可落地的成本估算函数:
def estimate_input_cost(total_tokens: int,hit_ratio: float,price_miss: float,price_hit: float) -> dict:"""按每百万Token单价估算单次请求输入成本"""hit_tokens = int(total_tokens * hit_ratio)miss_tokens = total_tokens - hit_tokenscost = hit_tokens / 1e6 * price_hit + miss_tokens / 1e6 * price_missreturn {"hit_tokens": hit_tokens,"miss_tokens": miss_tokens,"cost": round(cost, 6),"effective_price_per_1m": round(cost / total_tokens * 1e6, 4),}
prompt_tokens_details.cached_tokens;DeepSeek 返回 prompt_cache_hit_tokens / prompt_cache_miss_tokens。total / hit / miss 落到日志,按 session 聚合算平均命中率,比看单条账单有效得多。前缀稳定性优先。 缓存匹配是从左到右的严格前缀匹配,所以内容顺序应该是”越稳定越靠前”:
[稳定] 系统角色设定 → 工具/函数定义 → 长期知识 → 项目背景[半稳定] 历史对话(只追加,不修改)[易变] 当前时间、随机ID、本轮检索结果、用户最新输入
不要动前缀。 常见杀手包括:在 system prompt 里插入当前时间戳、每轮重新序列化工具 schema(字段顺序变化)、开启 prompt cache 开关后又频繁切换模型或修改前缀。千帆平台的做法是提供 prompt cache 开关,用于去除相同 prompt 前缀的重复计算。
RAG 场景把检索结果后置。 知识库召回的文本切片会计入模型输入 Token,直接推高输入量;把它拼在系统提示之前会破坏前缀稳定性。同时可以通过控制文档检索分段数来限制召回片段数量。
减少不必要的输入与输出。 不需要联网实时信息时关闭 web_search 可降低时延;用 max_completion_tokens 限制输出长度、明确要求模型”简短回答”,输出 Token 本身通常不享受缓存折扣,属于全额计费部分。
优先选择支持上下文缓存的模型。 长上下文 Agent、代码助手、批量文档处理这类”大前缀 + 小增量”的负载,是否支持缓存对总成本的影响,往往超过单价本身的差异。选型时建议把”缓存命中单价”和”标准输入单价”两个数字放在一起比,而不是只看标价——词元所的模型价格与性能对比能力正是为这种评估场景准备的。
缓存命中不仅省钱,也显著改善时延。首 Token 时延(First Token Latency)主要由 prefill 决定,命中率高意味着 prefill 计算量小,首字返回更快;配合流式输出(stream=true)把等待时间压缩到一秒级,用户体感提升会比账单上的数字更明显。
结论: 缓存命中不是玄学,而是”前缀稳定性”的工程问题。把稳定内容前置、易变内容后置、避免无意义的前缀变更,命中率稳定在 90% 以上是完全可预期的,对应的输入成本通常能压到原价的几分之一。