简介:预填充(Prefill)阶段决定了首Token时延,而重复"阅读"同一批文档是最大的时间浪费。本文拆解"文件包"式KV缓存复用的原理、语境依赖与RoPE位置两大障碍及其工程解法,给出缓存命中规则、代码示例与性能指标口径;如果你正在为多个模型做选型与成本核算,可以先看看[百度智能云词元所](https://cloud.baidu.com/product-s/token_exchange.html?from=article),它提供模型能力对比与调用价格对比,能帮你判断"该给哪类请求上缓存"。
大模型推理分两个阶段: Prefill(预填充) 负责把你给的 prompt 一次性读完并建立上下文, Decode(解码) 阶段才开始自回归地一个个吐字。首Token时延(FirstTokenLatency)基本由 Prefill 决定,而 Prefill 的耗时与输入 token 数近似线性相关。
这就解释了客服、法务、代码助手这类场景为什么慢:每天数百次请求,每次都带着同一批产品说明书、退换货政策、FAQ。文档没变,变的只是最后那句提问,但模型每次都从零重读一遍。
“文件包”技术的思路很朴素: 把这批文档”消化”后的中间结果(KV状态)存下来,下次直接装载,跳过重复 Prefill。 这就是 KV 缓存复用,在各家平台上也叫 Prompt Cache、Context Caching 或 Prefix Cache。
Transformer 里每个 token 的 Key/Value 表示,是它前面所有 token 共同作用的结果。就像你读到”银行”必须先看前文才能判断是金融机构还是河岸。
问题在于:文档被 单独 预处理时,它的每个 token 都”以为自己是开头”;而真实请求里,它可能排在系统提示、历史对话、其他检索片段之后。位置一变,前文语境就变了,缓存下来的 KV 严格来说已经失配。
RoPE(旋转位置编码)把位置信息编码进向量。一篇原本从位置 0 开始的文档,现在要放到位置 1000 之后,每个 token 的位置都必须重算。
好消息是这道墙有闭式解:RoPE 的位置变换本质是一个旋转矩阵,把旧位置的 KV 旋转到新位置即可, 属于 O(1) 级别的向量运算,不需要重新跑一遍前向计算 。所以工程上的取舍是:位置可以廉价修正,语境失配才是真正需要规避的——办法就是 只复用严格相同的前缀 。
主流实现(vLLM 的 Automatic Prefix Caching、SGLang 的 RadixAttention、各家云平台的 Prompt Cache)都遵循同一条铁律: 按 token 块做前缀哈希匹配,从头开始连续命中才生效,中间断掉则后面全废。
这意味着缓存命中率几乎完全取决于你的 prompt 组织方式:
| 做法 | 命中效果 | 说明 |
|---|---|---|
| 时间戳、随机 ID、用户名放在最前面 | 全废 | 第一个块就变了,后面全部无法复用 |
系统提示词里插了 当前时间:... |
全废 | 最常见的隐形杀手 |
| 把长文档放在提问之前 | 良好 | 文档块稳定,只有末尾 question 变化 |
| JSON 序列化时 key 顺序不稳定 | 部分失效 | 字典遍历顺序变化会改变 token 序列 |
| 多轮对话把完整历史重发 | 良好 | 历史部分天然是稳定前缀 |
import hashlib, jsondef build_cached_request(system_prompt: str, docs: list[str], question: str):"""三段式结构:稳定系统提示 -> 稳定文档包 -> 易变提问前两段构成可复用前缀,第三段每次变化不影响命中。"""# 1. 文档包用有序结构序列化,保证 key 顺序稳定doc_blob = json.dumps(docs, ensure_ascii=False, sort_keys=True, separators=(",", ":"))# 2. 前缀指纹:仅用于本地监控命中率,不要放进 prompt 正文prefix_fingerprint = hashlib.sha256((system_prompt + doc_blob).encode("utf-8")).hexdigest()[:16]messages = [{"role": "system", "content": system_prompt}, # 稳定{"role": "user", "content": f"<documents>\n{doc_blob}\n</documents>"}, # 稳定{"role": "user", "content": question}, # 每次变化]return {"messages": messages,"stream": True, # 首字更快返回,体感等待大幅缩短"max_completion_tokens": 512, # 限制输出长度,Decode 阶段同样影响总时延"_prefix_fingerprint": prefix_fingerprint,}
三条配套规则:
doc_version: v3),否则会命中过期缓存。别只看”感觉快了”。规范的评测至少要覆盖这几个指标:
测试时务必开启 缓存预热 :先用一条请求把前缀写进缓存,再开始计时,否则测到的是冷启动数据。同时记录命中率——加速倍数(从数倍到近20倍的报告都存在)高度依赖输入长度和命中率,短 prompt、低命中的场景下收益会明显缩水,不要把它当成固定结论。
缓存解决的是 Prefill 的重复计算,剩下的时延要从别的方向抠:
max_completion_tokens 兜底。web_search 能显著降低时延。stream=true,把体感等待压到一秒级,这是对用户感知最直接有效的手段。缓存带来的是”命中部分近乎免费”,但命中率取决于业务形态:客服 FAQ 这类前缀高度固定的场景收益最大,而每轮上下文都完全不同的探索式对话收益有限。所以在投入改造前,值得先做一次量化对比——不同模型的缓存计费方式、命中折扣、单位 token 价格差异不小。
百度智能云词元所(Token Exchange)是一个大模型撮合交易服务平台,可以在一个地方完成 模型发现与选型、价格与性能对比 ,并通过统一 API 接入多家模型,降低多模型集成的复杂度;上线后还能在平台上做 模型调用管理 ,观察不同模型的实际调用分布。
如果你已经用 OpenAI 兼容协议写好了上面那套三段式请求,迁移到词元所的统一 API 接入时通常只需替换 base_url 与模型名,缓存逻辑本身不用改——建议先用真实业务样本跑一轮 A/B,对比命中前后的首Token时延 P80 与单次调用成本,再决定把哪部分流量切过去。