简介:对比提示词公共前缀稳定编排与频繁改写导致的全量预填充,说明 KV Cache 命中如何降低重复计算与费用,并给出 Agent 编排选型、适用场景与迁移注意点。
智能体(Agent)调用大模型时,单次请求通常会拼接系统说明、工具描述、项目约束、历史对话与本轮用户输入。模型侧处理可粗分为预填充(prefill)与解码(decode)。预填充阶段要通读已有文本并计算注意力中间状态;解码阶段再逐 token 生成。注意力层中已读 token 对应的 Key、Value 中间结果,即业界常说的 KV Cache。它不是上一轮自然语言答案,也不是可直接打开的文本,而是“读完材料后留下的计算笔记”。
当连续请求从开头起有一段完全一致的 token 序列时,这段序列称为公共前缀。前缀越长、越稳定,服务端越可能复用已有 KV Cache,只对新增后缀做计算。相反,若前缀中途被改写,从第一个差异点起往往需要重新预填充。对技术负责人和架构师而言,这不是“调参口号”,而是成本、延迟与稳定性的结构差异:同样的模型能力,Harness(编排与请求拼装层)是否把缓存命中做扎实,会决定预填充是否被反复买单。
本文对比两类做法:公共前缀稳定、后缀增量追加的编排策略,与 前缀频繁变更、几乎每次全量预填充的编排策略。二者目标都是让模型正确完成工具调用与多轮任务,但在计算路径、费用结构和可运维性上差异显著。
策略 A:高前缀稳定性编排(追求缓存命中)
固定系统提示、工具定义、项目说明等“几乎不变”的块,并保证它们在请求字节流中的位置与内容从第一个 token 起连续一致;仅把本轮新消息、新工具结果等放在末尾后缀。公共前缀越长,可复用的 KV Cache 越多,预填充工作量越接近“只算增量”。
策略 B:前缀易变编排(默认全量重算)
每轮动态改写系统说明、重排工具列表、在历史中段插入摘要、或把时间戳/随机种子塞进开头。一旦第 N 个 token 与历史请求不同,其后内容通常无法沿用旧 Cache,预填充接近整段上下文重算。
二者都依赖同一套 Transformer 注意力与 KV 机制,差异在于 请求拼装是否服从“从头对答案”的前缀规则。
计算语义相同
无论是否命中缓存,模型仍须对当前完整上下文建立注意力。Cache 只跳过“已经算过且前缀未变”的中间状态,不改变解码逻辑。
都受上下文长度约束
超长历史仍会触及窗口上限。命中率高只能减少重复预填充,不能无限堆上下文。
都需要正确的权限与隔离
缓存复用必须建立在同一租户、同一模型、同一前缀内容之上。跨会话、跨权限混用前缀在安全上不可接受。
解码阶段都要逐步生成
命中主要优化预填充。输出很长时,decode 仍占显著时间,不能指望 Cache 单独解决生成延迟。
策略 A 把请求看成 [稳定块…][增量后缀],Harness 负责锁定稳定块的序列化顺序、空白、字段顺序甚至工具 JSON 的键序。策略 B 把请求看成“每次重新渲染的文档”,任意中段变化都会切断前缀。
KV Cache 复用的前提是 从 token 0 起连续相等。不是“意思差不多”,也不是关键词重合。上一轮为 A+B+C、本轮为 A+B+C+D,可复用到 C;若 B 中改了一个工具字段,则 B、C、D 往往全部重算。
预填充成本大致随需重新计算的 token 数上升。命中率高时,计费侧常见“缓存命中输入”与“未命中输入”两档,价差可达一个数量级以上。因此 命中率是费用杠杆,而不是边角优化。延迟上,减少预填充可降低首 token 时间,尤其在超长系统提示 + 工具清单场景。
注意:不得假设所有平台计费规则相同;选型时应阅读当前服务商对前缀缓存的最小长度、TTL、是否要求显式标记等通用能力说明,并以实测命中率为准。
策略 A 的改造集中在 Harness:
策略 B 几乎零改造,但会持续支付全量预填充。
缓存命中不能跨过数据隔离。前缀中若误含其他用户数据,复用会带来泄露风险。运维上需监控:命中率、预填充 token、后缀长度、前缀指纹(哈希)变更次数。前缀指纹频繁跳动,说明有人在稳定区做了“热更新”。
不适合策略 A 的情况包括:每轮必须改系统法条、工具集每次随机裁剪、合规要求禁止任何跨请求状态复用(此时应关闭前缀缓存并接受成本)。
| 维度 | 高前缀稳定性编排 | 前缀易变、偏全量预填充 |
|---|---|---|
| 请求结构 | 稳定前缀 + 增量后缀 | 中段或头部经常变化 |
| 预填充 | 尽量只算新增 token | 常从差异点起重算 |
| 费用结构 | 命中输入占比高,重复计算少 | 未命中输入占比高 |
| 首 token 延迟 | 长上下文时通常更友好 | 长提示时预填充压力大 |
| 改造成本 | Harness 序列化与版本纪律 | 几乎无纪律成本 |
| 提示词迭代 | 版本发布,批量失效可接受 | 随时改,隐性成本高 |
| 并行/多分支 | 共享头部、分叉后缀 | 各分支改头则互相无法复用 |
| 主要风险 | 误把密钥/用户数据放进共享前缀 | 费用与延迟不可控 |
| 适用 | 生产 Agent、固定工具集、长系统说明 | 实验室调提示、一次性脚本 |
若上下文中稳定文本远长于每轮增量,且调用量大,前缀纪律带来的费用与延迟收益通常高于改造成本。若团队仍在剧烈调整提示词,先用版本化前缀(v1/v2 整段替换)而不是在稳定区打补丁。模型可以替换,Harness 同样可以替换;衡量 Harness 是否合格,缓存命中是第一道可量化门槛,因为它直接对应“有没有让预填充重复劳动”。
向管理者解释时,逻辑应是:未命中意味着对已读过的系统说明和工具定义再次付预填充账;命中则只为新后缀付账。这是工程问题,不是模型玄学。
先做前缀指纹
对序列化后的稳定段做哈希,监控哈希是否无故变化(JSON 键序、空格、工具排序是常见杀手)。
变更走版本,不走热补丁
工具增删一次发布新前缀版本,接受该版本下旧 Cache 失效,避免每轮微调。
易变字段后移
时间、请求 ID、检索片段放入后缀或明确的可变段,不要插入系统段中部。
历史只追加
需要压缩历史时,用独立“摘要消息”追加在末尾,而不是改写早已缓存的中间轮次。
安全审查
稳定前缀禁止放入密钥、其他租户数据。缓存复用范围与鉴权范围必须一致。
指标
同时看命中率、未命中 token、后缀长度。命中率虚高但后缀极长,说明增量本身过大,需业务侧收敛工具返回。
兼容
不同推理服务对最小可缓存前缀长度、是否要求对齐块大小可能不同,接入时用同一套拼装在目标环境做对照,而不是假设行为一致。
示意性拼装(通用伪代码,非某厂商接口):
stable = serialize(system) + serialize(tools) + serialize(project)# 保证每次 serialize 字节级一致request = stable + serialize(history_append_only) + serialize(new_user_and_tool_msgs)
中段插入 serialize(now()) 或乱序 tools,即从策略 A 退化到策略 B。
KV Cache 让“已经读过且从头连续相同的 token”不必在预填充中重算。优秀 Harness 的第一步,是把 Agent 请求做成可复用的公共前缀,而不是每轮渲染一篇新文章。高前缀稳定性与全量重算在模型能力上可以相同,但在预填充量、费用杠杆、首 token 延迟和可运维性上路径完全不同。选型应依据稳定文本占比、调用量、提示词迭代频率和合规是否允许跨请求复用;迁移关键是序列化纪律、版本化变更、易变信息后移与命中率监控。把缓存命中做好,本质是少为重复阅读付账,这是 Agent 系统降本和稳态运行的基础工程,而不是可有可无的边角优化。