简介:本文面向智能体框架开发者、调优人员和技术负责人,围绕缓存命中这一关键环节,系统讲解如何稳定公共前缀、设计请求拼装结构、监控命中指标、验证成本收益,并排查命中率下降原因。帮助读者以通用可落地的方式降低重复计算成本,提升智能体运行效率。
在智能体应用工程中,很多团队一开始会把注意力放在模型能力、提示词技巧或工具调用准确率上,但真正决定长期运行成本与响应效率的一个底层环节,往往是缓存命中率。当智能体需要反复携带系统提示词、工具定义、项目说明、对话历史等长上下文时,如果每次请求都让模型从头重新计算,不仅会显著增加输入 token 成本,也会增加请求延迟。
本教程的目标,是帮助读者完成以下四件事:
换句话说,这不是一篇只讲概念的科普文章,而是一篇面向实际落地的操作教程:读者可以据此改造自己的请求拼装逻辑、日志统计方式和排查流程。
缓存命中优化并不是孤立技巧,它尤其适合以下场景:
多轮对话型智能体
用户与智能体连续交互,系统提示词、工具说明、项目背景保持不变,每轮只是追加新的用户消息。这类请求天然适合复用长前缀。
工具调用型智能体
智能体需要频繁携带大量工具定义、参数 schema 和调用约束。如果工具定义稳定,前缀可以被连续复用;如果工具定义经常变化,缓存命中率会明显下降。
代码助手、文档分析、长文本问答
这类应用往往具有较长的固定上下文,例如项目说明、代码片段、文档摘要、系统规则等。稳定前缀越完整,缓存收益越明显。
需要控制成本的规模化 Agent 服务
当智能体面向大量用户或高频任务运行时,缓存命中带来的成本差异会被快速放大。对于输入 token 占比较高的应用,缓存命中率甚至直接影响单位请求成本。
需要注意的是,不同推理服务对缓存的粒度、有效期、统计口径和计费方式可能不同。本文强调的是通用工程原则,具体能力与限制应以对应云服务或模型服务文档为准。
大模型处理一次请求时,通常可以粗略分为两个阶段:
当输入较长时,prefill 阶段往往是成本与延迟的重要来源。如果相同或相似的长前缀被反复处理,但没有被复用,就会造成重复计算。
在 Transformer 的注意力机制中,读过的 token 会形成 Key 和 Value。这些已经计算好的中间状态,就是 KV Cache。它不是上一次的回答文本,也不是可以直接打开的缓存文件,而更像是模型读取材料后留下的“计算笔记”。
如果后续请求与之前请求拥有足够长的公共前缀,推理服务就可能复用这些中间状态,从而减少重复计算。这也是缓存命中优化的核心目标。
智能体发给模型的请求,通常可以抽象为如下顺序:
[系统提示词][工具定义][项目说明][对话历史][本轮新消息]
其中,从第一个 token 开始连续相同的一段内容,就是公共前缀。可以把它理解为:
[可复用的公共前缀] + [新增后缀]
例如:
上一轮请求:A + B + C本轮请求:A + B + C + D
如果 A、B、C 没有变化,服务方通常有机会复用 C 之后已经计算好的部分,只新增处理 D。反过来,如果 B 中间改了一个字段,哪怕只是很小的改动,从变化点开始,后面的内容也可能需要重新计算。
因此,缓存命中优化本质上是“从头对答案”的工程问题:开头越稳定,可复用前缀越长;变化出现得越早,后续重算越多。
要提升缓存命中率,首先要建立一个明确的请求结构模板。一个推荐的缓存友好结构是:
1. 固定系统提示词2. 固定工具定义3. 固定项目说明4. 追加式对话历史5. 本轮新增内容
其中前四项应尽量稳定,最后一项承载本轮变化。这个结构的关键思想是:把稳定内容前置,把动态内容后置。
系统提示词通常包含智能体的角色定义、行为约束、输出格式、安全规则等。如果这些内容每轮都变化,会导致前缀从很早的位置开始不一致。
建议做法:
反例:
当前时间是 2026-06-05 10:23:15,你是客服助手,请遵守以下规则……
这种写法会让时间戳成为前缀的一部分。只要时间变化,前面的公共前缀就失效。
更好的写法:
你是客服助手,请遵守以下规则……本轮请求时间:2026-06-05 10:23:15
工具调用是智能体缓存命中下降的高发区。原因包括:
建议做法:
例如,不要这样:
工具列表 = 当前可用的工具集合
如果“当前可用”会因用户权限、会话状态、动态路由而变化,前缀就会不稳定。更好的做法是:
工具列表 = 固定工具集 v2动态说明 = 本轮可用权限说明
项目说明通常包括代码仓库背景、文档摘要、业务规则、领域知识等。这部分往往较长,适合作为稳定前缀。
需要注意:
多轮对话中最常见的错误是:每轮都重写或压缩历史。例如,有些框架会在每轮请求前调用一个摘要模块,把历史对话压缩成一段新文本,然后再发送。这种做法会破坏前缀连续性。
缓存友好的做法是追加,而不是重写:
第 1 轮:系统提示词 + 工具定义 + 用户消息 1第 2 轮:系统提示词 + 工具定义 + 用户消息 1 + 助手回复 1 + 用户消息 2第 3 轮:系统提示词 + 工具定义 + 用户消息 1 + 助手回复 1 + 用户消息 2 + 助手回复 2 + 用户消息 3
每一轮都在前一轮基础上追加,而不是把历史重新整理成新的摘要。这样可以让公共前缀尽可能保持连续。
如果业务必须压缩历史,建议将其视为一次“新前缀版本发布”,并接受缓存命中率在切换点附近下降。切换后应重新建立稳定的追加式历史。
动态内容通常包括以下类型:
这些内容应放在请求末尾,而不是混入系统提示词或工具定义中。这样即使动态内容变化,也不会影响前面稳定前缀的复用。
下面给出一套可直接落地的实施步骤。每一步都包含“做什么、为什么做、注意什么”。
做什么:
先不要急着改代码,而是先记录一次典型请求的完整结构,包括:
为什么做:
如果不知道当前请求中哪些部分在变化,就无法判断缓存命中率下降的根因。很多命中率问题并不是模型不支持缓存,而是请求结构本身不稳定。
注意什么:
梳理时应至少覆盖三个典型场景:新用户首轮请求、老用户多轮请求、工具调用请求。不同场景下前缀稳定性可能不同。
做什么:
将以下内容定义为“固定前缀区”:
冻结意味着这些内容不能因为时间、随机数、用户身份或临时状态而改变。
为什么做:
缓存命中的第一原则是前缀稳定。冻结公共前缀可以确保后续请求从第一个 token 开始尽可能一致。
注意什么:
不要用字符串拼接方式临时插入动态变量。例如:
不要这样拼:当前用户:{username}当前时间:{now}你是客服助手……建议这样拆:你是客服助手……本轮用户:{username}本轮时间:{now}
做什么:
为固定前缀建立版本标识,例如:
system_prompt_version = v3tool_schema_version = v2project_context_version = v5
为什么做:
模板会迭代,但每次迭代都可能影响缓存命中。通过版本化,可以知道某次命中率变化是否由模板变更引起。
注意什么:
版本号不应频繁变动。只有当固定前缀内容确实发生语义或结构变化时,才升级版本。
做什么:
将对话历史从“每轮重写”改为“每轮追加”。保留原始 user 和 assistant 消息,不在每轮请求前重新摘要、重排或裁剪。
为什么做:
追加式历史可以最大程度保留公共前缀,使上一轮的 A+B+C 成为下一轮 A+B+C+D 的基础。
注意什么:
如果历史过长导致成本过高,可以采用分档策略,例如:
做什么:
检查固定前缀中是否存在以下动态字段:
将这些字段迁移到请求末尾。
为什么做:
动态字段如果出现在前缀中,会导致后续所有内容都无法稳定复用。
注意什么:
如果业务要求动态信息必须出现在系统提示词中,应评估能否改为“固定规则 + 动态补充”的形式。例如:
固定规则:你需要基于检索资料回答。动态资料:本轮检索结果如下……
做什么:
对工具定义进行统一整理,包括:
并确保每次请求使用同一顺序和同一内容。
为什么做:
工具定义通常位于请求前部,一旦变化,会影响整个前缀。
注意什么:
如果工具集合会动态调整,应明确区分:
不要简单地把“可用工具列表”作为每轮动态内容直接拼接进前缀。
做什么:
在请求日志或调用链中记录以下通用指标:
request_idsession_idmodel_versiontemplate_versiontool_schema_versiontotal_input_tokenscached_input_tokensnew_input_tokensoutput_tokensrequest_costcache_hit_rate
其中,缓存命中率可以按服务方提供的统计口径计算。常见思路是:
cache_hit_rate = cached_input_tokens / total_input_tokens
为什么做:
没有指标,就无法判断优化是否有效,也无法在命中率下降时定位问题。
注意什么:
不同服务对 cached_input_tokens、prompt cache hit、cache write 等字段的定义可能不同。接入时应以对应服务文档为准,不要假设所有平台口径一致。
做什么:
构造一组对照实验:
观察两组在相似输入下的缓存命中率、输入 token 成本、平均延迟等指标。
为什么做:
缓存优化需要可验证。仅凭感觉优化,很容易陷入“看起来更稳了”的误判。
注意什么:
实验应尽量保持用户输入分布相似,避免因为请求内容差异导致结论偏差。
做什么:
将新模板通过灰度方式逐步发布,并监控:
为什么做:
缓存优化通常会影响请求结构,需要确保功能和质量不被破坏。
注意什么:
如果发现命中率下降,应优先回滚模板版本,再定位具体变更点。
下面给出一段通用伪代码,仅用于说明思路,不依赖任何具体平台或专有工具:
function buildAgentRequest(context):fixed_prefix = [systemPromptV3,toolDefinitionsV2,projectContextV5]history = appendOnlyHistory(context.history)dynamic_suffix = [context.retrievalResults,context.currentMessage,context.runtimeNotes]request = fixed_prefix + history + dynamic_suffixlogMetrics(templateVersion = "system-v3-tool-v2-project-v5",totalInputTokens = countTokens(request),prefixVersion = "stable-prefix-v5")return request
这段逻辑的关键是:
由于不同模型服务和云平台的参数名称不同,这里不写具体专有参数,只说明通用配置原则。
应明确哪些内容属于固定前缀,哪些属于动态后缀。建议在配置或模板文件中拆分:
fixed_prefix:system_prompt: ...tool_definitions: ...project_context: ...dynamic_suffix:user_input: ...retrieval_results: ...runtime_info: ...
对话历史越长,单次请求的输入 token 越多。虽然稳定长前缀可能提升缓存命中,但首次请求成本也会增加。
建议根据业务设置历史长度上限,并区分:
工具定义应版本化。每次工具变更都应记录:
不同服务对缓存可能设置有效期。业务侧需要关注:
具体有效期以对应服务文档为准。
缓存优化不能只看“感觉变快了”,而要从指标、成本、质量三个维度验证。
重点观察:
cached_input_tokens 是否增加cache_hit_rate 是否上升并稳定同一模板下命中率是否可预测模板升级后命中率是否在预期范围内波动
一个有效的优化通常表现为:在稳定前缀下,多轮请求的缓存命中率逐步升高。
如果服务方对缓存命中输入 token 和未命中输入 token 采用不同价格,可以计算成本节省:
节省成本 ≈ 缓存命中 token 数 × 未命中单价与命中单价之间的差额
不同服务计费方式不同,应以实际账单和对应文档为准。
从公开案例看,某些智能体框架接入模型服务后,累计缓存命中率可以达到较高水平;在缓存命中价与未命中价存在明显价差时,命中带来的成本差异会被显著放大。这说明前缀稳定性并不是一个微小的工程细节,而是直接影响成本结构的关键变量。
缓存优化不能破坏功能。需要验证:
在高并发场景下,缓存命中率可能受请求模式影响。应观察:
可能原因:
排查方法:
可能原因:
排查方法:
可能原因:
排查方法:
可能原因:
解决思路:
可能原因:
解决思路:
可能原因:
解决思路:
将系统提示词、工具定义、项目说明纳入版本管理。每次变更都应有记录:
这样可以避免“一次无意改动导致缓存长期失效”。
建议至少监控以下指标:
平均缓存命中率P50/P95 缓存命中率缓存命中 token 数未命中输入 token 数输出 token 数单位业务请求成本模板版本维度命中率工具版本维度命中率
可以在模板构建阶段做自动检查,禁止以下内容进入固定前缀:
如果必须压缩历史,应明确规则:
虽然缓存命中主要关注性能与成本,但工程落地时要避免把敏感信息放进不稳定或可共享的前缀中。建议:
模型版本、推理服务版本或路由策略变化,可能影响缓存行为。建议在灰度时同时观察:
如果发现新版本命中率下降,应保留旧版本回滚路径。
缓存命中不是一个单点功能,而是一套围绕请求结构、模板管理、监控验证和成本控制展开的工程体系。对于智能体框架而言,做好缓存命中的第一步,不是盲目追求复杂优化,而是先把基础结构做对:
当这些基础工作完成后,缓存命中率通常会变得更稳定、更可预测,成本也会随之下降。更进一步,团队可以把缓存命中作为智能体运行框架的核心指标之一,与延迟、准确率、工具调用成功率一起纳入日常监控。这样,缓存命中就不再是一个偶发的优化技巧,而会成为智能体工程化能力的重要组成部分。