简介:本文围绕大模型推理的成本核心,对比"缓存命中"与"缓存未命中"两种调用模式在计费结构、性能表现、适用场景上的差异。读者将理解隐式缓存如何复用重复前缀、为什么命中输入价格可以显著低于标准输入,以及在不同负载特征下如何权衡成本、延迟与命中率,从而做出更合理的推理方案选型。
大模型推理的成本,最终几乎都能折算到”每token”这个最小计量单位上。无论是调用方按输入 token、输出 token 分别计费,还是平台按缓存是否命中区分定价,账单的基本盘始终是”token 的数量 × 单价”。在千卡乃至更大规模的 GPU 集群支撑下,单卡吞吐和整体利用率被推到很高水平,厂商因此有条件把单位 token 价格持续下压——近一两年里,某云厂商的大模型服务平台把隐式缓存计费单价降到每百万 token 1 元量级,某类大模型的官方 API 价格也被永久下调到原价的四分之一,缓存命中的输入价更是低到每百万 token 几分钱的水平。这些数字背后,代表的是推理供给侧成本结构的整体改善。
但对使用方而言,真正的成本差异并不只来自单价的绝对值,而来自一个更朴素的问题:这些 token,是不是每次都要重新算一遍?
这就引出了本文的两个对比对象:缓存命中(cache hit)的推理调用与缓存未命中(cache miss)的推理调用。它们调用的是同一个模型、跑在同一套推理引擎上,差别在于请求输入的前缀是否已被计算过并被复用。理解这两者的区别,是在千卡集群时代把推理账单做小、把技术选型做对的前提。
当一次请求的输入内容在推理侧没有对应的历史计算结果时,模型需要对全部输入 token 执行完整的注意力计算,生成对应的 KV 缓存(Key-Value Cache),再逐 token 产出结果。这是最”朴素”的推理路径,也是计费里常说的”标准输入”——每一段输入都对应一次完整的、不可省的计算开销。它的行为可预测、无需额外条件,代价是重复内容也会被重复计算。
如果本次请求与之前的某个请求共享了一段相同的前缀(例如系统提示词、长文档正文、多轮对话的历史上下文),推理引擎可以复用此前已经算好的 KV 缓存,只对新增、未计算的部分做增量计算。这种”命中”意味着大量重复前缀不再被重复计算,对应计费里的”缓存命中输入”,其单价通常显著低于标准输入。
这里有一个关键概念叫隐式缓存(implicit cache):使用方不需要显式标注哪段是可缓存内容,平台会根据请求特征自动识别并复用可命中的前缀。隐式缓存的价值在于把”缓存”这件事对开发者透明化——你不必改写业务逻辑去手动管理缓存,只要请求天然带有重复前缀,就有机会自动命中。
在展开差异前,先厘清二者共享的部分,避免选型时陷入误区:
换句话说,缓存命中并不是另一种”技术”,而是标准推理在输入前缀可复用时的一种优化状态。
未命中路径下,全部输入 token 都要走一遍完整的前向计算;命中路径下,相同前缀对应的 KV 状态直接从缓存读取,模型只对新增部分做增量前向。前者的计算量随输入长度线性增长且无豁免,后者把”重复前缀”这块成本一次性省掉。这是二者成本、性能差异的根本来源——不是单价技巧,而是实际计算量的差异。
标准推理的输入按”标准输入价”结算;缓存命中部分的输入按更低的”命中价”结算。以本文开头的价格趋势为例,示意性地看:若标准输入价为每百万 token 若干元,命中价可能低到每百万 token 几分钱,两者可相差一到两个数量级。真正决定账单大小的,是你的请求里”可命中前缀”占了多少比例,而不是单价本身。
复用 KV 缓存不仅省钱,还能降低首 token 延迟(TTFT)——因为省去了长前缀的重复计算,prefill 阶段的负担显著减轻;在相同集群资源下,单位时间能服务更多请求,整体吞吐也更高。但要注意,缓存命中依赖”前缀完全一致”,一旦请求开头有微小改动(哪怕一个时间戳、一个随机 ID 放在最前面),就会导致前缀失配、退化为未命中。
| 维度 | 缓存未命中(标准推理) | 缓存命中(复用前缀) |
|---|---|---|
| 计算方式 | 全部输入 token 完整前向计算 | 复用相同前缀 KV,仅增量计算 |
| 计费 | 标准输入价 | 显著更低的命中输入价 |
| 首 token 延迟 | 相对更高 | 相对更低 |
| 吞吐效率 | 基准水平 | 单位资源可服务更多请求 |
| 前提条件 | 无条件,随时可用 | 需存在可复用的相同前缀 |
| 对提示词结构敏感 | 不敏感 | 敏感,前缀不一致即退化 |
| 成本收益来源 | 单价 | 实际计算量 + 更低单价 |
| 适合场景 | 输入个性化、前缀不复用 | 固定前缀、长文档、多轮对话 |
选型的关键不是问”哪个更好”,而是先量化你的前缀复用率:
结论是条件化的:命中率高、前缀稳定的负载应重点吃透缓存复用带来的成本与延迟红利;命中率低、前缀易变的负载则应把注意力放回标准单价与吞吐弹性上。
从”不做缓存优化”迁移到”依赖缓存命中”,需要提前评估几点:
千卡集群把推理供给的单位成本整体压低,是”每 token 价格能降到什么水平”的宏观背景;但对具体业务而言,真正拉开账单差距的是输入 token 是否被重复计算。缓存未命中的推理,胜在无条件、行为可预测,适合高度个性化的输入;缓存命中的推理,胜在复用 KV、显著降低重复前缀的计算量与延迟,适合前缀稳定、重复度高的负载。二者是同一模型、同一引擎下的两种状态,而非对立技术。做选型和迁移时,先测你的前缀复用率,再用条件化的判断去匹配方案,才能既拿到低单价的红利,又避免”以为能命中、实际没命中”的成本与性能落差。