简介:面对千卡级推理集群,每 token 的真实成本究竟由什么决定?本文对比缓存复用推理与全量重算推理两条路径,拆解"标价"与"真实算力成本"的差异,从架构、成本结构、延迟、场景适配等维度给出选型依据与迁移注意事项,帮助技术负责人判断每 token 成本能压到什么水平,并找到适合自身业务的降本路径。
随着大模型从演示走向规模化生产,单次调用几毫秒的延迟早已不是唯一关注点,真正决定业务能否规模化的是”每个 token 要花多少钱”。当推理规模从几十张加速卡扩展到千卡级集群时,成本问题会被进一步放大:硬件折旧、显存带宽、能耗、网络通信都会以近乎线性的方式叠加到每 token 的账本上。
这里要先厘清一个容易被混淆的问题:报价(price)和成本(cost)是两回事。服务方可以在竞争或促销期把某类 token 的标价压得很低,让利由服务方承担;但真实成本——把输入编码成 KV 缓存、逐层前向计算、搬运显存所消耗的资源——是骗不了人的。看懂这一点,才能判断”标价一降再降”到底是可持续的工程优化,还是阶段性的补贴。
本文要对比的核心对象,是大模型推理在千卡集群下降低每 token 成本的两条技术路径:
理解这两者的差异,才能回答那个关键问题:每 token 成本到底能压到什么水平,以及你的业务更适合走哪条路。
方案 A:缓存复用推理。 大模型推理分为两个阶段:Prefill(预填充,把输入 prompt 编码并生成 KV 缓存)和 Decode(逐 token 生成输出)。缓存复用推理的核心思想,是当多个请求共享相同前缀(比如相同的 system prompt、相同 few-shot 示例、多轮对话中已生成的历史、RAG 检索到的相同文档片段)时,直接复用已计算好的 KV 缓存,跳过重复 Prefill。业界常见的”前缀缓存””上下文缓存””隐式缓存”都属于这一类,只是缓存的粒度、生命周期和命中判定策略不同。
方案 B:全量重算推理。 不保留、不命中任何缓存,每个请求都从零开始,对完整上下文执行一遍 Prefill,再计算 Decode。这是最”朴素”也最可预期的实现。
两者最终都在同一套推理引擎上运行,基础能力(模型精度、生成质量)理论上一致,差别集中在计算量、显存占用、延迟结构和计费方式上。
在展开差异前,先明确它们的共同点,避免陷入”非此即彼”的误区:
全量重算下,Prefill 阶段的计算量与输入长度近似线性相关,输入越长,首 token 延迟(TTFT)越高,消耗的算力越多。缓存复用则把这部分重复劳动”记住”:命中时,Prefill 被大幅跳过,系统直接进入 Decode。
这带来一个关键的结构性变化——成本不再由”输入 token 总量”单因素决定,而是由”命中比例”决定。命中时,输入侧的有效计费量可能只有全量重算的很小一部分(业界常见做法是对命中的输入 token 按显著更低的单位价计费);未命中时,则与全量重算无异。
| 成本维度 | 方案 A:缓存复用 | 方案 B:全量重算 |
|---|---|---|
| Prefill 算力 | 命中部分大幅节省 | 每请求全量消耗 |
| 显存占用 | 需常驻 KV 缓存,占用额外显存 | 无需长期保留缓存 |
| 首 token 延迟(TTFT) | 命中时显著更低 | 与输入长度正相关,偏高 |
| 计费方式 | 命中输入常按更低价计费 | 输入按常规价全额计费 |
| 成本可预测性 | 依赖命中率,波动较大 | 可预测、可预算 |
| 收益前提 | 前缀/上下文高度重复 | 请求前缀高度离散 |
需要强调的是:缓存复用的省钱是有前提的。它省的是”重复计算”,而维护缓存本身要占用显存(缓存容量越大,能留给并发请求的显存越少)。如果业务请求的前缀五花八门、几乎不重复,那么命中率极低,不仅省不下钱,还可能因为显存被缓存挤占而降低整体并发吞吐。反过来,命中率越高,每 token 成本越接近”只算 Decode + 极少 Prefill”的理想水平。
缓存命中路径的 TTFT 更低,对”长前缀 + 短输出”的场景(如带大量 system prompt 的分类、抽取、长文档问答)收益明显;而 Decode 阶段的单 token 延迟两者基本一致。所以缓存复用改善的是”首响体验”和 Prefill 侧吞吐,而不是所有环节的延迟都同比例下降。判断收益时,应把 TTFT、Decode 速率、并发吞吐分开评估,避免用一个笼统的”更快/更便宜”下结论。
缓存复用引入了新的工程约束:
全量重算在这些方面更”干净”:无状态、无跨请求残留,合规审查更简单,代价是放弃了复用带来的成本优化。
更适合方案 A(缓存复用)的业务:
更适合方案 B(全量重算)的业务:
不必把两者对立起来,决策应基于”命中率”和”工程能力”两个变量:
从全量重算切换到缓存复用(或反之)时,重点关注:
回到最初的问题:千卡集群下大模型推理的每 token 成本能做到什么水平?答案不取决于标价打了多少折,而取决于真实命中率驱动的有效计算量。缓存复用推理通过跳过重复 Prefill,把重复度高的业务成本显著压低;全量重算则以牺牲这部分优化为代价,换来可预测、无状态、易合规的干净实现。标价可以补贴,成本骗不了人——真正决定每 token 成本天花板的,是你的业务前缀有多大比例值得被”记住”,以及你有没有能力把这套缓存机制用对、管好。