简介:公开单价常被补贴和缓存命中拉低,不等于千卡集群上每个Token的真实资源消耗。本文对比“按报价看成本”与“按显存搬运、算力与运维折算成本”两条路径,帮助读者分清价格、缓存收益和物理成本,并给出选型与容量规划时的判断框架。
讨论大模型推理“每 Token 成本能做到什么水平”时,市场上最容易被引用的是两类数字:一类是对外 API 的计费单价,尤其是缓存命中后的输入价;另一类是自建或专属千卡集群上,把 GPU、显存带宽、电力、机房和人力摊到每个输出 Token 上的资源成本。二者都用“元/百万 Token”这类单位说话,但计量对象并不相同。价格可以被促销、打包和长期合约改写;物理上每一次权重读取、KV 缓存读写和矩阵运算,不会因为价目表下调而消失。
本文对比的对象是:方案 A——以对外计费单价(含缓存优惠)代表每 Token 成本;方案 B——以千卡集群侧资源消耗折算每 Token 成本。不讨论某一家云或某一款模型的具体牌价,只讨论两类算法在架构、边界和选型上的差别。
方案 A:报价视角。 把“用户支付的单价”当作成本答案。输入、输出、缓存命中、缓存未命中往往分列计价。缓存命中意味着一段已计算过的前缀不必完整重算,账单上的输入单价可以远低于首次计算。这个数字回答的是“调用方这次要付多少钱”,适合预算报销和供应商比价。
方案 B:物理成本视角。 从 GPU 显存里每一个字节如何被搬走讲起。推理通常分成两段:预填充(处理提示与上下文,形成 KV 缓存)和解码(自回归逐 Token 生成)。预填充更吃算力与并行度;解码更吃显存带宽和已驻留权重、KV 的反复读取。千卡集群还要计入互联、调度空闲、故障冗余、电费与值守。这个数字回答的是“要持续产出这些 Token,集群侧至少消耗什么”。
方案 A 把集群抽象成价目表。缓存是计费特征:命中则按优惠档,未命中则按完整输入档。用户看不到权重是否驻留、卡间如何切分、批次是否被凑满。
方案 B 把成本拆回数据通路。权重大、上下文长时,解码阶段往往是带宽约束:每个新 Token 都要再次读取大量参数和历史 KV。千卡并不是把单卡成本除以一千。并行切分带来通信,批调度带来碎片,故障域带来冗余卡。有效吞吐低于峰值标称算力,是常态而不是例外。
方案 A 覆盖的是合同里写明的 Token 类型。隐式缓存、前缀缓存是否计费、缓存保留多久、未命中是否回退全量计算,都由服务条款定义。它不承诺“单价等于供应商内部成本”。
方案 B 覆盖资源:GPU 时、显存占用、互联流量、电力、存储日志与人力。它不自动等于对外售价。同一集群上,高命中的对话助手和低命中的长文档批处理,单位成本可以差一个数量级,但硬件账单相同。
方案 A 的“便宜”常常出现在命中率高、输出不长、并发能被服务方平滑的时段。时延与吞吐由服务等级约定,调用方不直接做批大小调节。
方案 B 的成本随利用率变化。批大小上去,解码的带宽摊薄,每 Token 算力成本下降,但排队时延上升。千卡集群若长期低负载,固定成本被很少的 Token 分摊,单位成本会高于任何促销单价。反之,稳定高负载且上下文可复用时,物理成本才有机会接近“带宽与能耗能支持的下限”,而不是价目表上的下限。
方案 A 的隔离、审计、密钥与配额由托管方承担,调用方的运维面较窄,但数据出域、保留策略和供应商锁定需要单独评估。
方案 B 的权限、网络隔离、模型权重保管和变更窗口都在自有或专属环境内,控制面更完整,也意味着监控、容量、驱动与故障切换要自己或合作运维体系扛住。这些人力不应从“每 Token”里省略。
方案 A 的结构是:变动支出 ≈ 命中输入 + 未命中输入 + 输出,外加可能的包月保底。补贴可以让对外单价在一段时间内低于资源成本,用于获客或填补空闲产能。因此“单价下降”不能直接读成“物理成本下降到同一水平”。
方案 B 的结构是:固定成本(设备折旧或租用、机柜电力、基础运维)+ 变动成本(随 Token 增加的能耗与磨损意义上的利用)÷ 有效 Token。缓存命中降低的是变动部分里的重复预填充,不消除权重常驻带来的显存占用。输出 Token 通常比输入缓存命中更“贵”,因为解码步数与带宽读取次数绑定。
一个便于内部核算的拆分是:
对外报价往往把后两项摊进单价或干脆由补贴覆盖;物理核算必须单列。
| 维度 | 方案 A:报价视角 | 方案 B:集群物理成本 |
|---|---|---|
| 回答的问题 | 这次调用付多少 | 持续生产要消耗什么 |
| 缓存 | 计费折扣 | 少做重复预填充,显存仍被占用 |
| 是否含补贴 | 常常包含 | 不包含,补贴不改变字节搬运 |
| 千卡扩展 | 对调用方透明 | 通信、碎片、冗余拉低有效利用率 |
| 时延与批大小 | 由服务等级约束 | 成本与时延互相牵制 |
| 主要风险 | 把促销价当成长期成本 | 忽略空闲,算出过于乐观的下限 |
| 适合谁 | 调用预算、供应商比较 | 容量规划、自建或专属集群决策 |
若问题是“现在调用要花多少钱”,以合同单价和实测命中率为准,并分开统计输入、输出和缓存命中,不要用一个 blended 数字概括所有流量。
若问题是“千卡集群的 Token 成本能到什么水平”,不要追一个脱离负载的常数。可操作的问法是:在给定模型规模、上下文分布、命中率、批大小和目标时延下,有效 Token 吞吐能否摊薄固定成本。经验上,下限由解码阶段的显存访问和集群有效利用率决定,而不是由最低宣传档位决定。促销可以把方案 A 压到低于方案 B;一旦补贴结束或命中率下降,账单会向未命中与输出档回归。
在团队缺少集群运维能力时,优先把方案 A 当作成本上限来做预算,同时用抽样流量估算命中率敏感性。在已经拥有高利用率专属集群时,再用方案 B 判断是否值得把稳态流量从按量接口迁入。
从按量接口迁到自建或专属集群,或反向迁出,需要核对:
示意性成本拆分(伪代码,仅为结构,不含任何真实单价或性能常数):
unit = (prefill_cost(new_tokens, hit) + decode_cost(out_tokens, batch) + idle_share(utilization) + platform_share) / out_tokens
其中 hit 只降低 prefill_cost 的一部分;idle_share 在利用率低时主导结果;decode_cost 随输出长度上升,且受显存带宽与批大小约束。
每 Token 成本至少有两本账。报价账回答付款,物理账回答千卡集群能否在目标时延和利用率下,把显存搬运、算力和冗余摊薄到可接受的水平。二者可以互相参照,但不能互相替代。缓存命中和补贴会让付款下降,却不取消解码阶段的重复读取,也不填平空闲集群的固定成本。选型时先固定负载画像和命中率,再决定用哪本账做预算、用哪本账做容量;避免把某一时期的最低单价,当成千卡推理的物理下限。