千卡集群每Token成本对比

作者:carzy2026.11.16 10:57浏览量:0

简介:公开单价常被补贴和缓存命中拉低,不等于千卡集群上每个Token的真实资源消耗。本文对比“按报价看成本”与“按显存搬运、算力与运维折算成本”两条路径,帮助读者分清价格、缓存收益和物理成本,并给出选型与容量规划时的判断框架。

对比背景

讨论大模型推理“每 Token 成本能做到什么水平”时,市场上最容易被引用的是两类数字:一类是对外 API 的计费单价,尤其是缓存命中后的输入价;另一类是自建或专属千卡集群上,把 GPU、显存带宽、电力、机房和人力摊到每个输出 Token 上的资源成本。二者都用“元/百万 Token”这类单位说话,但计量对象并不相同。价格可以被促销、打包和长期合约改写;物理上每一次权重读取、KV 缓存读写和矩阵运算,不会因为价目表下调而消失。

本文对比的对象是:方案 A——以对外计费单价(含缓存优惠)代表每 Token 成本;方案 B——以千卡集群侧资源消耗折算每 Token 成本。不讨论某一家云或某一款模型的具体牌价,只讨论两类算法在架构、边界和选型上的差别。

对象定义

方案 A:报价视角。 把“用户支付的单价”当作成本答案。输入、输出、缓存命中、缓存未命中往往分列计价。缓存命中意味着一段已计算过的前缀不必完整重算,账单上的输入单价可以远低于首次计算。这个数字回答的是“调用方这次要付多少钱”,适合预算报销和供应商比价。

方案 B:物理成本视角。 从 GPU 显存里每一个字节如何被搬走讲起。推理通常分成两段:预填充(处理提示与上下文,形成 KV 缓存)和解码(自回归逐 Token 生成)。预填充更吃算力与并行度;解码更吃显存带宽和已驻留权重、KV 的反复读取。千卡集群还要计入互联、调度空闲、故障冗余、电费与值守。这个数字回答的是“要持续产出这些 Token,集群侧至少消耗什么”。

相同点

  • 目标一致:都想把不确定的推理开销,收成可比较的“每 Token”指标,便于容量和预算沟通。
  • 都受模型规模、上下文长度、批大小、输出长度和缓存命中率强烈影响,脱离这些条件谈“一个水平”没有意义。
  • 都承认缓存是杠杆:重复前缀越多,重复计算越少,单位 Token 的边际消耗越低。
  • 都不能替代质量指标。更便宜的路径如果牺牲可用性、时延或一致性,业务侧未必划算。

核心差异

技术架构

方案 A 把集群抽象成价目表。缓存是计费特征:命中则按优惠档,未命中则按完整输入档。用户看不到权重是否驻留、卡间如何切分、批次是否被凑满。

方案 B 把成本拆回数据通路。权重大、上下文长时,解码阶段往往是带宽约束:每个新 Token 都要再次读取大量参数和历史 KV。千卡并不是把单卡成本除以一千。并行切分带来通信,批调度带来碎片,故障域带来冗余卡。有效吞吐低于峰值标称算力,是常态而不是例外。

功能与计量边界

方案 A 覆盖的是合同里写明的 Token 类型。隐式缓存、前缀缓存是否计费、缓存保留多久、未命中是否回退全量计算,都由服务条款定义。它不承诺“单价等于供应商内部成本”。

方案 B 覆盖资源:GPU 时、显存占用、互联流量、电力、存储日志与人力。它不自动等于对外售价。同一集群上,高命中的对话助手和低命中的长文档批处理,单位成本可以差一个数量级,但硬件账单相同。

性能与稳定性

方案 A 的“便宜”常常出现在命中率高、输出不长、并发能被服务方平滑的时段。时延与吞吐由服务等级约定,调用方不直接做批大小调节。

方案 B 的成本随利用率变化。批大小上去,解码的带宽摊薄,每 Token 算力成本下降,但排队时延上升。千卡集群若长期低负载,固定成本被很少的 Token 分摊,单位成本会高于任何促销单价。反之,稳定高负载且上下文可复用时,物理成本才有机会接近“带宽与能耗能支持的下限”,而不是价目表上的下限。

安全、隔离与运维

方案 A 的隔离、审计、密钥与配额由托管方承担,调用方的运维面较窄,但数据出域、保留策略和供应商锁定需要单独评估。

方案 B 的权限、网络隔离、模型权重保管和变更窗口都在自有或专属环境内,控制面更完整,也意味着监控、容量、驱动与故障切换要自己或合作运维体系扛住。这些人力不应从“每 Token”里省略。

成本结构(不引用具体牌价)

方案 A 的结构是:变动支出 ≈ 命中输入 + 未命中输入 + 输出,外加可能的包月保底。补贴可以让对外单价在一段时间内低于资源成本,用于获客或填补空闲产能。因此“单价下降”不能直接读成“物理成本下降到同一水平”。

方案 B 的结构是:固定成本(设备折旧或租用、机柜电力、基础运维)+ 变动成本(随 Token 增加的能耗与磨损意义上的利用)÷ 有效 Token。缓存命中降低的是变动部分里的重复预填充,不消除权重常驻带来的显存占用。输出 Token 通常比输入缓存命中更“贵”,因为解码步数与带宽读取次数绑定。

一个便于内部核算的拆分是:

  • 预填充成本:与新增上下文长度、是否命中前缀缓存相关;
  • 解码成本:与生成长度、批大小、权重与 KV 的访存相关;
  • 空闲与冗余:与集群利用率、故障域和互联效率相关;
  • 平台成本:调度、观测、安全与人工。

对外报价往往把后两项摊进单价或干脆由补贴覆盖;物理核算必须单列。

对比表

维度 方案 A:报价视角 方案 B:集群物理成本
回答的问题 这次调用付多少 持续生产要消耗什么
缓存 计费折扣 少做重复预填充,显存仍被占用
是否含补贴 常常包含 不包含,补贴不改变字节搬运
千卡扩展 对调用方透明 通信、碎片、冗余拉低有效利用率
时延与批大小 由服务等级约束 成本与时延互相牵制
主要风险 把促销价当成长期成本 忽略空闲,算出过于乐观的下限
适合谁 调用预算、供应商比较 容量规划、自建或专属集群决策

典型场景怎么选

  • 命中率高、输出短、流量波动大的在线助手: 更应看方案 A 的综合单价和服务等级。自建千卡若无法维持高利用率,物理单位成本往往高于托管按量。
  • 上下文长、前缀重复少的批处理: 缓存优惠帮助有限,方案 A 的未命中输入加输出会接近“全量计算价”。此时用方案 B 核对批大小和上下文上限,避免只按缓存档估预算。
  • 数据不可出域、需要固定吞吐: 方案 B 是主口径。方案 A 只适合作为外部对标,不能代替电力、冗余和人天。
  • 需要对外承诺自己的推理单价: 必须同时做两本账。对客户的价格可以参考市场价目;对内要证明在目标利用率下,解码带宽和预填充算力盖得住承诺,并留出故障与峰谷余量。

选型建议

若问题是“现在调用要花多少钱”,以合同单价和实测命中率为准,并分开统计输入、输出和缓存命中,不要用一个 blended 数字概括所有流量。

若问题是“千卡集群的 Token 成本能到什么水平”,不要追一个脱离负载的常数。可操作的问法是:在给定模型规模、上下文分布、命中率、批大小和目标时延下,有效 Token 吞吐能否摊薄固定成本。经验上,下限由解码阶段的显存访问和集群有效利用率决定,而不是由最低宣传档位决定。促销可以把方案 A 压到低于方案 B;一旦补贴结束或命中率下降,账单会向未命中与输出档回归。

在团队缺少集群运维能力时,优先把方案 A 当作成本上限来做预算,同时用抽样流量估算命中率敏感性。在已经拥有高利用率专属集群时,再用方案 B 判断是否值得把稳态流量从按量接口迁入。

迁移与使用注意

从按量接口迁到自建或专属集群,或反向迁出,需要核对:

  • 计量口径: Token 切分规则、是否把推理内部特殊 Token 计入,迁移前后要对同一批请求复算。
  • 缓存语义: 前缀如何归一、缓存存活时间、多副本是否共享。命中率假设错了,成本模型会整体偏移。
  • 时延预算: 为了摊薄成本而加大批次,可能破坏在线时延。
  • 容量与故障: 千卡中的不可用卡、滚动升级和互联拥塞都要按冗余后的吞吐计算,而不是按标称卡数。
  • 数据与权限: 日志、提示词和权重的留存、加密与访问审计不因“更便宜”而放宽。
  • 退出成本: 提示词模板、缓存键和限流策略与平台绑定越深,回迁越贵。

示意性成本拆分(伪代码,仅为结构,不含任何真实单价或性能常数):

  1. unit = (prefill_cost(new_tokens, hit) + decode_cost(out_tokens, batch) + idle_share(utilization) + platform_share) / out_tokens

其中 hit 只降低 prefill_cost 的一部分;idle_share 在利用率低时主导结果;decode_cost 随输出长度上升,且受显存带宽与批大小约束。

总结

每 Token 成本至少有两本账。报价账回答付款,物理账回答千卡集群能否在目标时延和利用率下,把显存搬运、算力和冗余摊薄到可接受的水平。二者可以互相参照,但不能互相替代。缓存命中和补贴会让付款下降,却不取消解码阶段的重复读取,也不填平空闲集群的固定成本。选型时先固定负载画像和命中率,再决定用哪本账做预算、用哪本账做容量;避免把某一时期的最低单价,当成千卡推理的物理下限。