简介:大模型推理的每Token成本,取决于资源利用率、批处理效率与缓存复用机制三者叠加,而非单一硬件参数。本文对比云上托管推理API与自建推理集群两条路线:前者是变动成本、免运维、依赖平台侧隐式缓存优化;后者是固定成本摊销、可控性强、成败系于利用率。文中给出统一的成本计算模型、缓存命中率的敏感性分析与盈亏平衡判断方法,帮助读者按流量形态、SLO要求与团队能力做条件化选型。
大模型推理的成本讨论,已经从”这套集群要花多少钱买卡”转向”每处理一百万 Token 需要付多少代价”。原因很直接:Token 是唯一能横向对齐不同模型、不同硬件、不同部署方式的计量单位。它既可以被下游业务直接换算成”每次问答成本””每张图片生成成本”,也能把采购成本、人力成本、闲置损耗统一摊到同一个分母上。
但如果只看报价单上的单价,很容易得出错误结论。真正决定每 Token 成本的是三个层次的叠加:
第三层最容易被忽略,却往往是弹性最大的一层。当请求具有稳定的长前缀特征(长系统提示词、固定工具定义、大段参考文档、多轮共享上下文)时,缓存命中可以把这部分输入Token的计费单价压到远低于标准输入单价的水平——业界常见做法是把命中单价设为标准输入单价的几分之一甚至更低。这就是近两年各家服务在”隐式缓存”上竞争的原因:它不需要调用方改代码去显式标记可缓存前缀,由服务侧自动识别相同前缀并复用其 KV 计算,命中即自动降价。
本文要对比的,正是围绕”每 Token 成本”这一个目标展开的两种典型路线。
对象 A:云上托管式推理 API(按 Token 计费)
调用方通过标准接口提交请求,模型权重、推理框架、批处理调度、显存管理、弹性扩容全部由服务方承担。计费通常是分项的:标准输入 Token、输出 Token、缓存写入 Token、缓存命中 Token,各自单价不同。它的成本形态是纯变动成本——不用则几乎不花钱,用了就按量结算。隐式缓存属于这一类方案的典型能力项:调用方无需改造请求结构,服务侧自动完成前缀识别与复用。
对象 B:自建推理集群(固定资源 + 自行运维)
自行准备 GPU 资源(自购或长租),部署推理服务与调度组件,自行实现或配置批处理、KV 缓存复用、限流与降级。它的成本形态是固定成本 + 摊销:无论有没有流量,卡时成本和运维人力都在持续发生,单位成本因此高度依赖利用率。它的上限也更高:可以完全掌控量化方案、并行策略、投机解码、预填充与解码分离等优化手段,并按业务特征做深度定制。
对象 C(补充):混合形态——稳定基线流量走自建或预留资源,突发与长尾流量回落至托管 API。实践中这往往是终局形态,但它是否划算,仍需回到下面的成本模型来判断。
先明确哪些地方二者没有本质差别,避免选型时高估差异。
托管 API 的成本几乎全部落在 Token 用量上,账目清晰、可预测性较好,但单价本身不可控,且不同计费项之间差异很大。这里有一个高频误区:只按标准输入单价估算总支出。当业务中存在稳定的长前缀,缓存命中率往往成为成本的决定性变量;反之,如果每次请求的上下文都是全新的、互不复用,缓存优化带来的收益接近为零,此时评估重点应回到标准输入输出单价与输出长度控制上。
自建集群的成本是”卡时 + 人力 + 基础设施”的复合项。它的关键指标不是单价而是有效利用率:卡时成本 ÷ 每小时真实服务出去的 Token 数。利用率 30% 和 70% 之间的差别,往往比不同卡型之间的差别更大。
自建方案的成本曲线是阶梯函数:资源要么买了要么没买,前期投入与业务体量无关。这带来两种结果——流量足够大且稳定时,单位成本随规模摊薄,边际成本可以压得很低;流量不足或波动剧烈时,闲置时段仍然全额计费,单位成本急剧恶化。盈亏平衡的前提不是”总调用量够大”,而是”稳定基线调用量够大”,这两者在业务上具有完全不同的含义。
托管 API 的成本曲线近似线性,没有摊销压力,但也没有规模折扣的主动权。它适合把”容量风险”转成”单价支出”。
这是当前两条路线成本差距最明显的地方,值得单独展开:
| 维度 | 隐式缓存(托管侧常见形态) | 自建侧显式前缀缓存 |
|---|---|---|
| 调用方改造量 | 基本为零,请求结构无需变化 | 需自行设计前缀切分、缓存键、生命周期与淘汰策略 |
| 命中判定 | 由服务侧自动识别相同前缀 | 由自建实现决定,规则完全自定义 |
| 命中效果可控性 | 受服务侧调度与缓存容量影响,命中率有波动 | 规则与容量自己定,可按业务特征调优到较高命中率 |
| 失效影响 | 命中失败仅表现为该次请求按标准输入计价 | 需要自行处理缓存与上下文变更的一致性 |
需要提醒的是:隐式缓存的命中率不是恒定的,它会随服务侧负载、缓存容量和前缀分布变化。因此成本预算不宜按”最优命中率”做单点估算,而应做敏感性分析(见下文代码示例)。若业务前缀极长且高度重复,自建侧投入工程实现显式缓存的收益会更明显;若前缀短、变动频繁,依赖隐式缓存的自动化能力通常性价比更高。
自建集群的优势是尾延迟可控:批大小上限、排队策略、显存预留、是否允许抢占,全部由自己决定,可以做严格的 SLO 隔离。托管 API 面对共享调度环境,平均值可能很优秀,但在流量高峰期尾延迟抖动更难自行干预。
反过来,托管侧通常在容量储备和弹性预案上投入更充分,应对突发流量时的整体可用性往往优于自建的小规模集群——自建集群一旦被突发流量打满,降级手段有限。
托管 API 的弹性几乎是”无成本获得”的:流量翻十倍不需要提前采购。自建集群扩容存在采购或租用周期、模型加载与预热时间,做不到分钟级响应。对于有明显波峰波谷(白天高峰、夜间低谷)或强季节性(活动、开学季、节假日)的业务,自建的固定容量必须按峰值配置,低谷期的浪费会直接推高平均单位成本。
这项常被严重低估。自建一个具备生产可用性的推理服务,需要覆盖:容量规划、监控告警、日志与链路追踪、故障恢复、模型版本灰度、显存碎片治理、依赖升级、安全补丁。这些工作对应到人是持续投入,而不是一次性交付。在团队没有专职推理运维能力时,人力成本很容易超过硬件摊销本身,成为单位 Token 成本里最大的一块。
托管 API 把这部分整体转移给了服务方,换来的是不可见的内部实现——出问题时能定位的边界止于”调用返回与用量指标”。
自建的最大价值在于数据边界完全可控:请求不离开自有网络,模型权重可私有化,网络隔离、密钥管理、审计日志可按内部规范落地。这对涉及敏感数据或受行业监管约束的场景往往是硬约束,会直接排除纯托管路线。
托管方案的安全能力通常包括身份认证、访问授权、密钥管理、传输加密、调用审计与数据留存策略,但具体的数据处理与留存口径需要按服务条款逐项确认,尤其是”输入输出是否被用于服务改进””留存时长与地域”这两类问题。
如果自建服务实现了与主流推理接口兼容的协议形态,业务侧切换成本可以压得较低,主要在端点、密钥、超时与重试策略上。但如果为了成本优化而修改了缓存标记方式、批量组织方式或超时模型,就需要评估上层重试、降级与幂等逻辑。托管侧的改造量通常最小,代价是能力项受服务开放程度限制。
托管 API 通常跟进新模型版本较快,调用方几乎零改造即可切换到更新版本,也能低成本做多模型对比。自建集群每次换模型都要重新做显存评估、量化验证、吞吐压测与容量规划,迭代节奏明显更慢。如果业务需要频繁试验不同模型或不同参数规模,托管路线的试错成本优势很难被单位 Token 单价优势抵消。
任何结论都应建立在量化对比上。下面是一个中立的估算框架(伪代码,通用形式):
def compare_monthly_cost(in_tokens, out_tokens, prefix_share, hit_rate,api_price_in, api_price_out, api_price_write, api_price_hit,gpu_hour_cost, gpu_count, gpu_hours, human_cost, infra_cost,):# 托管路线:分项计费,缓存命中部分单独计价cached_in = in_tokens * prefix_share * hit_ratenormal_in = in_tokens - cached_inapi_cost = (normal_in * api_price_in+ cached_in * api_price_hit+ cached_in * api_price_write * write_ratio # 仅缓存写入部分计费+ out_tokens * api_price_out)# 自建路线:固定成本 + 基础设施 + 人力self_cost = gpu_hour_cost * gpu_count * gpu_hours + infra_cost + human_costreturn {"api_total": api_cost,"self_total": self_cost,"api_per_mtok": api_cost / (in_tokens + out_tokens) * 1_000_000,"self_per_mtok": self_cost / (in_tokens + out_tokens) * 1_000_000,"delta": api_cost - self_cost,}
更有价值的是盈亏平衡调用量:
def break_even_tokens(self_fixed_cost_per_month, api_avg_price_per_token,self_marginal_cost_per_token):# 仅当托管均价高于自建边际成本时才存在平衡点if api_avg_price_per_token <= self_marginal_cost_per_token:return Nonereturn self_fixed_cost_per_month / (api_avg_price_per_token - self_marginal_cost_per_token)
以及缓存命中率敏感性分析——这是决定结论是否成立的关键一步:
for hit_rate in (0.0, 0.2, 0.5, 0.8):cost = compare_monthly_cost(..., hit_rate=hit_rate)print(f"hit_rate={hit_rate:.0%} -> api={cost['api_per_mtok']:.4f}, "f"self={cost['self_per_mtok']:.4f}")
三个必须同时代入模型的隐性项,缺一个结论就会偏乐观:
| 维度 | 云上托管推理 API | 自建推理集群 |
|---|---|---|
| 成本形态 | 变动成本,按 Token 分项计费 | 固定成本 + 人力 + 基础设施摊销 |
| 成本驱动因素 | 调用量、输入输出比例、缓存命中率 | 有效利用率、卡时单价、人力投入 |
| 小流量/波动流量 | 更有优势,无闲置损耗 | 劣势明显,低谷期全额计费 |
| 大规模稳定流量 | 单价不可控,总量支出线性增长 | 单位成本随摊薄显著下降 |
| 缓存优化 | 依赖隐式缓存等自动化能力,零改造 | 可自建显式前缀缓存,规则与容量自控 |
| 弹性扩展 | 通常无需提前采购,突发承受力较好 | 需预留容量或提前扩容,有预热期 |
| 尾延迟控制 | 平均表现好,高峰抖动难自行干预 | 批策略与排队策略完全可控 |
| 运维负担 | 低,边界限于调用与用量 | 高,覆盖监控、告警、灰度、故障恢复 |
| 安全合规 | 依赖服务条款与审计能力,需逐项确认 | 数据不出域,隔离与审计完全自控 |
| 接入改造 | 小,主要为端点与鉴权适配 | 中到大,含协议兼容与容量工程 |
| 模型迭代 | 跟进快,多模型试错成本低 | 每次换模型需重新压测与容量规划 |
| 主要风险 | 数据边界、单价调整、能力项受限 | 闲置浪费、运维人力超支、上线周期长 |
从一条路线切到另一条时,风险点集中在以下几处:
托管推理 API 与自建推理集群的差异,本质不是”贵与便宜”,而是成本形态的差异:一个把成本变成随用量线性变化的可变支出,换取弹性、低运维和快速迭代;另一个把成本变成需要摊销的固定投入,换取对利用率、延迟尾部和数据边界的完全掌控。
因此,”千卡集群下每 Token 成本能做到什么水平”这个问题的答案并不是单一数字,而取决于三个变量:稳定基线调用量是否跨过盈亏平衡点、有效利用率能维持在什么水平、长前缀缓存命中率是否可被稳定兑现。建议的做法是先用统一口径的成本模型算出盈亏平衡量与缓存命中率敏感性,再结合数据合规要求与团队运维能力做条件化选择;在流量形态复杂时,采用”基线自建 + 峰值托管”的混合形态,通常比在两条路线之间做二选一更接近实际最优解。