AI推理成本重构：从定价逻辑到长期算力承诺

一、两份文件，两种信号

不到一天之内，两则消息几乎同时出现在技术圈的视野里。

一则是一份公开的推理服务价目表：输入每百万Token约1美元，缓存命中后的输入降至0.05美元，输出每百万Token约5美元。官方口径称，这一价格较上一代同级别模型便宜约一半。

另一则是某头部模型厂商披露的数百页上市申请文件。文件中除了增长曲线，还有一整串长期采购合同：多家芯片、云与平台供应商的承诺金额从数百亿到上千亿美元不等，合同期限最远写到2045年。

一份是“卖得更便宜”，一份是“买得更久、更贵”。这两件事放在一起看，指向的并不是矛盾，而是同一门生意的两个侧面：AI推理的单位成本正在被重新定价，而支撑这种定价的，是长达二十年的算力承诺。

二、单位Token价格为什么能持续下探

要理解每百万Token 1美元意味着什么，需要先拆解推理成本的构成。

一次大模型推理的账单，大致由四部分组成：

• 算力成本：GPU/加速卡折旧或租赁费用，通常占大头；
• 显存与带宽成本：模型权重驻留、KV Cache 读写带来的内存与互联开销；
• 电力与散热成本：数据中心的PUE与电价直接影响单位算力开销；
• 调度与利用率损耗：批处理效率、请求排队、冷启动带来的空闲浪费。

价格能下探，通常来自以下几个方向的叠加：

1. 单位算力性价比提升。 新一代加速卡在同等功耗下提供更高吞吐，单位Token的算力成本随之下降。

2. 批量推理与连续批处理。 把多个请求合并进同一批次，显著提升加速卡利用率。利用率从30%提升到60%，单位成本几乎减半。

3. 缓存复用。 系统提示词、长上下文前缀、Few-shot示例在各请求间高度重复。缓存命中后的输入价格降到0.05美元，正是对这一重复计算的定价体现。

4. 模型结构优化。 混合专家、稀疏激活、量化与蒸馏等手段，让同等能力所需的激活参数量下降。

5. 规模效应与竞争定价。 当推理需求足够大，固定成本被摊薄，价格战成为抢占开发者入口的手段。

需要强调的是：输入便宜、输出贵是推理定价的常见结构。输出Token需要逐Token自回归生成，无法像输入那样一次性并行处理，因此单位成本天然更高。缓存输入极低，则是因为这部分计算可以被复用，边际成本接近于显存读取。

三、7800亿美元账单意味着什么

再看另一侧。数百页文件里的长期合同，本质上是算力供给的提前锁定。

把这些数字抽象一下，可以看到三层逻辑：

第一层：算力是稀缺资源，长期合同是保险。 训练与推理都依赖加速卡、先进封装、高带宽内存与电力。这些产能的扩张周期以年计。提前锁定多年供给，可以避免在需求高峰时被挤出。

第二层：长期承诺换取单位价格优势。 供应商愿意为长期、可预测的大额订单给出更低单价。承诺金额越大、期限越长，议价空间越大。这也是为什么合同期限会写到2045年——它同时锁定了价格与产能。

第三层：折旧与现金流的时间错配。 算力资产在前几年折旧最快，而收入需要靠多年推理服务逐步回收。长期合同把资本支出转化为可预测的年度承诺，便于财务规划。

对开发者而言，这组数字的启示不在于具体金额，而在于：推理服务的低价，部分建立在长期、重资产的算力承诺之上。 价格不会无限下探，它会随供给周期、电力成本与竞争格局波动。

四、开发者该如何建立成本模型

面对不断变化的单价，最稳妥的做法不是记住某个数字，而是建立可复用的成本模型。

1. 区分输入、输出与缓存三类Token。 多数请求的成本由输出主导。优化输出长度、约束格式、减少冗余解释，往往比压缩输入更有效。

2. 把缓存命中率作为一等指标。 系统提示词、检索增强的固定前缀、工具定义都应设计为可缓存。命中率提升带来的成本下降，通常立竿见影。

3. 用“每任务成本”而非“每Token成本”做决策。 一个任务可能需要多轮调用、工具执行与重试。单价低但重试多的方案，总成本可能更高。

4. 评估延迟与成本的权衡。 批处理提升吞吐但增加排队延迟；小模型便宜但可能需要更多轮次。应在业务可接受的延迟范围内选择。

5. 关注锁定风险。 长期算力承诺、专有接口、非标准缓存机制都会形成迁移成本。抽象出统一的调用层，保留切换空间。

一个简化的成本估算示意：

def estimate_cost(tokens_in, tokens_out, cache_hit_rate,
                  price_in=1.0, price_cache=0.05, price_out=5.0):
    # 价格单位：美元/百万Token
    cached = tokens_in * cache_hit_rate
    fresh = tokens_in * (1 - cache_hit_rate)
    cost = (cached * price_cache
            + fresh * price_in
            + tokens_out * price_out) / 1_000_000
    return cost

这段代码的重点不在于具体数值，而在于结构：缓存命中率是成本公式中的关键杠杆。

五、对企业的三点建议

其一，把推理成本纳入产品设计。 上下文长度、对话轮次、工具调用次数都直接对应账单。产品侧的一个默认值，可能让成本翻倍。

其二，区分“能力需求”与“成本敏感”场景。 复杂推理走高性能模型，分类、抽取、改写等任务走小模型或缓存策略，形成分层调用。

其三，关注供给侧的长期信号。 长期算力合同、电力采购、数据中心布局，都会在数月到数年后传导到单价。把供应商的资本开支节奏作为成本预测的输入之一。

六、结语

每百万Token 1美元，是需求侧看到的冰山一角；数千亿美元的长期账单，是供给侧水面之下的主体。两者共同定义了一件事：AI推理正在从“按调用付费的实验性服务”，转变为“有明确成本结构、有长期供给约束的基础设施”。

对开发者来说，真正可复用的能力不是记住当下的单价，而是理解成本从何而来、由什么驱动、会如何变化。能算清这笔账的团队，才能在价格波动中保持产品的可持续性。