简介:理解大模型计费里输入与输出Token的价差,关键不在营销口径,而在预填充与自回归解码的算力结构、显存带宽和硬件利用率完全不同。本文对比两阶段的计算形态、边际成本与选型含义,帮助架构师在上下文长度、输出长度和缓存策略上做出可落地判断。
对比背景
大模型推理账单上,输出Token的单价通常高于输入Token。要判断这种价差是否合理、自己的业务会落在哪一侧,需要把一次请求拆成两个硬件行为完全不同的阶段来看:输入侧的预填充,以及输出侧的自回归解码。二者都跑在同一套Transformer堆叠上,目标都是完成一次条件生成,但并行度、瓶颈资源和单位Token的边际成本并不在同一量级。
本文对比的对象就是:预填充阶段对应的输入Token成本,与解码阶段对应的输出Token成本。不讨论某一家模型的具体价目,只讨论业界普遍存在的费率结构背后的技术逻辑,以及它如何影响提示设计、输出长度控制和缓存策略。
对象定义
预填充(输入侧)。一次请求里的全部输入Token被一次性送入模型做前向计算。注意力可以在这批Token之间并行展开,核心是大规模矩阵乘矩阵。权重和激活在计算单元上被充分摊开,GPU一类加速器的算力利用率通常明显高于逐Token生成。平摊到每个输入Token上,计算成本更接近一个相对稳定的常数,而不是随着序号不断抬升。
解码(输出侧)。输出必须按自回归方式一个Token一个Token产生。生成第t个输出时,模型要再做一次完整前向:把全部权重从显存读到计算单元,并对已经累积的上下文(原始输入加上此前已生成的Token)做注意力,得到当前步的结果后才能进入下一步。单步浮点运算量往往不大,但权重和KV缓存的搬运会打满显存带宽,算力利用率低于预填充。每多生成一个Token,下一次要读取的KV缓存就多一截,因此单Token边际成本会随已生成长度上升。
相同点
两者服务的是同一次推理请求,共享同一套模型权重、同一套注意力与前馈结构,也共享同一份KV缓存的生命周期。计费单位都按Token,最终都要换算成加速器占用时间。安全、配额、限流和审计同样作用于整次调用,而不是只作用于某一侧。从产品抽象看,它们都是“把文本变成向量状态再变回Token”的不同切片,而不是两套互不相关的系统。
核心差异
计算形态。设输入长度为N、输出长度为M、模型隐层维度为d。预填充一次前向的运算量大致随N与d的多项式增长,其中既有与序列长度成正比的项,也有注意力带来的与N平方相关的项;因为N个Token并行完成,摊到单个输入Token后,成本曲线相对平坦。解码则是M次串行前向。每一步都要完整扫过权重,这是与M成正比的固定搬运成本;同时注意力要覆盖已经看到的N加已生成长度,把各步加总后,总成本里会出现与输出长度平方相关的累积项。这就是“后一个输出Token往往比前一个更贵”的来源:不是计价表人为递增,而是KV缓存变长后,每一步注意力和带宽开销在变大。
瓶颈资源。预填充更吃算力,矩阵乘矩阵容易把计算单元喂饱,利用率可以到较高水平。解码更吃显存带宽:单步是矩阵乘向量或等价的低并行度计算,大量时间花在把权重和缓存从显存搬进寄存器。同样一块加速器,解码阶段每秒能完成的有效Token数通常明显少于预填充。换算成“产出一个Token所占用的加速器·秒”,解码侧往往高出数倍。公开讨论里常见的输出相对输入约数倍价差,和这种5到10倍量级的资源占用差异是对得上的;各家最终标价还会再叠加商业策略,以及对解码瓶颈的架构缓解程度,所以比例不会锁死在同一个数字上。
缓存命中与未命中。输入Token数量可以完全相同,成本却可以差一个数量级以上。未命中时必须重跑预填充,把KV重新算出来并写入显存或下层存储。命中时可以直接复用已经算好的KV,省掉这一次重计算,只保留读取和后续解码。因此“输入很贵”很多时候贵在冷启动预填充,而不是贵在Token这个计数单位本身。长系统提示、重复前缀、多轮对话里不变的历史,都是缓存能否命中的主要变量。
架构选择会改变价差,但改变不了不对称。分组查询注意力、多查询注意力、滑动窗口或分块注意力、推测解码、连续批处理,都会减轻解码的带宽压力或提高批内并行度,使输出相对输入的倍率下降。它们不能把自回归变成一次矩阵乘矩阵:下一个Token仍然依赖上一个Token的结果。所以缓解是程度问题,不是阶段消失。
对比要点可以收成下表。
对比维度 | 输入侧(预填充) | 输出侧(解码)
计算方式 | 一批Token并行前向,矩阵乘矩阵 | 逐Token串行前向,低并行度矩阵向量运算
主要瓶颈 | 算力,利用率通常更高 | 显存带宽与KV读取,利用率通常更低
边际成本形态 | 摊薄后较接近常数,长上下文仍有注意力二次项 | 含权重扫描的固定项,且随已生成长度上升,累积后有与M平方相关的部分
对上下文的敏感点 | N很大时预填充和注意力开销上升;缓存命中可大幅下降 | 已累积上下文越长,每步注意力越贵
硬件含义 | 同样时间内可处理更多Token | 单位Token占用的加速器时间更高
计费含义 | 单价通常更低,冷前缀未命中时总费用仍可能很高 | 单价通常更高,长输出会非线性推高总费用
典型场景怎么选侧重点
短问短答、分类、抽取、路由。输出M很小,二次项几乎可以忽略,总费用主要由是否重跑预填充决定。此时应优先稳定系统提示和可复用前缀,让缓存命中,而不是只盯着输出单价。
长文生成、多轮续写、代理循环里模型反复吐出长推理。M变大后,解码的线性项和与长度相关的额外项一起上升,输出侧会主导账单。应限制最大生成长度,要求结构化短输出,把可确定性的步骤放到程序里,而不是让模型逐Token复述。
超长上下文问答。N很大时,预填充本身的注意力成本上升,未命中一次就很贵;若同一长文档被多次提问,缓存或文档侧状态复用的收益高于继续压缩那几个输出Token。需要同时评估上下文窗口策略和会话粘性,避免每次请求都把长文重新填进模型。
高并发在线服务。预填充适合被大批次摊薄,解码则更容易被带宽和KV容量卡住。容量规划不能按“总Token数”一刀切,要分别看填充吞吐和解码吞吐,以及KV能在显存里留多久。
选型与使用边界
若业务输出远短于输入,且前缀高度重复,优化缓存命中和请求粘性,通常比更换“输出更便宜”的模型更有效。若业务必须长输出,应把最大生成长度、停止条件和分段生成当成容量参数,而不是只看标价上的输入输出倍率。倍率本身只说明解码更贵,不说明贵几倍就一定匹配你的流量形状:短输出时二次项不显著,长输出时总费用会比“单价乘Token数”的直觉涨得更快。
不要把缓存命中理解成免费。命中省的是重算,不省后续解码;KV要占显存或外部存储,过期、淘汰、跨节点迁移都会让命中率下降。多轮对话若频繁改写历史、或把可变内容放在提示最前面,会破坏前缀复用。
迁移与落地时要注意
从一种调用方式换到另一种(例如从每次全量提示改为带缓存的多轮,或从长生成改为短结构化输出)时,接口字段、会话标识、缓存键的构造方式都要一起改。缓存键若包含会抖动的时间戳、随机数或用户私有片段位置不当,命中率会骤降,费用和延迟同时变差。
权限与数据隔离不能为了命中率而把不同租户的前缀混用。KV是由提示内容算出来的中间状态,复用范围必须跟原始数据的隔离边界一致。日志里既要能区分预填充耗时与解码耗时,也要能看到输入长度、输出长度和是否命中,否则无法解释账单波动。
稳定性上,解码步数变多会拉长尾延迟,也更容易在显存里堆积KV。限流应按并发序列数和KV容量一起做,而不是只按每分钟Token。模型或服务端版本升级可能改变分词、缓存布局或批处理策略,上线前要用固定长度的输入输出样本对比费用和延迟,而不是只对比标价倍率。
示意关系(不是某一平台的接口)可以写成:单次请求费用大致由“未命中的预填充成本(随N,缓存命中则可大幅下降)+ 解码成本(随M上升,且长输出有额外累积)”组成。工程上分别统计这两项,比只看一个总Token更有用。
总结
输入Token更便宜、输出Token更贵,本质是预填充与解码的结构性不对称:前者并行、算力利用率高、单Token成本较平坦;后者串行、带宽受限、并且因为KV不断变长而让后续Token更贵。行业里输出相对输入常见为数倍价差,与解码侧数倍甚至更高的加速器时间占用一致;剩余差异来自定价和架构对解码瓶颈的缓解程度。选型时不要只比较单价倍率,而要看自己的N、M和缓存命中率:重复长前缀优先复用状态,不可避免的长输出则要限制长度并分开容量规划。