算力标尺换轨:四堵墙与有效Token成本测算

作者:暴富20212026.11.17 03:16浏览量:0

简介:AI Agent 让算力从脉冲式负载变成长时间稳定运行的负载,采购与规划应以有效Token产出为标尺。本文说明统计口径,拆解计算、通信、存储、调度四堵墙的诊断方法,给出Goodput与单Token成本的公式和测算代码,并列出五步落地路径,帮助团队算清每个有效Token的真实成本。

一、为什么要换算力的标尺

过去,企业按卡数采购算力,按峰值TFLOPS评估性能。单次问答场景里这套口径基本够用,因为推理请求是脉冲式的,峰值高就能扛住瞬时高峰。

AI Agent 改变了这个前提。一个Agent完成任务时,要拆解目标、调用工具、读取上下文,再生成结果,中间可能循环数十轮。算力需求因此变成长时间稳定运行的负载。峰值算力只说明硬件理论上能做什么,无法说明系统实际交付了多少可用结果。

三个指标的区别如下:

指标 回答的问题 适用场景
峰值FLOPS 硬件理论上限是多少 硬件选型初筛
Goodput(有效吞吐) 单位时间内交付了多少有效Token 容量规划、SLA评估
单Token成本 每个有效Token花了多少钱 采购决策、成本治理

有效Token的统计口径

统计前需要先约定边界,否则两个团队的数字无法比较。建议按以下规则执行:

  • 计入有效输出:请求状态为成功,输出未被截断,端到端延迟满足SLA,返回给用户或下游程序的输出Token。
  • 不计入有效输出但计入成本:Agent中间推理Token、工具调用参数Token、被丢弃的重试Token。
  • 计入成本但不计入产出:输入Token。缓存命中的输入Token按实际计费口径折算,同样不计入产出。
  • 完全排除:失败、超时、被取消、被截断、被重试覆盖的请求。
  • 统计窗口:固定时间窗口,例如每小时或每天,窗口内的成本与产出必须对应同一段时间。

约定好口径后,团队应在文档中写明SLA阈值,例如首Token延迟和端到端延迟各自的上限。没有SLA前提,Goodput就只是吞吐量。

二、四堵墙:供给侧的真实瓶颈

供给侧的瓶颈可以归纳为四堵墙:计算、通信、存储、调度。这些问题在硬件规格书上看不到,只会在有效吞吐里暴露出来。

1. 计算墙:标称算力不等于有效算力

MFU(模型算力利用率)衡量实际计算量占理论峰值的比例,公式如下:

MFU = (Token吞吐 × 每Token前向计算量)÷ 理论峰值FLOPS

对稠密模型,每Token前向计算量可近似为2 × 参数量。统计时需要统一口径:不同dtype(FP16、BF16、FP8、INT8)的峰值不同,稀疏与稠密算力不能直接相加,训练与推理的计算模式也不同,三者之间不能直接横比。

不同模型和硬件之间差异很大,因此不宜用一个通用阈值判断好坏。更可靠的做法是与自己过去的版本对比,并参考同构硬件的公开基准。

常见的破解方向包括算子融合、图编译、混合精度,以及针对目标模型做端到端的内核优化。

诊断步骤:

  1. 固定输入shape与batch大小,跑基准压测,记录实际吞吐。
  2. 按上式计算MFU。
  3. 用profiler查看GPU kernel的时间分布,判断耗时主要在计算还是访存上。
  4. 若访存类kernel占比高,优先看算子融合和量化;若计算类kernel占比高但MFU仍低,检查batch是否过小。

2. 通信墙:并行越多,等待越多

张量并行、流水并行、专家并行叠加后,卡与卡之间需要频繁交换数据。跨机带宽不足、拓扑没有被感知、通信与计算无法重叠,GPU就会花大量时间等待数据。

破解手段包括四类:

  • 拓扑感知调度:把同一并行组的任务尽量放在同一交换机或同一高速互联域内。
  • 通信计算重叠:让通信耗时隐藏在计算背后。
  • 集合通信算子调优:根据消息大小选择合适的算法。
  • RDMA/RoCE参数调优:检查MTU、拥塞控制与队列配置。

诊断信号可以组合判断:

信号 采集方式 通信墙的典型表现
通信kernel占单步耗时的比例 profiler 持续偏高
GPU利用率曲线 监控系统 周期性下降,与通信步骤对齐
NCCL日志 设置NCCL_DEBUG=INFO 某些通道耗时明显长于其他通道
拓扑域分布 调度器记录 同一并行组跨交换机或跨机分布
RDMA计数器 网卡统计接口 重传、ECN标记、PFC暂停次数增长

只看一个信号容易误判。比如通信占比高但拓扑分布正常,问题可能在算子选择或消息大小上。具体阈值取决于并行规模和模型结构,建议先用历史数据建立基线。

3. 存储墙:KV Cache常常先于权重耗尽显存

KV Cache保存注意力计算所需的历史键值。其显存占用可按下式估算:

KV显存(字节) = 2 × 层数 × KV头数 × 头维度 × 序列长度 × 并发数 × dtype字节数

其中系数2表示键和值各一份。长上下文加上高并发时,KV Cache可能超过模型权重占用的显存,batch大小因此无法放大,排队变长,首Token延迟(TTFT)随之上升。

几个常见的优化手段会直接改变这个公式:

  • GQA或MQA:减少KV头数,显存按比例下降。模型结构确定后,这一项在部署阶段无法更改,需要在选型时考虑。
  • KV量化:把dtype从FP16降到FP8或INT8,显存约减半或更多,但需要验证输出质量。
  • 前缀缓存:相同系统提示词或文档前缀的请求复用已计算的KV。命中率越高,prefill计算越少,TTFT越低。命中率需要用真实流量统计,不能按理想值估算。
  • PagedAttention:按页分配KV显存,减少碎片,提高可承载的并发数。
  • CPU或分层offload:可以扩大容量,但会增加访存延迟,需要按SLA评估是否可接受。

TTFT与TPOT(每输出Token耗时)之间存在权衡。增大batch通常提高吞吐,却会拉长排队与首Token等待。优化时应先确定SLA中哪个指标优先,再选择参数。

诊断步骤:

  1. 分别统计权重占用与KV Cache占用,确认瓶颈来源。
  2. 记录前缀缓存命中率与平均排队时长。
  3. 按并发数与上下文长度分桶,观察TTFT的变化曲线。

4. 调度墙:GPU空转与SLA违约

调度墙关注的是请求如何进入GPU、如何被组批、如何在高峰时排队。即使硬件和模型都没有问题,调度不当也会让有效产出下降。

关键机制包括:

  • 连续批处理(continuous batching):请求完成后立即补入新请求,减少GPU空转。
  • 优先级与抢占:高优先级请求可以抢占低优先级请求的资源,但被抢占的请求需要重算或换出,会产生额外开销。
  • 队列长度:队列持续增长说明供给不足,或batch策略不合理。
  • SLA违约:超时请求即使已经计算完成,也不计入有效产出,等同于浪费算力。

Goodput与调度的关系很直接。GPU空转时间越长、超时请求越多,同样的硬件交付的有效Token就越少。

诊断步骤:

  1. 监控队列深度,记录队列等待时间的分位数,例如P50、P95、P99。
  2. 统计batch大小分布,观察是否长期偏小。
  3. 记录GPU空闲间隔,区分因无请求导致的空闲与因调度延迟导致的空闲。
  4. 统计抢占次数与超时次数,计算超时请求占总请求的比例。
  5. 对比不同调度参数下的Goodput,选择有效产出最高且满足SLA的配置。

三、Goodput与单Token成本

指标公式

Goodput = 统计窗口内满足SLA的有效输出Token数 ÷ 统计时长(秒)

单小时总成本 = 卡数 × 单卡采购价 ÷ (折旧年限 × 8760) + 卡数 × 单卡功耗(kW) × PUE × 电价 + 网络与运维每小时摊销

单Token成本 = 窗口内总成本 ÷ 窗口内有效输出Token数

单Token成本的分子包含硬件折旧、电力、网络和运维,分母只计入有效输出。因此,同样的成本,Goodput越低,单Token成本越高。

最小测算代码

下面的脚本读取请求日志,按环境变量中的成本参数计算Goodput和单Token成本。脚本不内置任何价格,所有成本参数都需要由使用者填写。

  1. import csv
  2. import os
  3. def env_float(name):
  4. value = os.environ.get(name)
  5. if value is None:
  6. raise SystemExit(f"缺少环境变量 {name}")
  7. return float(value)
  8. def main():
  9. gpu_count = env_float("GPU_COUNT") # 卡数
  10. gpu_price = env_float("GPU_PRICE_CNY") # 单卡采购价,元
  11. dep_years = env_float("DEPRECIATION_YEARS") # 折旧年限,年
  12. power_kw = env_float("POWER_KW_PER_GPU") # 单卡功耗,kW
  13. pue = env_float("PUE") # 数据中心PUE
  14. power_price = env_float("POWER_PRICE_CNY_PER_KWH") # 电价,元/kWh
  15. ops_per_hour = env_float("OPS_CNY_PER_HOUR") # 网络与运维每小时摊销,元
  16. window_s = env_float("WINDOW_SECONDS") # 统计窗口,秒
  17. log_path = os.environ.get("REQUEST_LOG", "requests.csv")
  18. good_tokens = 0
  19. with open(log_path, newline="", encoding="utf-8") as f:
  20. for row in csv.DictReader(f):
  21. ok = row["status"] == "success" and row["truncated"] == "0"
  22. in_sla = float(row["latency_ms"]) <= float(row["sla_ms"])
  23. if ok and in_sla:
  24. good_tokens += int(row["output_tokens"])
  25. hours = window_s / 3600
  26. hourly_hw = gpu_count * gpu_price / (dep_years * 8760)
  27. hourly_power = gpu_count * power_kw * pue * power_price
  28. total_cost = (hourly_hw + hourly_power + ops_per_hour) * hours
  29. goodput = good_tokens / window_s
  30. unit_cost = total_cost / good_tokens if good_tokens else float("inf")
  31. print(f"有效输出Token数: {good_tokens}")
  32. print(f"Goodput: {goodput:.2f} tokens/s")
  33. print(f"单Token成本: {unit_cost:.8f} 元/token")
  34. print(f"单千Token成本: {unit_cost * 1000:.6f} 元/千token")
  35. if __name__ == "__main__":
  36. main()

请求日志为CSV,表头需要包含以下字段:

  1. request_id,status,output_tokens,truncated,latency_ms,sla_ms

其中status取值为success或failed等,truncated取0或1,latency_ms为端到端延迟,sla_ms为该请求类型的SLA阈值。

运行前按实际情况设置环境变量,示例如下,数值需替换为自己的真实参数:

```bash
export GPU_COUNT=<卡数>
export GPU_PRICE_CNY=<单卡采购价>
export DEPRECIATION_YEARS=<折旧年限>
export POWER_KW