简介:AI Agent 让算力从脉冲式负载变成长时间稳定运行的负载,采购与规划应以有效Token产出为标尺。本文说明统计口径,拆解计算、通信、存储、调度四堵墙的诊断方法,给出Goodput与单Token成本的公式和测算代码,并列出五步落地路径,帮助团队算清每个有效Token的真实成本。
过去,企业按卡数采购算力,按峰值TFLOPS评估性能。单次问答场景里这套口径基本够用,因为推理请求是脉冲式的,峰值高就能扛住瞬时高峰。
AI Agent 改变了这个前提。一个Agent完成任务时,要拆解目标、调用工具、读取上下文,再生成结果,中间可能循环数十轮。算力需求因此变成长时间稳定运行的负载。峰值算力只说明硬件理论上能做什么,无法说明系统实际交付了多少可用结果。
三个指标的区别如下:
| 指标 | 回答的问题 | 适用场景 |
|---|---|---|
| 峰值FLOPS | 硬件理论上限是多少 | 硬件选型初筛 |
| Goodput(有效吞吐) | 单位时间内交付了多少有效Token | 容量规划、SLA评估 |
| 单Token成本 | 每个有效Token花了多少钱 | 采购决策、成本治理 |
统计前需要先约定边界,否则两个团队的数字无法比较。建议按以下规则执行:
约定好口径后,团队应在文档中写明SLA阈值,例如首Token延迟和端到端延迟各自的上限。没有SLA前提,Goodput就只是吞吐量。
供给侧的瓶颈可以归纳为四堵墙:计算、通信、存储、调度。这些问题在硬件规格书上看不到,只会在有效吞吐里暴露出来。
MFU(模型算力利用率)衡量实际计算量占理论峰值的比例,公式如下:
MFU = (Token吞吐 × 每Token前向计算量)÷ 理论峰值FLOPS
对稠密模型,每Token前向计算量可近似为2 × 参数量。统计时需要统一口径:不同dtype(FP16、BF16、FP8、INT8)的峰值不同,稀疏与稠密算力不能直接相加,训练与推理的计算模式也不同,三者之间不能直接横比。
不同模型和硬件之间差异很大,因此不宜用一个通用阈值判断好坏。更可靠的做法是与自己过去的版本对比,并参考同构硬件的公开基准。
常见的破解方向包括算子融合、图编译、混合精度,以及针对目标模型做端到端的内核优化。
诊断步骤:
张量并行、流水并行、专家并行叠加后,卡与卡之间需要频繁交换数据。跨机带宽不足、拓扑没有被感知、通信与计算无法重叠,GPU就会花大量时间等待数据。
破解手段包括四类:
诊断信号可以组合判断:
| 信号 | 采集方式 | 通信墙的典型表现 |
|---|---|---|
| 通信kernel占单步耗时的比例 | profiler | 持续偏高 |
| GPU利用率曲线 | 监控系统 | 周期性下降,与通信步骤对齐 |
| NCCL日志 | 设置NCCL_DEBUG=INFO | 某些通道耗时明显长于其他通道 |
| 拓扑域分布 | 调度器记录 | 同一并行组跨交换机或跨机分布 |
| RDMA计数器 | 网卡统计接口 | 重传、ECN标记、PFC暂停次数增长 |
只看一个信号容易误判。比如通信占比高但拓扑分布正常,问题可能在算子选择或消息大小上。具体阈值取决于并行规模和模型结构,建议先用历史数据建立基线。
KV Cache保存注意力计算所需的历史键值。其显存占用可按下式估算:
KV显存(字节) = 2 × 层数 × KV头数 × 头维度 × 序列长度 × 并发数 × dtype字节数
其中系数2表示键和值各一份。长上下文加上高并发时,KV Cache可能超过模型权重占用的显存,batch大小因此无法放大,排队变长,首Token延迟(TTFT)随之上升。
几个常见的优化手段会直接改变这个公式:
TTFT与TPOT(每输出Token耗时)之间存在权衡。增大batch通常提高吞吐,却会拉长排队与首Token等待。优化时应先确定SLA中哪个指标优先,再选择参数。
诊断步骤:
调度墙关注的是请求如何进入GPU、如何被组批、如何在高峰时排队。即使硬件和模型都没有问题,调度不当也会让有效产出下降。
关键机制包括:
Goodput与调度的关系很直接。GPU空转时间越长、超时请求越多,同样的硬件交付的有效Token就越少。
诊断步骤:
Goodput = 统计窗口内满足SLA的有效输出Token数 ÷ 统计时长(秒)
单小时总成本 = 卡数 × 单卡采购价 ÷ (折旧年限 × 8760) + 卡数 × 单卡功耗(kW) × PUE × 电价 + 网络与运维每小时摊销
单Token成本 = 窗口内总成本 ÷ 窗口内有效输出Token数
单Token成本的分子包含硬件折旧、电力、网络和运维,分母只计入有效输出。因此,同样的成本,Goodput越低,单Token成本越高。
下面的脚本读取请求日志,按环境变量中的成本参数计算Goodput和单Token成本。脚本不内置任何价格,所有成本参数都需要由使用者填写。
import csvimport osdef env_float(name):value = os.environ.get(name)if value is None:raise SystemExit(f"缺少环境变量 {name}")return float(value)def main():gpu_count = env_float("GPU_COUNT") # 卡数gpu_price = env_float("GPU_PRICE_CNY") # 单卡采购价,元dep_years = env_float("DEPRECIATION_YEARS") # 折旧年限,年power_kw = env_float("POWER_KW_PER_GPU") # 单卡功耗,kWpue = env_float("PUE") # 数据中心PUEpower_price = env_float("POWER_PRICE_CNY_PER_KWH") # 电价,元/kWhops_per_hour = env_float("OPS_CNY_PER_HOUR") # 网络与运维每小时摊销,元window_s = env_float("WINDOW_SECONDS") # 统计窗口,秒log_path = os.environ.get("REQUEST_LOG", "requests.csv")good_tokens = 0with open(log_path, newline="", encoding="utf-8") as f:for row in csv.DictReader(f):ok = row["status"] == "success" and row["truncated"] == "0"in_sla = float(row["latency_ms"]) <= float(row["sla_ms"])if ok and in_sla:good_tokens += int(row["output_tokens"])hours = window_s / 3600hourly_hw = gpu_count * gpu_price / (dep_years * 8760)hourly_power = gpu_count * power_kw * pue * power_pricetotal_cost = (hourly_hw + hourly_power + ops_per_hour) * hoursgoodput = good_tokens / window_sunit_cost = total_cost / good_tokens if good_tokens else float("inf")print(f"有效输出Token数: {good_tokens}")print(f"Goodput: {goodput:.2f} tokens/s")print(f"单Token成本: {unit_cost:.8f} 元/token")print(f"单千Token成本: {unit_cost * 1000:.6f} 元/千token")if __name__ == "__main__":main()
请求日志为CSV,表头需要包含以下字段:
request_id,status,output_tokens,truncated,latency_ms,sla_ms
其中status取值为success或failed等,truncated取0或1,latency_ms为端到端延迟,sla_ms为该请求类型的SLA阈值。
运行前按实际情况设置环境变量,示例如下,数值需替换为自己的真实参数:
```bash
export GPU_COUNT=<卡数>
export GPU_PRICE_CNY=<单卡采购价>
export DEPRECIATION_YEARS=<折旧年限>
export POWER_KW