GPU利用率95%还慢?SGLang与vLLM七层诊断法

作者:很菜不狗2026.11.17 03:20浏览量:0

简介:nvidia-smi显示GPU利用率95%却迟迟不出结果?本文把推理链路拆成硬件、Kernel、内存、调度、并行、推测解码、应用七层,配合TTFT、ITL、OTPS等可观测指标与症状决策表,帮你逐层定位SGLang、vLLM的瓶颈,并给出可复现的压测路径、单变量调优与灰度回滚建议,让性能问题不再靠猜。

一、先把”慢”量化:四个指标定方向

nvidia-smi 显示 GPU 利用率 95% 为什么还慢?SGLang 与 vLLM 该怎么分层排查?答案要先把”慢”落到可观测数字上,没有指标就没有诊断。

  • TTFT(首 Token 时延):从发出请求到收到第一个 token,主要反映 Prefill 阶段与排队等待。
  • ITL / 包间时延(Interval Latency):流式场景下两个 chunk 的时间间隔,反映 Decode 阶段的稳定性。
  • OTPS(Output Tokens Per Second):单请求每秒输出 token 数,衡量单流速度。
  • 系统吞吐(tokens/s)与 P99 时延:衡量整体并发能力。

经验判断:TTFT 高优先查调度层与 Prefill 相关配置;ITL 抖动大优先查内存层与 Kernel 层;吞吐打不满但时延正常优先查并行层与批处理策略。

二、七层瓶颈地图

1. 硬件层:四个指标才是真相

nvidia-smi 显示的 GPU-Util 只统计采样周期内”有 kernel 在跑”的时间占比,并不等于 SM 打满、显存带宽跑满或 Tensor Core 真正参与——把它当成”算力占用率”是最大的仪表盘骗局。要看清硬件真相,改看这四项:SM 活跃度(achieved occupancy)、显存带宽利用率、Tensor Core 使用率、功耗与温度是否触发降频。观测口径上,可用 DCGM 看持续的 SM/带宽/功耗指标,用 nsys 看整体时间轴,用 ncu 看单个 kernel 的带宽与占用率。Decode 阶段是典型的访存受限负载,带宽跑满而算力空闲是常态;如果带宽和算力都闲着,说明卡在 CPU 侧或通信侧。

2. Kernel 层:attention 后端、CUDA Graph、torch.compile 三头纠缠

这一层是单请求速度的决定因素:

  • Attention 后端:FlashInfer、FlashAttention、Triton 后端在不同 head 数、KV 类型(FP8/INT8)下性能差异明显,MLA 类模型需要显式开启对应支持,例如 SGLang 部署 DeepSeek-R1 时会加上 --enable-flashinfer-mla。
  • CUDA Graph:消除 Decode 阶段的 kernel launch 开销,但要求静态形状;一旦 batch 频繁越界到未捕获的形状,就会反复回退到 eager 模式。
  • torch.compile:能显著提速,但编译耗时取决于模型规模、机器和版本,可能从数分钟到数十分钟不等,开启 --enable-torch-compile 后首次启动会明显变慢。追求快速启动的场景可以关闭;生产环境建议采用预编译、缓存编译产物或预热,并在灰度环境确认启动时延是否可接受。

诊断工具:nsys profile 看时间轴空隙,ncu 看单个 kernel 的带宽与占用率。

3. 内存层:KV cache 的三种死法

  • 静态显存占比配置不当:--mem-fraction-static 控制模型权重加 KV cache 的静态显存占比;默认值随版本和部署配置变化,应以实际启动参数与官方文档为准,不要照搬旧数值。调高可容纳更多 KV cache 换取更高并发,但必须预留 CUDA Graph 初始化与运行时显存余量,否则容易 OOM,调参时要支持快速回滚。
  • 碎片化与预留不足:并发突增时新请求拿不到连续块,触发排队甚至抢占。
  • 抢占后的重算或换出:被抢占的请求需要重新 prefill 或从 CPU 换回,表现为 ITL 突然飙高、TTFT 长尾恶化。

4. 调度层:Python GIL 是看不见的天花板

Continuous batching 的调度逻辑跑在 Python 侧,GIL 与单线程事件循环限制了每秒能处理的请求数。这也是 vLLM V1 架构改动的核心动因之一:把 AsyncLLM(API 层、tokenizer、请求流)与 EngineCore(Scheduler + ModelExecutor)拆成两个进程,通过 ZeroMQ IPC 通信,让调度与前端处理解耦。在 V1 默认路径(v0.8.0 起)下,部分旧参数和调优经验可能不再适用或行为发生变化,比如”手动开 chunked prefill”等做法,需要按 v0.8.0 及后续版本的官方文档确认,不要直接套用旧经验。

可调项主要是并发上限:--max-running-requests 控制 server 支持的最大并发数,设得越大排队越短,但显存压力和编译时间也越大。

5. 并行层:TP、PP、EP、DP 的选择题

  • TP(张量并行):单机内 NVLink 环境下性价比最高,通常等于单机卡数(如 --tp 8)。
  • PP(流水并行):跨节点带宽有限时的次优选择,会引入气泡。
  • EP(专家并行):MoE 模型专用;是否支持及参数名(如 --enable-selective-experts 之类开关)以目标 SGLang 或 vLLM 版本的帮助信息(--help)或官方文档为准,不同版本命名和行为可能不同。
  • DP / DP Attention:注重高并发吞吐场景建议开启 dp attention,可节省 KV cache、提升 token throughput;注重低时延场景则需谨慎。

判断依据很简单:如果 NCCL all-reduce 时间占比高,说明并行切分方式与该拓扑不匹配。

6. 推测解码:容易被漏掉的诊断维度

MTP / NextN 这类投机解码能降低 ITL,但需要额外的小模型权重(如 DeepSeek-R1-NextN)。诊断重点是接受率:接受率过低时,草稿模型的开销反而变成净损失,此时应关闭或调整草稿长度。

7. 应用层:请求进出 GPU 的那两段路

分词与 detokenize、HTTP 序列化、流式返回的网络抖动、日志与指标上报,都可能占据可观耗时。此外,相同 prompt 前缀的重复计算可以通过 prompt cache 消除,长 system prompt 场景收益明显。

三、从症状到工具:一张决策表

症状 优先怀疑层 验证手段
TTFT 高、吞吐低 调度层排队 / chunked prefill 看队列长度、pending 请求数
TTFT 高、队列空 Kernel 层 Prefill 效率 nsys 看 prefill kernel 时间轴
ITL 抖动、周期性飙高 内存层抢占 / 换出 看 preemption 计数、KV cache 使用率
吞吐打不满、时延正常 并行层通信 / batch 不足 NCCL 耗时占比、调整 max-running-requests
GPU 利用率高但 OTPS 低 硬件层访存受限 ncu 看显存带宽与 Tensor Core 利用率
OTPS 低、GPU 利用率不高且带宽算力都低 应用层 / 调度层 查分词与 detokenize、HTTP 序列化、网络与日志上报耗时,看队列是否堆积
启动即 OOM 内存层静态占比 下调 --mem-fraction-static

压测环节不要凭感觉。优先使用框架官方自带的基准脚本:SGLang 提供 bench_serving(如 python -m sglang.bench_serving),vLLM 提供 benchmarks/benchmark_serving.py,它们随版本维护、与真实引擎行为最贴近,可复现性最好。若要用 aiakperf 等第三方工具,需先确认其来源、版本、安装方式与参数含义,并记录在测试报告中。无论用哪种工具,都要固定随机种子、输入输出长度和并发档位(如 1/4/8/16 梯度),先 warm up 再逐档记录,否则数据没有可比性。

四、调优的本质是系统工程

推理调优不是找一串魔法参数,而是沿着”指标 → 分层 → 工具 → 单变量验证”闭环推进:一次只改一个变量,改完立刻用同一套压测脚本复测。同时要建立变更与回滚机制——调整并发上限、显存占比、并行切分都可能导致 OOM 或时延抖动,应遵循单变量修改、灰度发布、保留上一版配置以便快速回滚,并配合监控确认改动收益。还要注意版本分水岭:vLLM 从 V1 Alpha 到 v0.8.0 默认启用、再到 V0 逐步移除,跨版本的配置文件、环境变量乃至默认后端都可能变化,网上半年前的参数建议先确认版本再套用。

如果你的业务不具备自建调优的工程投入,在自建维护成本过高时,也可以对比成熟托管服务:在词元所模型服务可查看不同模型的能力定位与调用成本,通过统一 API 接入多家模型。但这一决策应结合你的压测结果、SLO(时延与可用性目标)和总成本综合判断——托管能省去自建调优的运维负担,你也要评估数据合规、供应商锁定与长期成本等风险,把精力放在业务效果本身。想进一步做多模型灰度或成本优化,也可以通过百度智能云词元所的模型调用管理能力,按 TTFT、OTPS 与单价三个维度选出最匹配当前场景的组合。