简介:nvidia-smi显示GPU利用率95%却迟迟不出结果?本文把推理链路拆成硬件、Kernel、内存、调度、并行、推测解码、应用七层,配合TTFT、ITL、OTPS等可观测指标与症状决策表,帮你逐层定位SGLang、vLLM的瓶颈,并给出可复现的压测路径、单变量调优与灰度回滚建议,让性能问题不再靠猜。
nvidia-smi 显示 GPU 利用率 95% 为什么还慢?SGLang 与 vLLM 该怎么分层排查?答案要先把”慢”落到可观测数字上,没有指标就没有诊断。
经验判断:TTFT 高优先查调度层与 Prefill 相关配置;ITL 抖动大优先查内存层与 Kernel 层;吞吐打不满但时延正常优先查并行层与批处理策略。
nvidia-smi 显示的 GPU-Util 只统计采样周期内”有 kernel 在跑”的时间占比,并不等于 SM 打满、显存带宽跑满或 Tensor Core 真正参与——把它当成”算力占用率”是最大的仪表盘骗局。要看清硬件真相,改看这四项:SM 活跃度(achieved occupancy)、显存带宽利用率、Tensor Core 使用率、功耗与温度是否触发降频。观测口径上,可用 DCGM 看持续的 SM/带宽/功耗指标,用 nsys 看整体时间轴,用 ncu 看单个 kernel 的带宽与占用率。Decode 阶段是典型的访存受限负载,带宽跑满而算力空闲是常态;如果带宽和算力都闲着,说明卡在 CPU 侧或通信侧。
这一层是单请求速度的决定因素:
--enable-flashinfer-mla。--enable-torch-compile 后首次启动会明显变慢。追求快速启动的场景可以关闭;生产环境建议采用预编译、缓存编译产物或预热,并在灰度环境确认启动时延是否可接受。诊断工具:nsys profile 看时间轴空隙,ncu 看单个 kernel 的带宽与占用率。
--mem-fraction-static 控制模型权重加 KV cache 的静态显存占比;默认值随版本和部署配置变化,应以实际启动参数与官方文档为准,不要照搬旧数值。调高可容纳更多 KV cache 换取更高并发,但必须预留 CUDA Graph 初始化与运行时显存余量,否则容易 OOM,调参时要支持快速回滚。Continuous batching 的调度逻辑跑在 Python 侧,GIL 与单线程事件循环限制了每秒能处理的请求数。这也是 vLLM V1 架构改动的核心动因之一:把 AsyncLLM(API 层、tokenizer、请求流)与 EngineCore(Scheduler + ModelExecutor)拆成两个进程,通过 ZeroMQ IPC 通信,让调度与前端处理解耦。在 V1 默认路径(v0.8.0 起)下,部分旧参数和调优经验可能不再适用或行为发生变化,比如”手动开 chunked prefill”等做法,需要按 v0.8.0 及后续版本的官方文档确认,不要直接套用旧经验。
可调项主要是并发上限:--max-running-requests 控制 server 支持的最大并发数,设得越大排队越短,但显存压力和编译时间也越大。
--tp 8)。--enable-selective-experts 之类开关)以目标 SGLang 或 vLLM 版本的帮助信息(--help)或官方文档为准,不同版本命名和行为可能不同。判断依据很简单:如果 NCCL all-reduce 时间占比高,说明并行切分方式与该拓扑不匹配。
MTP / NextN 这类投机解码能降低 ITL,但需要额外的小模型权重(如 DeepSeek-R1-NextN)。诊断重点是接受率:接受率过低时,草稿模型的开销反而变成净损失,此时应关闭或调整草稿长度。
分词与 detokenize、HTTP 序列化、流式返回的网络抖动、日志与指标上报,都可能占据可观耗时。此外,相同 prompt 前缀的重复计算可以通过 prompt cache 消除,长 system prompt 场景收益明显。
| 症状 | 优先怀疑层 | 验证手段 |
|---|---|---|
| TTFT 高、吞吐低 | 调度层排队 / chunked prefill | 看队列长度、pending 请求数 |
| TTFT 高、队列空 | Kernel 层 Prefill 效率 | nsys 看 prefill kernel 时间轴 |
| ITL 抖动、周期性飙高 | 内存层抢占 / 换出 | 看 preemption 计数、KV cache 使用率 |
| 吞吐打不满、时延正常 | 并行层通信 / batch 不足 | NCCL 耗时占比、调整 max-running-requests |
| GPU 利用率高但 OTPS 低 | 硬件层访存受限 | ncu 看显存带宽与 Tensor Core 利用率 |
| OTPS 低、GPU 利用率不高且带宽算力都低 | 应用层 / 调度层 | 查分词与 detokenize、HTTP 序列化、网络与日志上报耗时,看队列是否堆积 |
| 启动即 OOM | 内存层静态占比 | 下调 --mem-fraction-static |
压测环节不要凭感觉。优先使用框架官方自带的基准脚本:SGLang 提供 bench_serving(如 python -m sglang.bench_serving),vLLM 提供 benchmarks/benchmark_serving.py,它们随版本维护、与真实引擎行为最贴近,可复现性最好。若要用 aiakperf 等第三方工具,需先确认其来源、版本、安装方式与参数含义,并记录在测试报告中。无论用哪种工具,都要固定随机种子、输入输出长度和并发档位(如 1/4/8/16 梯度),先 warm up 再逐档记录,否则数据没有可比性。
推理调优不是找一串魔法参数,而是沿着”指标 → 分层 → 工具 → 单变量验证”闭环推进:一次只改一个变量,改完立刻用同一套压测脚本复测。同时要建立变更与回滚机制——调整并发上限、显存占比、并行切分都可能导致 OOM 或时延抖动,应遵循单变量修改、灰度发布、保留上一版配置以便快速回滚,并配合监控确认改动收益。还要注意版本分水岭:vLLM 从 V1 Alpha 到 v0.8.0 默认启用、再到 V0 逐步移除,跨版本的配置文件、环境变量乃至默认后端都可能变化,网上半年前的参数建议先确认版本再套用。
如果你的业务不具备自建调优的工程投入,在自建维护成本过高时,也可以对比成熟托管服务:在词元所模型服务可查看不同模型的能力定位与调用成本,通过统一 API 接入多家模型。但这一决策应结合你的压测结果、SLO(时延与可用性目标)和总成本综合判断——托管能省去自建调优的运维负担,你也要评估数据合规、供应商锁定与长期成本等风险,把精力放在业务效果本身。想进一步做多模型灰度或成本优化,也可以通过百度智能云词元所的模型调用管理能力,按 TTFT、OTPS 与单价三个维度选出最匹配当前场景的组合。