简介:本文以vLLM部署70B模型为例,讲解显存估算、启动参数、负载均衡接入、TTFT与TPOT压测验收,以及OOM和延迟升高时的排查与回滚。读者可以按步骤完成上线,并用统一口径判断服务是否达标,减少返工。
把一个70B模型放到线上,返工通常来自两个原因:显存算错导致启动失败,或上线后延迟超标。本文以vLLM为例,依次说明显存估算、环境准备、引擎启动、负载均衡接入、压测验收和故障排查。文中的命令和参数可以作为部署模板,但上线前必须用自己的模型和真实流量重新验证。
推理时显存由三部分组成:模型权重、KV Cache,以及激活值与运行时开销。三者之和必须小于单卡可用显存,服务才能稳定运行。
这个公式基于以下假设:权重和KV Cache均为BF16,每元素2字节;模型使用分组查询注意力(GQA);不使用MLA等其他KV压缩结构;上下文按8K计算,即8192个Token。以80层、8个KV头、头维度128计算,单Token约占320 KiB,单条8K序列约占2.5 GiB,32条满上下文并发约需80 GiB。换成其他模型或精度时,要用对应配置重新计算。实际数值以启动日志中的 GPU KV cache size 为准。
以4张80 GB显卡部署70B模型为例:
2张80 GB卡部署同一模型时,每卡权重约70 GB,已接近可用显存上限,剩余空间无法支撑有效的KV Cache,不建议采用。如果资源只有2卡,可以考虑以下替代方案:
显存利用率一般取0.85至0.90之间,剩下的余量用于应对请求峰值和显存碎片。
先确认各组件版本,并写入部署文档。下表列出要核对的项目:
| 组件 | 要求 | 核对方式 |
|---|---|---|
| 操作系统 | Ubuntu 22.04 LTS | 基础镜像统一管理,所有节点使用同一镜像 |
| NVIDIA驱动 | 满足所选CUDA版本的最低要求 | 对照NVIDIA官方兼容表,记录版本号 |
| CUDA | 与驱动配套,示例镜像为12.4.1 | 记录版本号 |
| Docker | 24及以上 | docker version |
| NVIDIA Container Toolkit | 与Docker版本配套 | 运行下方检测命令 |
| vLLM镜像 | 固定到经过测试的具体版本标签 | 不使用latest |
确认容器内能识别GPU:
docker run --rm --gpus all nvidia/cuda:12.4.1-base-ubuntu22.04 nvidia-smi
输出应列出全部4张卡的型号和显存总量。输出格式示意如下,数值以实际机器为准:
| GPU Name | Memory-Usage | GPU-Util || 0 NVIDIA A100 | 0MiB / 81920MiB | 0% || 1 NVIDIA A100 | 0MiB / 81920MiB | 0% |
其他前置条件如下:
sha256sum /data/models/llama-70b-instruct/*.safetensors,逐一比对输出。:ro),推理进程无法修改权重。echo "$REGISTRY_PASSWORD" | docker login <仓库地址> -u <只读账号> --password-stdin,不写入脚本或代码。以下命令在一台4卡机器上启动70B模型。镜像版本以占位符表示,API密钥通过环境变量注入,不写在命令中:
docker run -d --name llm-infer \--gpus '"device=0,1,2,3"' \--ipc=host \-p 8000:8000 \-v /data/models/llama-70b-instruct:/models/llm:ro \-e HF_HUB_OFFLINE=1 \-e VLLM_API_KEY \vllm/vllm-openai:<固定版本号> \--model /models/llm \--served-model-name llm \--dtype bfloat16 \--tensor-parallel-size 4 \--gpu-memory-utilization 0.88 \--max-model-len 8192 \--max-num-seqs 48 \--max-num-batched-tokens 8192 \--enable-prefix-caching \--enable-chunked-prefill \--host 0.0.0.0 \--port 8000
-e VLLM_API_KEY 不带等号,表示从执行命令的shell环境中读取该变量,密钥不会出现在命令历史或脚本里。
参数说明如下:
--ipc=host:多卡张量并行通信需要共享内存。缺少该参数时可能出现通信错误或性能下降。--dtype bfloat16:与权重精度保持一致。--tensor-parallel-size:张量并行数,需与可见GPU数量一致。--gpu-memory-utilization:引擎可使用的显存比例。--max-model-len:单条序列的最大长度。调小该值可直接降低KV Cache的峰值占用。--max-num-seqs:同时处理的最大序列数,即并发上限。第一节估算出约50条满8K序列,因此这里设为48,留出约一成余量。如果业务的平均长度远低于8K,可以逐步调高,但不应超过KV Cache能容纳的数量。启动日志中的 Maximum concurrency 行会给出引擎按 max-model-len 估算的并发数,可以与此对照。--max-num-batched-tokens:单次迭代最多处理的Token数,同时影响首字延迟和吞吐。调大时吞吐通常更高,但每一步的计算量变大,正在生成的请求会更慢地吐出后续Token,TPOT随之上升。调小时TPOT更平稳,但长提示词的预填充变慢,TTFT增加,吞吐也会下降。起始值设为8192,压测后再做调整。--enable-prefix-caching:复用相同前缀的KV Cache,适合固定系统提示词的场景。前缀不重复的业务收益很小。--enable-chunked-prefill:将长提示词的预填充拆分执行,减少对其他请求的阻塞,对TPOT的稳定性有帮助。启动后按以下步骤检查:
Application startup complete。同时记录 GPU KV cache size 和 Maximum concurrency 两行,与第一节的估算对照。如果差距明显,先检查模型配置和精度设置。
docker logs --tail 200 llm-infer
curl -sf http://127.0.0.1:8000/health && echo "ready"
以下配置适用于大多数云厂商的应用型负载均衡,名称可能不同,但配置项相同。
/health,端口8000,检查间隔10秒,超时3秒。连续3次失败后摘除实例,连续2次成功后恢复。新实例的首次检查要延后到模型加载完成之后,可以用启动宽限期实现,宽限期设为600秒。VLLM_API_KEY 校验。健康检查接口需要确认负载均衡能够无密钥访问。max_tokens 上限,防止单个请求长时间占用KV Cache。配置完成后,通过负载均衡域名做一次端到端调用:
curl -sS https://<负载均衡域名>/v1/chat/completions \-H "Authorization: Bearer $API_KEY" \-H "Content-Type: application/json" \-d '{"model": "llm", "messages": [{"role": "user", "content": "你好"}], "max_tokens": 64}'
返回正常的JSON结构,说明链路已经打通。
压测前先统一指标口径,否则不同人测出的数字无法比较。
报告中的分位数统一使用P50、P95和P99。平均值会掩盖长尾问题,不宜作为验收依据。
压测设计如下:
下面的命令使用vLLM自带的压测工具。参数名以所用版本的 vllm bench serve --help 输出为准:
vllm bench serve \--backend openai-chat \--endpoint /v1/chat/completions \--base-url https://<负载均衡域名> \--model llm \--dataset-name random \--random-input-len 2048 \--random-output-len 256 \--max-concurrency 16 \--num-prompts 300 \--percentile-metrics ttft,tpot,e2el \--metric-percentiles 50,95,99 \--save-result --result-dir ./bench-results
如果网关要求在请求头中携带密钥,需要按工具提供的方式添加请求头。密钥仍然从环境变量读取。
验收阈值由业务SLA决定,下面的数值只是示例,需要替换为自己的目标:
验收规则:找出满足全部阈值的最高并发档位,将它作为网关限流的依据,并将 --max-num-seqs 设为该档位附近的值,留出一定余量。如果P95 TTFT先超标,优先检查长提示词的比例,并尝试调整 --max-num-batched-tokens。如果P95 TPOT先超标,说明并发过高,应降低 --max-num-seqs。
引擎通过 /metrics 接口暴露Prometheus指标,建议接入监控并设置告警。常用指标如下,指标名以所用版本的输出为准:
vllm:num_requests_running:正在处理的请求数。vllm:num_requests_waiting:排队中的请求数。持续增长说明容量不足。vllm:gpu_cache_usage_perc:KV Cache使用率。长期接近100%时,并发需要下调。vllm:num_preemptions_total:请求被抢占的次数。该值增长较快时,说明KV Cache紧张。vllm:time_to_first_token_seconds 和 vllm:time_per_output_token_seconds:TTFT和TPOT的分布,可用于与压测结果对照。快速查看当前状态的命令:
nvidia-smi --query-gpu=memory.used,memory.total,utilization.gpu --format=csvcurl -s http://127.0.0.1:8000/metrics | grep -E "vllm:(num_requests_running|num_requests_waiting|gpu_cache_usage_perc)"
常见问题的排查思路如下。
显存溢出(OOM):
--gpu-memory-utilization 是否过高,并对照第一节重新估算。--max-num-seqs,或将 --max-model-len 调小,然后重新压测。dmesg 中是否有GPU相关报错,并用 nvidia-smi -q 查看ECC错误计数,排除硬件故障。TTFT升高:
vllm:num_requests_waiting。如果排队数持续增长,说明请求到达速度超过处理能力,需要限流或扩容。TPOT升高:
--max-num-seqs,观察TPOT是否回落。--max-num-batched-tokens,预填充会挤占解码的计算时间,可以适当调小。吞吐下降:
健康检查失败:
/health,端口为8000,并且来源网段在安全组中已放行。回滚与降级:
max_tokens 上限。第二步,收紧限流阈值。第三步,将 --max-model-len 调小后重启实例。第四步,将部分流量切换到备用的小模型,并向业务方说明影响范围。每次调整参数后都要记录变更内容、压测结果和线上指标,便于在下次故障时快速比对。