大模型推理服务上线指南:从显存规划到压测运维

作者:有好多问题2026.11.18 11:31浏览量:0

简介:本文以vLLM部署70B模型为例,讲解显存估算、启动参数、负载均衡接入、TTFT与TPOT压测验收,以及OOM和延迟升高时的排查与回滚。读者可以按步骤完成上线,并用统一口径判断服务是否达标,减少返工。

把一个70B模型放到线上,返工通常来自两个原因:显存算错导致启动失败,或上线后延迟超标。本文以vLLM为例,依次说明显存估算、环境准备、引擎启动、负载均衡接入、压测验收和故障排查。文中的命令和参数可以作为部署模板,但上线前必须用自己的模型和真实流量重新验证。

一、先估算显存,再确定机器规格

推理时显存由三部分组成:模型权重、KV Cache,以及激活值与运行时开销。三者之和必须小于单卡可用显存,服务才能稳定运行。

  1. 模型权重:参数量乘以每个参数的字节数。BF16和FP16每个参数占2字节,INT8占1字节,INT4约占0.5字节。70B模型的BF16权重约为140 GB。
  2. KV Cache:生成每个Token时,模型要缓存历史的Key和Value。单Token占用 = 2 × 层数 × KV头数 × 头维度 × 每元素字节数。

这个公式基于以下假设:权重和KV Cache均为BF16,每元素2字节;模型使用分组查询注意力(GQA);不使用MLA等其他KV压缩结构;上下文按8K计算,即8192个Token。以80层、8个KV头、头维度128计算,单Token约占320 KiB,单条8K序列约占2.5 GiB,32条满上下文并发约需80 GiB。换成其他模型或精度时,要用对应配置重新计算。实际数值以启动日志中的 GPU KV cache size 为准。

  1. 激活值与运行时开销:CUDA上下文、通信缓冲区和中间激活值合计约每卡1~3 GB。具体数值以引擎启动日志为准。

以4张80 GB显卡部署70B模型为例:

  • 张量并行数设为4,每卡分到约35 GB权重。
  • 显存利用率设为0.88,单卡可用约70.4 GB。扣除权重和按每卡2 GB计的运行时开销后,每卡剩约33 GB。
  • 四卡合计约133 GB用于KV Cache。单条8K序列约需2.5 GiB(约2.7 GB),因此可容纳约50条满上下文的并发序列。

2张80 GB卡部署同一模型时,每卡权重约70 GB,已接近可用显存上限,剩余空间无法支撑有效的KV Cache,不建议采用。如果资源只有2卡,可以考虑以下替代方案:

  • INT8量化:权重约70 GB,张量并行数为2时每卡约35 GB,剩余空间可以支撑一定规模的并发。量化会影响输出质量,上线前需要在业务数据上做效果评估。
  • INT4量化:权重进一步减半,并发空间更大,但质量损失通常更明显,风险更高。
  • 多机部署:跨机张量并行的通信开销较大,延迟和吞吐都会受影响,需要网络条件和运维能力支撑。

显存利用率一般取0.85至0.90之间,剩下的余量用于应对请求峰值和显存碎片。

二、准备环境与前置条件

先确认各组件版本,并写入部署文档。下表列出要核对的项目:

组件 要求 核对方式
操作系统 Ubuntu 22.04 LTS 基础镜像统一管理,所有节点使用同一镜像
NVIDIA驱动 满足所选CUDA版本的最低要求 对照NVIDIA官方兼容表,记录版本号
CUDA 与驱动配套,示例镜像为12.4.1 记录版本号
Docker 24及以上 docker version
NVIDIA Container Toolkit 与Docker版本配套 运行下方检测命令
vLLM镜像 固定到经过测试的具体版本标签 不使用latest

确认容器内能识别GPU:

  1. docker run --rm --gpus all nvidia/cuda:12.4.1-base-ubuntu22.04 nvidia-smi

输出应列出全部4张卡的型号和显存总量。输出格式示意如下,数值以实际机器为准:

  1. | GPU Name | Memory-Usage | GPU-Util |
  2. | 0 NVIDIA A100 | 0MiB / 81920MiB | 0% |
  3. | 1 NVIDIA A100 | 0MiB / 81920MiB | 0% |

其他前置条件如下:

  • 模型文件:优先使用safetensors格式,加载速度快,且不执行任意代码。下载后用发布方提供的sha256值核对完整性,例如执行 sha256sum /data/models/llama-70b-instruct/*.safetensors,逐一比对输出。
  • 目录权限:模型目录由专用服务账号拥有,容器以只读方式挂载(:ro),推理进程无法修改权重。
  • 镜像拉取凭证:私有仓库使用只读拉取账号。凭证从密钥管理服务读取,通过标准输入登录,例如 echo "$REGISTRY_PASSWORD" | docker login <仓库地址> -u <只读账号> --password-stdin,不写入脚本或代码。

三、启动推理引擎

以下命令在一台4卡机器上启动70B模型。镜像版本以占位符表示,API密钥通过环境变量注入,不写在命令中:

  1. docker run -d --name llm-infer \
  2. --gpus '"device=0,1,2,3"' \
  3. --ipc=host \
  4. -p 8000:8000 \
  5. -v /data/models/llama-70b-instruct:/models/llm:ro \
  6. -e HF_HUB_OFFLINE=1 \
  7. -e VLLM_API_KEY \
  8. vllm/vllm-openai:<固定版本号> \
  9. --model /models/llm \
  10. --served-model-name llm \
  11. --dtype bfloat16 \
  12. --tensor-parallel-size 4 \
  13. --gpu-memory-utilization 0.88 \
  14. --max-model-len 8192 \
  15. --max-num-seqs 48 \
  16. --max-num-batched-tokens 8192 \
  17. --enable-prefix-caching \
  18. --enable-chunked-prefill \
  19. --host 0.0.0.0 \
  20. --port 8000

-e VLLM_API_KEY 不带等号,表示从执行命令的shell环境中读取该变量,密钥不会出现在命令历史或脚本里。

参数说明如下:

  • --ipc=host:多卡张量并行通信需要共享内存。缺少该参数时可能出现通信错误或性能下降。
  • --dtype bfloat16:与权重精度保持一致。
  • --tensor-parallel-size:张量并行数,需与可见GPU数量一致。
  • --gpu-memory-utilization:引擎可使用的显存比例。
  • --max-model-len:单条序列的最大长度。调小该值可直接降低KV Cache的峰值占用。
  • --max-num-seqs:同时处理的最大序列数,即并发上限。第一节估算出约50条满8K序列,因此这里设为48,留出约一成余量。如果业务的平均长度远低于8K,可以逐步调高,但不应超过KV Cache能容纳的数量。启动日志中的 Maximum concurrency 行会给出引擎按 max-model-len 估算的并发数,可以与此对照。
  • --max-num-batched-tokens:单次迭代最多处理的Token数,同时影响首字延迟和吞吐。调大时吞吐通常更高,但每一步的计算量变大,正在生成的请求会更慢地吐出后续Token,TPOT随之上升。调小时TPOT更平稳,但长提示词的预填充变慢,TTFT增加,吞吐也会下降。起始值设为8192,压测后再做调整。
  • --enable-prefix-caching:复用相同前缀的KV Cache,适合固定系统提示词的场景。前缀不重复的业务收益很小。
  • --enable-chunked-prefill:将长提示词的预填充拆分执行,减少对其他请求的阻塞,对TPOT的稳定性有帮助。

启动后按以下步骤检查:

  1. 查看日志,确认权重加载完成,并出现 Application startup complete。同时记录 GPU KV cache size 和 Maximum concurrency 两行,与第一节的估算对照。如果差距明显,先检查模型配置和精度设置。
  1. docker logs --tail 200 llm-infer
  1. 调用健康检查接口,返回HTTP 200表示服务就绪:
  1. curl -sf http://127.0.0.1:8000/health && echo "ready"
  1. 70B模型加载通常需要数分钟,健康检查的启动宽限期应设为10分钟以上,避免加载期间实例被误判为故障。

四、接入负载均衡

以下配置适用于大多数云厂商的应用型负载均衡,名称可能不同,但配置项相同。

  • 前端监听器:HTTPS协议,端口443。证书由证书服务托管,只启用TLS 1.2及以上版本。TLS在负载均衡处终止,后端到实例之间走内网HTTP,端口8000。
  • 后端服务器组:加入所有推理实例的内网IP和8000端口。调度算法选择最少连接,因为不同请求的生成时长差异很大,轮询容易让某个实例堆积排队。会话保持关闭,因为接口是无状态的。如果后续要利用前缀缓存提升命中率,可以改为按系统提示词做一致性哈希,但这需要单独验证。
  • 健康检查:协议HTTP,路径 /health,端口8000,检查间隔10秒,超时3秒。连续3次失败后摘除实例,连续2次成功后恢复。新实例的首次检查要延后到模型加载完成之后,可以用启动宽限期实现,宽限期设为600秒。
  • 超时:空闲超时不低于300秒,流式输出在首Token生成前可能有较长的静默期。请求总超时按网关允许的最大输出长度估算。
  • 连接排空:摘除实例或发布新版本时,等待在途请求完成。排空时间应不短于单个请求的最长生成时长,例如300秒。
  • 安全:安全组仅放行负载均衡网段访问8000端口,其余端口默认关闭。API密钥的校验放在网关层,或由引擎的 VLLM_API_KEY 校验。健康检查接口需要确认负载均衡能够无密钥访问。
  • 限流:网关按API密钥限制每分钟请求数和每分钟Token数,阈值根据第五节的压测结果设定。同时设置单次请求的 max_tokens 上限,防止单个请求长时间占用KV Cache。

配置完成后,通过负载均衡域名做一次端到端调用:

  1. curl -sS https://<负载均衡域名>/v1/chat/completions \
  2. -H "Authorization: Bearer $API_KEY" \
  3. -H "Content-Type: application/json" \
  4. -d '{"model": "llm", "messages": [{"role": "user", "content": "你好"}], "max_tokens": 64}'

返回正常的JSON结构,说明链路已经打通。

五、上线压测与验收

压测前先统一指标口径,否则不同人测出的数字无法比较。

  • TTFT(首Token延迟):客户端发出请求到收到第一个输出Token的时间。
  • TPOT(每输出Token耗时):(端到端耗时 − TTFT)÷(输出Token数 − 1)。它反映生成阶段的速度。
  • 吞吐量:分为输出Token吞吐(输出Token总数 ÷ 测试时长,单位tokens/s)和请求吞吐(完成请求数 ÷ 测试时长,单位req/s)。两者都在同一并发档位下比较。
  • 错误率:非2xx响应和超时请求占总请求数的比例。

报告中的分位数统一使用P50、P95和P99。平均值会掩盖长尾问题,不宜作为验收依据。

压测设计如下:

  • 并发梯度:1、4、8、16、32、48。每个档位单独运行,逐级加压。
  • 请求长度:按业务真实分布取值。下面的示例使用输入2048、输出256的组合,另外建议单独跑一组长提示词,例如输入6144、输出512,用于观察预填充的影响。
  • 采样窗口:每个档位先预热60秒,预热数据丢弃,然后采样至少5分钟的稳定期数据。
  • 数据来源:压测应使用真实或有代表性的提示词。前缀缓存的命中率取决于提示词的重复程度,随机数据会低估或高估实际表现。

下面的命令使用vLLM自带的压测工具。参数名以所用版本的 vllm bench serve --help 输出为准:

  1. vllm bench serve \
  2. --backend openai-chat \
  3. --endpoint /v1/chat/completions \
  4. --base-url https://<负载均衡域名> \
  5. --model llm \
  6. --dataset-name random \
  7. --random-input-len 2048 \
  8. --random-output-len 256 \
  9. --max-concurrency 16 \
  10. --num-prompts 300 \
  11. --percentile-metrics ttft,tpot,e2el \
  12. --metric-percentiles 50,95,99 \
  13. --save-result --result-dir ./bench-results

如果网关要求在请求头中携带密钥,需要按工具提供的方式添加请求头。密钥仍然从环境变量读取。

验收阈值由业务SLA决定,下面的数值只是示例,需要替换为自己的目标:

  • P95 TTFT不超过业务要求的首字时间,例如2秒。
  • P95 TPOT不超过业务要求的生成速度,例如50毫秒。
  • 错误率低于0.1%。
  • 在目标并发下,输出Token吞吐满足容量规划的需求。

验收规则:找出满足全部阈值的最高并发档位,将它作为网关限流的依据,并将 --max-num-seqs 设为该档位附近的值,留出一定余量。如果P95 TTFT先超标,优先检查长提示词的比例,并尝试调整 --max-num-batched-tokens。如果P95 TPOT先超标,说明并发过高,应降低 --max-num-seqs。

六、运维与故障排查

引擎通过 /metrics 接口暴露Prometheus指标,建议接入监控并设置告警。常用指标如下,指标名以所用版本的输出为准:

  • vllm:num_requests_running:正在处理的请求数。
  • vllm:num_requests_waiting:排队中的请求数。持续增长说明容量不足。
  • vllm:gpu_cache_usage_perc:KV Cache使用率。长期接近100%时,并发需要下调。
  • vllm:num_preemptions_total:请求被抢占的次数。该值增长较快时,说明KV Cache紧张。
  • vllm:time_to_first_token_seconds 和 vllm:time_per_output_token_seconds:TTFT和TPOT的分布,可用于与压测结果对照。

快速查看当前状态的命令:

  1. nvidia-smi --query-gpu=memory.used,memory.total,utilization.gpu --format=csv
  2. curl -s http://127.0.0.1:8000/metrics | grep -E "vllm:(num_requests_running|num_requests_waiting|gpu_cache_usage_perc)"

常见问题的排查思路如下。

显存溢出(OOM):

  • 启动阶段OOM:说明权重加上运行时开销超出了显存预算。检查精度设置是否与权重一致,检查 --gpu-memory-utilization 是否过高,并对照第一节重新估算。
  • 运行阶段出现大量抢占或排队:说明KV Cache不足。降低 --max-num-seqs,或将 --max-model-len 调小,然后重新压测。
  • 日志中出现CUDA错误且服务退出:检查 dmesg 中是否有GPU相关报错,并用 nvidia-smi -q 查看ECC错误计数,排除硬件故障。

TTFT升高:

  • 查看 vllm:num_requests_waiting。如果排队数持续增长,说明请求到达速度超过处理能力,需要限流或扩容。
  • 确认长提示词比例是否上升。长提示词会占用大量预填充算力,可以在网关按长度分流到单独的实例组。
  • 如果开启了前缀缓存,检查系统提示词是否保持不变。提示词每次都有变化时,缓存几乎不会命中。

TPOT升高:

  • 通常是并发过高,单步计算量变大。降低 --max-num-seqs,观察TPOT是否回落。
  • 如果同时开启了较大的 --max-num-batched-tokens,预填充会挤占解码的计算时间,可以适当调小。

吞吐下降:

  • 先看错误率。大量超时或5xx会让有效吞吐下降,需要先定位错误来源。
  • 检查负载均衡是否有实例被频繁摘除,健康检查失败会导致流量集中到剩余实例。
  • 检查客户端是否成为瓶颈,例如连接数上限或压测机的CPU占用。

健康检查失败:

  • 确认容器仍在运行,并查看日志末尾是否有加载错误。
  • 确认健康检查路径为 /health,端口为8000,并且来源网段在安全组中已放行。
  • 如果是刚启动的实例,确认启动宽限期覆盖了模型加载时间。

回滚与降级:

  • 版本回滚:每次发布都保留上一版本的镜像标签和启动参数。出现问题时,将负载均衡的后端切回上一版本的实例组,并等待在途请求排空。
  • 权重回滚:负载均衡可以将新实例的权重设为0,先摘流量再排查,避免影响在线服务。
  • 降级措施:按顺序尝试以下措施,每一步都要观察指标。第一步,网关降低单次请求的 max_tokens 上限。第二步,收紧限流阈值。第三步,将 --max-model-len 调小后重启实例。第四步,将部分流量切换到备用的小模型,并向业务方说明影响范围。

每次调整参数后都要记录变更内容、压测结果和线上指标,便于在下次故障时快速比对。