简介:面向负责大模型推理服务上线的工程师,给出资源估算方法、前置检查清单、vLLM 启动配置、健康检查与灰度切流步骤,以及回滚触发阈值和排查流程。读者可据此改写为自己团队的上线检查表,并用实测数据替换文中的示例数字。
本文方法适用于以下条件的部署:
训练与微调、超长多模态输入、跨地域多活部署不在本文范围内。文中的数字只是起点。上线前需要用自己的模型和真实流量实测后替换。如果改用 8 卡,显存、并发和压测阈值都要重新计算,不能直接沿用本文的结果。
部署前先确定业务场景。不同场景的资源隔离和网络策略差别较大。
| 场景 | 流量特征 | 资源隔离 | 网络与限流 |
|---|---|---|---|
| 内部工具集成 | 工作时段集中,请求突发性强 | 与离线任务分机部署 | 内网访问,按调用方配置配额 |
| 对外服务 | 全天波动,峰值不可预测 | 独立实例组,设置弹性扩容 | 公网经网关鉴权,按 API Key 限流 |
| 批量离线任务 | 长时间占用,对延迟不敏感 | 独立队列与专用节点 | 通过消息队列异步提交,不暴露公网 |
| 混合场景 | 在线与离线请求同时到达 | 按优先级划分实例或设置调度权重 | 在线请求优先,离线任务在低谷执行 |
每个场景上线前都要确认三件事。第一,配额和限流值是否已写入网关配置。第二,扩容触发条件是否已定义,例如排队请求数连续超过设定值。第三,离线任务的提交入口是否只开放给内网队列。
一次请求的完整路径如下:
客户端 → 负载均衡(TLS 终止)→ API 网关(鉴权、限流、审计)→ 推理实例(vLLM,默认端口 8000)→ 返回响应
辅助组件的职责如下:
健康检查分为三类探针:
告警阈值的起点如下,上线后要用自己的基线替换:
本文统一按 4 张 80 GB 显卡、张量并行数 TP=4 计算。
显存需求按以下口径估算,结果需要实测校验:
关于 gpu-memory-utilization,需要明确一点。vLLM 中该参数是每张卡上 vLLM 可使用显存的上限比例。权重、激活值、CUDA graph 以及 KV Cache 都计入这 0.88 的预算之内。因此 0.88 不是”额外预留 12%”,计算时不要再把这 12% 当作独立的开销扣减。真正需要扣减的是激活值的峰值占用,它只能通过压测或启动日志得到。
下面用一个 70B 参数、BF16、80 层、8 个 KV 头、单头维度 128 的模型做示例。
max-model-len 与 max-num-seqs 相乘得到的理论最大值远超显存容量,不能作为目标值。vLLM 使用分页方式管理 KV Cache,实际并发取决于真实请求的平均长度。因此估算时要使用线上流量的长度分布,并确认显存池至少能容纳一个满长度请求。
换算时可以使用下表:
| 参数 | 含义 | 来源 |
|---|---|---|
| 参数量 B | 模型总参数,单位十亿 | 模型卡或 config.json |
| 每参数字节数 | BF16 为 2,FP8 为 1 | 量化方式 |
| 层数 | num_hidden_layers | config.json |
| KV 头数 | num_key_value_heads | config.json |
| 单头维度 | head_dim | config.json |
| 每 token 字节数 | 2 × 层数 × KV 头数 × 单头维度 × 每元素字节数 | 公式计算 |
| 可缓存 token 数 | KV 预算 ÷ 每 token 字节数 | 启动日志与压测校验 |
压测校验的方法是:启动实例后,查看 vLLM 启动日志中关于 KV Cache 容量的输出,与公式结果比较。若两者差距超过 10%,以日志为准,并检查激活值与 CUDA graph 的占用。
上线前逐项检查。未通过的项不得进入下一阶段。每项都需要记录结果、负责人和处理方式。
[ ] 资源规格
nvidia-smi --query-gpu=name,memory.total,driver_version --format=csv[ ] 镜像版本
docker image inspect --format '{{.RepoDigests}}' <镜像名>,并在容器内执行 python -c "import torch, vllm; print(torch.__version__, torch.version.cuda, vllm.__version__)"。[ ] 模型文件
[ ] 密钥与配置
[ ] 健康检查与告警
[ ] 回滚准备
[ ] 压测结果
启动命令的示例如下。模型路径和模型名称需要替换为自己的值。API Key 通过环境变量注入,不写入命令行或脚本。
export VLLM_API_KEY="$(secret-cli get inference/api-key)"vllm serve /models/your-model-bf16 \--served-model-name your-model-v1 \--tensor-parallel-size 4 \--dtype bfloat16 \--max-model-len 32768 \--max-num-seqs 64 \--gpu-memory-utilization 0.88 \--host 0.0.0.0 \--port 8000
参数说明如下:
--served-model-name 应包含版本号,便于在网关和日志中区分新旧实例。--max-model-len 与第二节的上下文上限一致。--max-num-seqs 与单实例峰值并发上限一致。--gpu-memory-utilization 保持 0.88,结合第四节的校验结果调整。实例启动后,先用 curl 在本机检查健康状态:
curl -s -o /dev/null -w "%{http_code}\n" http://127.0.0.1:8000/health
返回 200 后,再检查 /metrics 是否有数据输出。确认后,将实例加入灰度实例组。该实例组不直接对外提供服务,只接收网关按比例分配的流量。
灰度按以下比例逐步推进。每一步都需要满足通过条件后才能进入下一步。
| 阶段 | 新版本流量比例 | 观察窗口 | 进入下一步的条件 |
|---|---|---|---|
| 1 | 5% | 30 分钟 | 5xx 比例低于 0.5%,P99 未超过基线的 1.2 倍 |
| 2 | 20% | 1 小时 | 同上,并且业务侧无新增投诉 |
| 3 | 50% | 2 小时 | 同上,并且缓存命中率与旧版本没有明显差异 |
| 4 | 100% | 持续观察 24 小时 | 满足第三节的告警阈值 |
观察窗口的时长可以按业务量调整。流量较小时,应延长窗口,以保证样本数量足够。
切流通过网关的权重配置完成。每次调整比例都要记录时间、操作人和调整前后的比例。
满足以下任一条件,立即进入回滚:
回滚过程中不使用强制删除或覆盖式操作。镜像、模型文件与配置均保留历史版本。
缓存 key 中包含模型版本号。回滚后,旧版本的缓存仍然有效,新版本写入的缓存不会被旧版本读取。如果新版本的缓存中存在错误输出,需要按版本号清理,不要清空整个缓存。清理前先确认清理范围,并记录操作。
回滚完成后,执行以下验证: