大模型推理服务上线检查清单与回滚流程

作者:php是最好的2026.11.18 11:44浏览量:0

简介:面向负责大模型推理服务上线的工程师,给出资源估算方法、前置检查清单、vLLM 启动配置、健康检查与灰度切流步骤,以及回滚触发阈值和排查流程。读者可据此改写为自己团队的上线检查表,并用实测数据替换文中的示例数字。

一、适用范围与前提假设

本文方法适用于以下条件的部署:

  • 模型为参数量 30B 以上的自回归大语言模型,权重为 safetensors 格式。本文的完整示例使用 70B 模型。
  • 推理框架以 vLLM 为例,接口兼容 OpenAI 的 chat completions 协议。
  • 单个模型实例部署在一台多卡服务器上,权重精度为 BF16 或 FP8。
  • 上下文长度不超过 32K,单实例峰值并发不超过 64。

训练与微调、超长多模态输入、跨地域多活部署不在本文范围内。文中的数字只是起点。上线前需要用自己的模型和真实流量实测后替换。如果改用 8 卡,显存、并发和压测阈值都要重新计算,不能直接沿用本文的结果。

二、场景选择与流量模型

部署前先确定业务场景。不同场景的资源隔离和网络策略差别较大。

场景 流量特征 资源隔离 网络与限流
内部工具集成 工作时段集中,请求突发性强 与离线任务分机部署 内网访问,按调用方配置配额
对外服务 全天波动,峰值不可预测 独立实例组,设置弹性扩容 公网经网关鉴权,按 API Key 限流
批量离线任务 长时间占用,对延迟不敏感 独立队列与专用节点 通过消息队列异步提交,不暴露公网
混合场景 在线与离线请求同时到达 按优先级划分实例或设置调度权重 在线请求优先,离线任务在低谷执行

每个场景上线前都要确认三件事。第一,配额和限流值是否已写入网关配置。第二,扩容触发条件是否已定义,例如排队请求数连续超过设定值。第三,离线任务的提交入口是否只开放给内网队列。

三、组件、请求链路与健康检查

一次请求的完整路径如下:

客户端 → 负载均衡(TLS 终止)→ API 网关(鉴权、限流、审计)→ 推理实例(vLLM,默认端口 8000)→ 返回响应

辅助组件的职责如下:

  • 缓存:保存高频提示词的推理结果,降低重复计算。缓存只存不含个人信息的公共内容。若会话上下文含隐私数据,应按用户隔离并设置 TTL,且 TTL 不超过业务要求的保留期。缓存 key 中必须带上模型版本号,避免回滚后新旧模型的输出互相混用。
  • 日志:采集请求日志与错误日志,统一写入日志平台。保留时长按合规要求设置。日志中的提示词内容需要脱敏,API Key 不得出现在任何日志中。
  • 监控:Prometheus 定时抓取推理实例的 /metrics 接口,告警规则在监控平台配置。
  • 密钥服务:保存 API Key 与数据库凭据,启动时注入环境变量。

健康检查分为三类探针:

  • 存活探针(liveness):请求 GET /health,超时 3 秒,连续 3 次失败则重启实例。
  • 就绪探针(readiness):同样请求 /health,只有返回 200 才把实例加入负载均衡。模型加载通常需要数分钟,就绪探针的初始延迟应按实测加载时间设置,不要用固定的短时间。
  • 发布探针:上线后在灰度阶段执行一次固定的测试请求,检查返回是否非空、是否在超时时间内完成。

告警阈值的起点如下,上线后要用自己的基线替换:

  • 5xx 比例超过 1%,持续 5 分钟,发出告警。
  • 首 token 延迟的 P99 超过基线的 1.5 倍,持续 10 分钟,发出告警。
  • 任一实例的 /health 连续失败超过 1 分钟,发出告警。
  • 请求排队时长的 P95 超过 2 秒,持续 5 分钟,发出告警。

四、资源估算

本文统一按 4 张 80 GB 显卡、张量并行数 TP=4 计算。

显存需求按以下口径估算,结果需要实测校验:

  • 权重显存(GB)≈ 参数量(B)× 每参数字节数。BF16 为 2,FP8 为 1,INT4 约为 0.5。
  • 每个 token 的 KV Cache 字节数 ≈ 2 × 层数 × KV 头数 × 单头维度 × 每元素字节数。这三个结构参数从模型的 config.json 中读取,分别对应 num_hidden_layers、num_key_value_heads、head_dim。
  • KV Cache 总容量 ≈ 每 token 字节数 × 可缓存的 token 总数。

关于 gpu-memory-utilization,需要明确一点。vLLM 中该参数是每张卡上 vLLM 可使用显存的上限比例。权重、激活值、CUDA graph 以及 KV Cache 都计入这 0.88 的预算之内。因此 0.88 不是”额外预留 12%”,计算时不要再把这 12% 当作独立的开销扣减。真正需要扣减的是激活值的峰值占用,它只能通过压测或启动日志得到。

下面用一个 70B 参数、BF16、80 层、8 个 KV 头、单头维度 128 的模型做示例。

  1. 权重约 140 GB。4 张卡的显存总量为 320 GB,乘以 0.88 得到 281.6 GB 的可用预算。
  2. 扣除权重后,剩余约 141 GB 可用于 KV Cache 与激活值。激活值峰值需要从实测中减去,实际可用于 KV Cache 的部分会更少。
  3. 每 token 的 KV Cache 为 2 × 80 × 8 × 128 × 2 = 327,680 字节,约 0.31 MiB。按 141 GB 估算,理论上约可缓存 43 万个 token。
  4. 若每个请求都占满 32K 上下文,同时只能容纳约 13 个请求(43 万 ÷ 3.2 万)。若平均每个请求约 4K token,理论上可同时容纳约 100 个请求。

max-model-len 与 max-num-seqs 相乘得到的理论最大值远超显存容量,不能作为目标值。vLLM 使用分页方式管理 KV Cache,实际并发取决于真实请求的平均长度。因此估算时要使用线上流量的长度分布,并确认显存池至少能容纳一个满长度请求。

换算时可以使用下表:

参数 含义 来源
参数量 B 模型总参数,单位十亿 模型卡或 config.json
每参数字节数 BF16 为 2,FP8 为 1 量化方式
层数 num_hidden_layers config.json
KV 头数 num_key_value_heads config.json
单头维度 head_dim config.json
每 token 字节数 2 × 层数 × KV 头数 × 单头维度 × 每元素字节数 公式计算
可缓存 token 数 KV 预算 ÷ 每 token 字节数 启动日志与压测校验

压测校验的方法是:启动实例后,查看 vLLM 启动日志中关于 KV Cache 容量的输出,与公式结果比较。若两者差距超过 10%,以日志为准,并检查激活值与 CUDA graph 的占用。

五、前置检查清单

上线前逐项检查。未通过的项不得进入下一阶段。每项都需要记录结果、负责人和处理方式。

  • [ ] 资源规格

    • 通过标准:GPU 型号、显存和数量符合第四节的估算结果。
    • 检查命令:nvidia-smi --query-gpu=name,memory.total,driver_version --format=csv
    • 失败处理:规格不符时停止上线,重新估算或更换机器。
    • 负责人:平台运维。
  • [ ] 镜像版本

    • 通过标准:推理框架、PyTorch、CUDA 版本与测试环境完全一致,并与驱动的兼容矩阵匹配。镜像使用固定的 digest(例如 sha256 摘要)引用,不使用 latest 标签。
    • 检查命令:docker image inspect --format '{{.RepoDigests}}' <镜像名>,并在容器内执行 python -c "import torch, vllm; print(torch.__version__, torch.version.cuda, vllm.__version__)"。
    • 失败处理:版本不一致时以测试环境为准重新构建镜像,禁止在生产环境直接升级依赖。
    • 负责人:推理平台组。
  • [ ] 模型文件

    • 通过标准:权重文件的 sha256 与发布记录一致,config.json 中的层数、KV 头数、head_dim 与估算表一致。
    • 失败处理:校验失败则停止加载,重新下载并校验。
    • 负责人:模型团队。
  • [ ] 密钥与配置

    • 通过标准:API Key 与数据库凭据来自密钥服务,启动时以环境变量注入。配置文件与代码中不含明文密钥。
    • 检查方法:在代码仓库中搜索常见的密钥格式,结果应为空。
    • 失败处理:发现明文密钥时立即作废该密钥,重新签发,并记录事件。
    • 负责人:安全与开发负责人。
  • [ ] 健康检查与告警

    • 通过标准:/health 与 /metrics 可访问,第三节中的告警规则已在监控平台生效,并能触发一次测试告警。
    • 失败处理:告警未生效时,不进入灰度阶段。
    • 负责人:监控负责人。
  • [ ] 回滚准备

    • 通过标准:上一个稳定版本的镜像、模型文件与配置均已保留,并能在 10 分钟内拉起。
    • 失败处理:无法拉起旧版本时,不进入灰度阶段。
    • 负责人:发布负责人。
  • [ ] 压测结果

    • 通过标准:使用线上长度分布的流量压测,错误率低于 0.1%,P99 延迟满足业务要求,显存峰值低于 0.88 的预算。
    • 失败处理:未达标时下调 max-num-seqs,或扩容实例,然后重新压测。
    • 负责人:性能负责人。

六、分步部署与灰度切流

1. 启动配置

启动命令的示例如下。模型路径和模型名称需要替换为自己的值。API Key 通过环境变量注入,不写入命令行或脚本。

  1. export VLLM_API_KEY="$(secret-cli get inference/api-key)"
  2. vllm serve /models/your-model-bf16 \
  3. --served-model-name your-model-v1 \
  4. --tensor-parallel-size 4 \
  5. --dtype bfloat16 \
  6. --max-model-len 32768 \
  7. --max-num-seqs 64 \
  8. --gpu-memory-utilization 0.88 \
  9. --host 0.0.0.0 \
  10. --port 8000

参数说明如下:

  • --served-model-name 应包含版本号,便于在网关和日志中区分新旧实例。
  • --max-model-len 与第二节的上下文上限一致。
  • --max-num-seqs 与单实例峰值并发上限一致。
  • --gpu-memory-utilization 保持 0.88,结合第四节的校验结果调整。

2. 启动与探针

实例启动后,先用 curl 在本机检查健康状态:

  1. curl -s -o /dev/null -w "%{http_code}\n" http://127.0.0.1:8000/health

返回 200 后,再检查 /metrics 是否有数据输出。确认后,将实例加入灰度实例组。该实例组不直接对外提供服务,只接收网关按比例分配的流量。

3. 灰度比例与观察窗口

灰度按以下比例逐步推进。每一步都需要满足通过条件后才能进入下一步。

阶段 新版本流量比例 观察窗口 进入下一步的条件
1 5% 30 分钟 5xx 比例低于 0.5%,P99 未超过基线的 1.2 倍
2 20% 1 小时 同上,并且业务侧无新增投诉
3 50% 2 小时 同上,并且缓存命中率与旧版本没有明显差异
4 100% 持续观察 24 小时 满足第三节的告警阈值

观察窗口的时长可以按业务量调整。流量较小时,应延长窗口,以保证样本数量足够。

切流通过网关的权重配置完成。每次调整比例都要记录时间、操作人和调整前后的比例。

七、回滚流程与阈值

1. 回滚触发条件

满足以下任一条件,立即进入回滚:

  • 5xx 比例超过 1%,并持续 3 分钟。
  • 首 token 延迟的 P99 超过基线的 2 倍,并持续 10 分钟。
  • 超过一半的新版本实例 /health 连续失败。
  • 业务侧的质量抽检结果低于上线前的基线,且连续两次复核仍然偏低。

2. 回滚步骤

  1. 在网关中把新版本的流量权重调整为 0。旧版本实例组保持运行,不在此时关闭。
  2. 确认旧版本的 /health 返回 200,并且 5xx 比例回到基线水平。
  3. 保留新版本实例的日志与监控截图,用于复盘。先不要删除新版本的实例,直到复盘完成。
  4. 如需恢复旧版本的配置,使用版本管理的配置文件,不手动修改线上文件。

回滚过程中不使用强制删除或覆盖式操作。镜像、模型文件与配置均保留历史版本。

3. 模型版本与缓存处理

缓存 key 中包含模型版本号。回滚后,旧版本的缓存仍然有效,新版本写入的缓存不会被旧版本读取。如果新版本的缓存中存在错误输出,需要按版本号清理,不要清空整个缓存。清理前先确认清理范围,并记录操作。

4. 验证与复盘

回滚完成后,执行以下验证:

  • 用发布探针的测试请求检查旧版本的返回结果。