简介:本文面向开发者、运维人员和架构师,按资源规划、环境准备、分步启动、上线验证和排错运维的顺序,提供可复现的多模态推理服务部署流程。文中包含显存估算公式、检查表、命令示例、灰度与回滚条件以及监控告警指标,读者可据此降低上线风险,缩短故障恢复时间。
本文说明如何把支持图文输入的多模态模型推理服务部署到云上,并通过网关对外提供稳定接口。按本文完成部署后,团队应得到以下交付物:一个经过鉴权即可调用的接口地址,一份压测记录,一套可执行的回滚步骤,以及一组覆盖延迟、错误率和显存的告警规则。
本文不涉及模型训练,也不比较不同模型的效果。开始前需要确认以下条件:云账号已有足够的加速卡实例配额;团队已取得模型权重的使用许可;实例能够访问私有镜像仓库和密钥服务。
权重显存的计算公式为:权重显存 ≈ 参数量 × 每参数字节数。BF16 精度下每个参数占 2 字节。以参数量约 3970 亿的模型为例,权重需要约 794 GB 显存,换算为 GiB 约为 739 GiB。本文按 1 GB = 10^9 字节计算,采购和监控页面若按 GiB 显示,需要统一口径后再比较。
下表列出各项显存开销的估算方法。
| 规划项 | 估算方法 | 说明 |
|---|---|---|
| 权重显存 | 参数量 × 每参数字节数 | 与并发无关,启动后常驻 |
| 推理缓存(KV Cache) | 2 × 层数 × KV 头数 × 头维度 × 上下文长度 × 并发数 × 每元素字节数 | 随并发和上下文长度线性增长,是最容易被低估的部分 |
| 激活值 | 按实测峰值确定 | 与批大小和序列长度相关,初始规划可按权重显存的 10% 至 20% 预留,再通过压测校正 |
| 框架与通信开销 | 按实测确定 | 包括运行时、CUDA 上下文和通信缓冲,通常为每卡数 GB 量级 |
单卡可用显存的计算方式为:卡标称显存 × 显存利用率上限。若利用率上限设为 0.9,一张 80 GB 的卡实际可用约 72 GB。权重 794 GB 至少需要 11 张这样的卡,但缓存和激活值还要占用空间,因此实际规划通常取更大的并行度,例如 16 张卡。
张量并行度需要能整除模型的注意力头数,常用取值为 2 的幂。卡数增加后,卡间通信开销也会上升,因此应以压测结果决定最终规格,不要只按显存下限选型。
稀疏混合专家模型每次前向计算只激活部分参数,所以激活参数量决定计算吞吐。所有专家的权重仍需常驻显存或能被快速访问,因此显存规划必须按总参数量计算。激活参数量较小可以提高单次计算效率,但不能据此减少卡数。
下表列出上线前需要逐项检查的内容。每一项都应有明确的检查命令和记录。
| 检查项 | 要求 | 检查方法 |
|---|---|---|
| 驱动与 CUDA | 驱动版本满足推理运行时的最低要求 | nvidia-smi 查看驱动版本和 CUDA 版本 |
| 推理运行时版本 | 与模型格式、量化方式匹配 | <runtime> --version,以所用运行时文档为准 |
| 容器镜像 | 基础镜像使用固定版本,部署时使用镜像摘要(digest)引用 | docker image inspect <镜像> |
| 权重文件 | 与发布清单中的 SHA-256 一致 | sha256sum -c model.sha256 |
| 存储挂载 | 权重盘读取吞吐满足冷启动要求,以只读方式挂载到容器 | df -h、lsblk、mount |
| 网络 | 实例位于私有子网,安全组仅放行网关和健康检查的来源地址 | 检查安全组规则和路由表 |
| 实例权限 | 实例角色只拥有读取指定权重存储和指定密钥的权限 | 审查角色策略,确认没有通配符授权 |
| 密钥注入 | 启动时由密钥服务注入,不写入镜像层或代码仓库 | docker history <镜像> 中不应出现密钥内容 |
冷启动时间可以按权重大小和存储读取速度粗略估算。若权重为 794 GB,存储持续读取速度为 2 GB/s,加载时间约为 400 秒,即接近 7 分钟。这个时间还没有计入运行时初始化和预热,因此就绪探针的超时时间应设置得比估算值更长。
docker build -t registry.example.com/mm-infer:1.4.2 .docker push registry.example.com/mm-infer:1.4.2docker image inspect --format '{{index .RepoDigests 0}}' registry.example.com/mm-infer:1.4.2
记录输出的摘要值。后续启动时使用摘要引用镜像,避免标签被覆盖后版本不一致。
# 变量值需要先经过校验,不能直接拼接外部输入MODEL_DIR="/data/models/mm-v1"mkdir -p "$MODEL_DIR"<下载工具> sync "s3://${MODEL_BUCKET}/mm-v1/" "$MODEL_DIR"cd "$MODEL_DIR" && sha256sum -c model.sha256
校验失败时立即停止部署,不要使用未通过校验的权重文件。
docker run -d --name mm-infer \--gpus all \--shm-size=16g \-v /data/models/mm-v1:/models:ro \-p 8000:8000 \--env-file /run/secrets/infer.env \registry.example.com/mm-infer@sha256:<摘要> \--model /models \--tensor-parallel-size 16 \--max-model-len 8192 \--max-num-seqs 64 \--gpu-memory-utilization 0.9
参数名以所用运行时的文档为准。--tensor-parallel-size 必须与实际卡数和注意力头数匹配。--max-num-seqs 和 --max-model-len 直接决定缓存占用,应与 2.1 节的估算结果一致。
健康检查分为两个路径:
/healthz:进程存活即返回成功,用于判断是否需要重启容器。/readyz:模型已加载且预热完成后才返回成功,用于判断是否接收流量。
curl -s -o /dev/null -w '%{http_code}\n' http://127.0.0.1:8000/healthzcurl -s -o /dev/null -w '%{http_code}\n' http://127.0.0.1:8000/readyz
健康检查路径应与业务接口分开,避免推理请求堆积时健康检查也一起超时,从而导致实例被误摘除。
预热请求应包含一张真实尺寸的图片和一段文本,覆盖正常的推理路径。预热完成后,再把实例加入负载均衡。
网关建议配置如下。下表中的数值为起始参考值,需要根据业务的响应长度和图片大小调整。
| 配置项 | 起始参考值 | 说明 |
|---|---|---|
| 请求体大小上限 | 20 MB | 覆盖常见截图和照片,超出部分返回 413 |
| 连接超时 | 3 秒 | 实例不可达时快速失败 |
| 总超时 | 120 秒 | 需大于 P99 生成时长,并与客户端超时保持一致 |
| 鉴权 | 在网关校验 API Key | 模型容器不处理鉴权,减少泄露面 |
| 限流 | 按租户设置每秒请求数 | 防止单一调用方占满并发 |
| 类别 | 用例 | 通过标准 |
|---|---|---|
| 功能 | 文本加图片的标准请求 | 返回 200,响应结构通过 schema 校验,样例通过率 100% |
| 鉴权 | 无 Token、过期 Token、非白名单来源 | 分别返回 401、401、403 |
| 性能 | 按目标并发持续压测 10 分钟 | P95 首包延迟不超过业务目标值,错误率低于 0.5% |
| 异常输入 | 超大图片、损坏图片 | 分别返回 413 和 400,响应中不包含堆栈信息 |
| 稳定性 | 连续运行 24 小时 | 显存占用无持续增长,无非预期重启 |