简介:面向开发者、运维和架构师,讲解总参数大、单次只激活部分专家的MoE模型部署流程,涵盖显存估算、环境依赖、启动参数、压测门限、故障排查与回滚。读完可获得一份可直接套用的部署检查清单。文中数值均为测算方法和示例,需在目标硬件上实测校准。
本文讲解如何把稀疏混合专家(MoE)大语言模型部署为对外提供推理能力的在线服务。这类模型的总参数规模很大,但每个token只激活其中少数专家,因此计算量小于同等总参数的稠密模型,而显存占用接近全部参数。部署时要按总参数量规划显存,而不是按激活参数量规划。
部署完成后,服务应满足以下条件:
本文不覆盖以下内容:模型训练和微调、模型结构设计、特定厂商硬件的专属优化。
适用读者与分工如下:
| 角色 | 主要职责 | 交付物 | 检查项 |
|---|---|---|---|
| 开发者 | 服务接入、接口联调 | 接口文档、调用示例 | 超时与重试策略已设置 |
| 运维人员 | 资源申请、环境初始化、上线、监控 | 部署记录、告警规则 | 健康检查、回滚脚本已演练 |
| 架构师与技术负责人 | 容量规划、成本评估、选型 | 容量测算表 | 测算结果已与压测对齐 |
单卡显存占用可以按下面的口径估算:
每卡显存 ≈ (权重显存 + KV Cache显存 + 激活与框架开销)÷ 并行卡数 + 通信缓冲
各项含义如下:
示例(数值为假设,仅用于演示计算步骤):总参数1200亿,BF16,权重约240GB。若使用8张80GB显卡做张量并行,每卡分到约30GB权重。剩余显存可用于KV Cache和开销,此时需要用上面的公式反推最大并发数。
容量测算和压测必须使用同一套口径:
在部署记录中填写下表,并以所用推理框架的官方兼容矩阵为准。
| 组件 | 需要确认的内容 |
|---|---|
| GPU驱动 | 与CUDA版本匹配 |
| CUDA | 与推理框架版本匹配 |
| 容器运行时 | 能访问GPU设备 |
| 推理框架 | 支持该模型结构和量化格式 |
| Python | 与框架依赖兼容 |
版本组合不在本文中固定。框架版本升级后,需要重新跑一次启动和压测。
sha256sum <MODEL_DIR>/*.safetensors
参数名因推理框架而异,下表说明各参数的含义和调整依据。
| 参数含义 | 起始值 | 调整依据 |
|---|---|---|
| 张量并行卡数 | 等于可用显卡数 | 单卡显存放不下时增加 |
| 最大上下文长度 | 业务要求的最长输入加输出 | 超出业务需要会浪费KV Cache |
| 显存利用率上限 | 0.85 | 启动报OOM时下调 |
| 最大并发序列数 | 按显存公式算出的值 | 由压测结果确定 |
| 数据类型 | BF16或已验证的量化格式 | 精度和显存要一起评估 |
模型加载需要较长时间,存活检查的超时时间应设置得足够长,避免加载期间被误杀。
下表门限为示例,需按业务SLO设定。
| 指标 | 口径 | 示例门限 |
|---|---|---|
| TTFT P95 | 按第二节口径 | 不超过业务SLO |
| TPOT P95 | 按第二节口径 | 不超过业务SLO |
| 吞吐 | 输出token每秒 | 达到容量测算值的80%以上 |
| 错误率 | 第二节口径 | 低于0.5% |
| OOM次数 | 压测期间 | 0次 |
放量建议分阶段进行:5%、20%、50%、100%。每个阶段观察不少于30分钟,任一指标超过门限即停止放量并回退。
| 现象 | 常见原因 | 排查方法 | 处理方式 |
|---|---|---|---|
| 启动时OOM | 权重加KV预留超出显存 | 核对加载阶段日志和显存公式 | 降低上下文长度,减少并发,增加并行卡数,或改用量化 |
| 请求超时 | 并发超过容量,队列堆积 | 查看排队长度和TTFT分布 | 限流,增加副本 |
| 吞吐下降 | 显卡降频,节点通信慢,负载不均 | 用nvidia-smi查看利用率和温度,实测网络 | 检查拓扑,替换异常节点 |
| 错误率升高 | 单个节点故障 | 按节点拆分错误率 | 从负载均衡中摘除该节点 |
| 显存持续增长 | 长短请求混杂,缓存未释放 | 观察显存曲线随时间变化 | 限制最长长度,调整缓存策略 |
确定触发,直接回滚:
需人工判断后回滚: