简介:本文面向需要私有化部署千亿级参数MoE模型的工程团队。文章给出显存与KV Cache的估算方法,说明4卡与8卡的取舍条件,并提供镜像构建、服务启动、接口与长上下文验证、并发压测的可执行步骤,同时附上常见故障的排查命令。读者可据此确定卡数,并制定上线验收标准。
本文讨论的模型总参数约125B,单Token激活约6B,原生上下文长度为262K。文中所有数字均以这些参数为前提。正式部署前,请以你所用模型发布页面上的配置文件和推荐运行环境为准,尤其是层数、KV头数、head_dim、支持的量化格式和推荐的框架版本。
本文适合以下读者:负责模型上线的AI应用开发者、云原生运维工程师、系统架构师。读者需要具备Linux、Docker和GPU基础操作经验。
MoE模型的“单Token激活少”只减少了每步的计算量,不减少显存占用。全部专家权重必须常驻显存,因此显存容量通常是第一个瓶颈,其次是显存带宽和多卡通信。
权重占用等于参数量乘以每个参数的字节数。125B参数按不同精度计算如下。
| 权重精度 | 权重理论占用 | 4×80GB(共320GB) | 8×80GB(共640GB) |
|---|---|---|---|
| BF16 | 约250GB | 不推荐。扣除90%利用率上限后,仅余约38GB给KV Cache和激活值,262K上下文无法稳定运行 | 可用。约326GB可用于KV Cache和激活值 |
| INT8 | 约125GB | 可用。约163GB可用于KV Cache,可支撑少量满长度请求 | 余量充足,适合高并发 |
| INT4 | 理论约62.5GB,实际按约70GB规划 | 可用。约218GB可用于KV Cache,适合并发与长上下文 | 余量充足,但多卡通信开销增加 |
表中“90%利用率上限”对应推理框架参数--gpu-memory-utilization 0.90。量化会影响输出质量,选定精度后,必须在自己的业务样本上做效果评测。
KV Cache随上下文长度和并发数线性增长,计算公式如下:
每Token占用字节数 = 2 × 层数 × KV头数 × head_dim × 每元素字节数
下面是一个示例,参数为假设值,并非该模型的真实配置:层数48,KV头数8,head_dim为128,BF16(每元素2字节)。
如果同时处理多条满长度请求,显存需求会成倍增加。在KV头数能被张量并行度整除时,每张卡只保存自己负责的那部分KV Cache,因此单卡占用约为总量除以张量并行度。
结论是:4卡配INT8或INT4适合先以65K到128K上下文验证;需要稳定跑满262K时,应使用8卡BF16,或在4卡上使用INT4并压测确认。
nvidia-smi topo -m,若两卡之间显示为NV#,说明走的是NVLink;若显示为PHB或SYS,通信要经过PCIe,延迟和带宽都会变差。nvidia/cuda:12.1.1-cudnn8-runtime-ubuntu22.04,CUDA版本应与推理框架要求一致。pip freeze > requirements.lock,把生成的文件纳入版本管理,部署时只按该文件安装。--api-key设置,值从环境变量读取。aria2c或huggingface-cli。