简介:面向算法工程师、SRE和技术负责人,梳理397B级MoE模型的显存与KV Cache估算方法、多节点启动配置、Kubernetes编排要点,以及灰度发布、回滚和成本核算步骤,帮助读者先算清资源再上线。
本文讨论 your-moe-model 的推理部署。该模型总参数约3970亿,单次前向激活约170亿参数。本文只覆盖推理服务,不涉及训练和微调。
实际操作前,请在官方渠道核实模型名称、许可条款和版本,并以模型目录中的 config.json 为准,读取层数(num_hidden_layers)、注意力头数(num_attention_heads)、KV头数(num_key_value_heads)、隐藏维度(hidden_size)等参数。本文的算例只用于说明计算方法,数值不代表该模型的真实架构。
本文的部署目标是:
读者需要了解KV Cache、显存占用等基本概念,熟悉Linux命令行、容器和至少一种云平台的资源管理方式。
显存主要由三部分组成:模型权重、KV Cache,以及激活值与框架开销。资源规划的顺序是先算权重,再算KV Cache,最后留出余量。
权重大小等于参数量乘以每参数字节数。以397B参数计算:
| 精度 | 每参数字节数 | 权重总量 | 8卡节点每卡(TP=8) | 16卡每卡(均匀切分) |
|---|---|---|---|---|
| BF16/FP16 | 2 | 约794 GB | 约99 GB | 约50 GB |
| INT8 | 1 | 约397 GB | 约50 GB | 约25 GB |
| INT4 | 0.5 | 约199 GB | 约25 GB | 约12 GB |
表中每卡数值按权重在卡间均匀切分计算,未包含词嵌入、输出层、专家分配不均等因素,实际值会略高。INT8与INT4列只统计权重本身。量化尺度(scale)、零点(zero-point)以及分组量化的额外存储也会占用显存,需要以实测为准。
以80GB显存的卡为例,显存利用率设为0.90时,单卡可用显存为 80 × 0.90 = 72GB。实际可用还要扣除CUDA上下文与框架的固定开销,这部分通常为数GB,应以启动日志或实测为准。
据此得到两个结论:
关于卡数,理论下限可以按总权重除以单卡可用显存估算:794 ÷ 72 ≈ 11.03,即至少12张卡。但并行拓扑通常要求张量并行度为2的幂次,且需要为KV Cache留出空间,因此常见配置是16张卡(2个8卡节点)。这个数字是常见取值,不是硬性门槛。最终要结合TP、PP、EP的组合和实测显存确定。
KV Cache保存每个已生成token在每层的键和值向量,占用量随序列长度与并发数线性增长。单个token占用的字节数如下:
每token KV字节数 = 2 × 层数 × KV头数 × head_dim × 每元素字节数
其中系数2表示K和V各存一份。head_dim为每个注意力头的维度,通常等于 hidden_size ÷ num_attention_heads,以 config.json 中的显式配置为准。
这个公式适用于标准的多头或分组查询注意力(MHA/GQA)结构。若模型采用MLA等压缩KV的结构,应改用推理框架文档给出的公式。
假设参数算例(非该模型真实数值):层数60,KV头数8,head_dim为128,KV Cache使用BF16(每元素2字节)。
KV Cache的计算要点是并发与上下文长度必须一起考虑。把 --max-model-len 从8192提高到32768,同样显存下可同时容纳的请求数会降到约四分之一。
预填充阶段的激活峰值与单批次最大token数、隐藏维度和计算精度有关。框架还会分配通信缓冲区和MoE路由的临时张量。这部分没有通用公式。建议在目标配置下做一次压力测试,记录 nvidia-smi 中的显存峰值,再回填到容量规划中。
每次修改精度、卡数或上下文长度后,按下面的步骤检查:
本文以 vLLM 为例说明参数。其他框架(如 SGLang、TensorRT-LLM)的参数名不同,需以对应版本文档为准。部署前,请确认框架版本支持目标模型的MoE结构,并且支持你使用的量化格式。
跨节点时,常见做法是节点内 TP=8,节点间 PP=2。网络带宽不足的环境中,跨节点的张量并行会带来明显延迟,应避免。
export CUDA_VISIBLE_DEVICES=0,1,2,3,4,5,6,7vllm serve your-moe-model \--tensor-parallel-size 8 \--gpu-memory-utilization 0.90 \--max-model-len 8192 \--max-num-seqs 64 \--port 8000
参数说明:
--gpu-memory-utilization:控制框架可使用的显存比例。设置过高,峰值时容易出现OOM;设置过低,KV Cache的容量会下降。--max-model-len:单请求的最大上下文长度。该值直接决定KV Cache的占用。--max-num-seqs:同时处理的最大请求数,需要和KV Cache容量一起调整。多节点需要先建立Ray集群。以下IP与端口为占位值,需替换为实际环境中的地址。
在头节点(10.0.0.1)执行:
ray start --head --port=6379
在工作节点执行:
ray start --address='10.0.0.1:6379'
确认两个节点的GPU都已加入集群后,在头节点执行:
vllm serve your-moe-model \--tensor-parallel-size 8 \--pipeline-parallel-size 2 \--distributed-executor-backend ray \--gpu-memory-utilization 0.90 \--max-model-len 8192 \--port 8000
启动后先检查集群资源。ray status 应显示16张GPU。若只显示8张,通常是工作节点未连上头节点,需检查防火墙和端口。
--max-model-len 或 --max-num-seqs,再考虑降低利用率或增加卡数。NCCL_SOCKET_IFNAME)和防火墙规则。Kubernetes中的推理服务通常以Deployment部署。下面的片段展示了关键字段:GPU资源声明、共享内存和健康检查。
apiVersion: apps/v1kind: Deploymentmetadata:name: moe-inferspec:replicas: 2selector:matchLabels:app: moe-infertemplate:metadata:labels:app: moe-inferspec:containers:- name: vllmimage: your-registry/vllm-serving:TAGargs: ["--model", "your-moe-model", "--tensor-parallel-size", "8","--gpu-memory-utilization", "0.90", "--max-model-len", "8192"]resources:limits:nvidia.com/gpu: 8ports:- containerPort: 8000readinessProbe:httpGet:path: /healthport: 8000initialDelaySeconds: 600periodSeconds: 10volumeMounts:- name: shmmountPath: /dev/shmvolumes:- name: shmemptyDir:medium: MemorysizeLimit: 32Gi
关键点:
nvidia.com/gpu 的数量需要与TP的值一致。跨节点推理需要一组Pod协同启动,且Ray集群的成员身份要保持稳定。常见做法是使用 LeaderWorkerSet 或 KubeRay 之类的控制器,由控制器管理领导者Pod和工作者Pod。直接使用普通Deployment,很难保证Ray头节点地址稳定。具体控制器的字段以所在集群版本的文档为准。
上线分阶段进行,每个阶段观察一段时间后再放量:
每个阶段的观察时长和放量比例,应按业务流量规律和SLA的严格程度设定。本文不给出固定时长。
以下指标需要纳入看板并设置告警:
回滚阈值应在上线前写入发布手册。常见的触发条件包括:
回滚时,先把流量切换到旧版本,再保留故障现场的日志与指标,之后分析原因。不要直接修改运行中的Pod配置。
每百万token成本的计算方法如下:
每百万token成本 = 单卡每小时单价 × 卡数 ÷ 每小时生成的百万token数
示例:假设单卡每小时单价为 X 元,卡数为16,实测每小时生成 Y 百万token,代入即可得到成本。X 与 Y 需要用实际账单和压测数据替换。
INT8和INT4能显著降低卡数,但质量损失因任务而异。代码生成、数学推理和长文本摘要对精度通常更敏感。建议按任务类型分别建立评测集,记录准确率和人工评分的变化,再决定精度。不要用单一的通用基准代替业务评测。
降低卡数会压缩显存余量,增加OOM风险。节省的成本需要与故障成本一起计算。以下情况应优先保证稳定性,而不是压缩资源:
部署前逐项确认:
本文的数字是算例和计算方法,不代表性能承诺。真实的延迟与吞吐要以自有硬件和自有流量样本的压测结果为准。