简介:本文以35B总参数、3B激活的MoE开源模型为例,讲清楚显存如何估算、单卡与双卡方案怎么选、推理服务如何启动,以及上线前该验证哪些指标。读完即可照着步骤在GPU云服务器上跑通一个兼容OpenAI接口的推理服务,并避开显存不足这一常见问题。
MoE模型推理时只激活约3B参数,但所有专家的权重都要常驻显存。因此,显存占用由总参数量决定,而不是由激活参数量决定。35B参数以BF16加载(每个参数占2字节),权重约70GB。
很多人看到”3B激活”就选小显存的卡,结果加载时直接报显存不足。选型前应先按下面三部分估算显存:
据此,可选以下两套方案:
有两种组合不建议使用:
下表为建议组合。安装前应对照所选推理框架的官方兼容说明核对版本。
| 组件 | 建议 | 说明 |
|---|---|---|
| 操作系统 | Ubuntu 22.04 LTS | 与主流CUDA发行版兼容性好 |
| NVIDIA驱动 | 与CUDA版本匹配 | 用 nvidia-smi 查看 |
| CUDA | 12.x | 与框架预编译包一致 |
| Python | 3.10至3.12 | 以框架支持范围为准 |
| 推理框架 | vLLM | 支持MoE架构,提供OpenAI兼容接口 |
执行以下命令创建环境并确认GPU可用:
sudo apt update && sudo apt install -y python3-venvpython3 -m venv /opt/llm/venvsource /opt/llm/venv/bin/activatepip install --upgrade pippip install vllmnvidia-smipython -c "import torch; print(torch.cuda.is_available())"
最后一条命令输出 True 才表示PyTorch能调用GPU。若输出 False,应先检查驱动版本与CUDA版本是否匹配。
权重下载完成后,对照官方提供的哈希清单逐个校验:
cd /data/models/moe-35b-a3bsha256sum -c SHA256SUMS.txt
所有文件都应显示 OK。任何一个文件校验失败,都要重新下载该文件。
方案B(双卡TP=2)的启动命令如下:
export CUDA_VISIBLE_DEVICES=0,1mkdir -p /var/log/llmnohup vllm serve /data/models/moe-35b-a3b \--tensor-parallel-size 2 \--max-model-len 8192 \--gpu-memory-utilization 0.90 \--max-num-seqs 32 \--host 127.0.0.1 \--port 8000 \--served-model-name moe-35b \> /var/log/llm/serve.log 2>&1 &
方案A(单卡)只需将 CUDA_VISIBLE_DEVICES 设为 0,并把 --tensor-parallel-size 改为 1。若使用官方提供的量化权重,直接指向该目录即可。若需在线量化,再加上 --quantization 参数。量化格式必须与GPU架构匹配:Hopper架构(如H100)支持FP8,Ampere架构(如A100)建议使用INT8或4bit权重格式。
关键参数说明如下:
--tensor-parallel-size:参与并行的卡数,必须与 CUDA_VISIBLE_DEVICES 中的卡数一致。--max-model-len:单个请求的最大上下文长度(输入加输出),它决定KV Cache的上限。--gpu-memory-utilization:框架可占用的显存比例,通常在0.85到0.92之间调整。设得过高,峰值时容易显存不足。--max-num-seqs:同时调度的最大序列数,用于控制并发。--host 与 --port:服务只监听内网地址,外部流量经负载均衡器转发。服务监听端口后,依次用以下命令确认状态:
ss -lntp | grep 8000curl -i http://127.0.0.1:8000/healthcurl http://127.0.0.1:8000/v1/models
健康检查返回 HTTP/1.1 200 OK,模型列表中包含 moe-35b,才说明服务已就绪。生产环境建议用 systemd 管理进程,以便异常退出