35B MoE大模型云端部署:从选卡到上线验证

作者:新兰2026.11.18 11:33浏览量:0

简介:本文以35B总参数、3B激活的MoE开源模型为例,讲清楚显存如何估算、单卡与双卡方案怎么选、推理服务如何启动,以及上线前该验证哪些指标。读完即可照着步骤在GPU云服务器上跑通一个兼容OpenAI接口的推理服务,并避开显存不足这一常见问题。

先算显存,再选实例

MoE模型推理时只激活约3B参数,但所有专家的权重都要常驻显存。因此,显存占用由总参数量决定,而不是由激活参数量决定。35B参数以BF16加载(每个参数占2字节),权重约70GB。

很多人看到”3B激活”就选小显存的卡,结果加载时直接报显存不足。选型前应先按下面三部分估算显存:

  1. 模型权重:BF16约70GB,FP8或INT8约35GB。
  2. KV Cache:随并发请求数和上下文长度增长。
  3. 框架开销:CUDA上下文、激活值缓冲、多卡通信缓冲等,建议预留几GB。

据此,可选以下两套方案:

  • 方案A:单卡80GB加量化。 使用FP8或INT8权重,权重约35GB,剩余空间充足,可支撑较大的KV Cache。量化会影响精度,需要用自己业务的评测集验证。
  • 方案B:双卡80GB跑BF16,张量并行TP=2。 每张卡分到约35GB权重,精度无损,剩余空间留给KV Cache。

有两种组合不建议使用:

  • 单卡80GB跑BF16。 框架默认占用约90%显存,即72GB,减去70GB权重后几乎没有剩余,只能用于加载验证。
  • 双卡40GB跑BF16。 两卡合计80GB,权重仍占70GB,单卡还要承担一半权重,实际几乎没有空间给KV Cache,并发稍高即报显存不足。只有40GB卡时,应使用量化权重或增加卡数。

实例与存储选型

  • GPU实例:在云控制台的GPU实例规格列表中筛选显存80GB的机型,提前确认库存与配额。双卡方案要确认两张卡位于同一实例内,并支持高速互联,便于多卡通信。
  • 数据盘:权重约70GB(BF16),建议数据盘不小于200GB,为日志、缓存和后续的模型版本留出空间。
  • 权重存放:把权重放在对象存储或独立云盘中。实例重建时直接挂载即可,无需重新下载。

环境准备

下表为建议组合。安装前应对照所选推理框架的官方兼容说明核对版本。

组件 建议 说明
操作系统 Ubuntu 22.04 LTS 与主流CUDA发行版兼容性好
NVIDIA驱动 与CUDA版本匹配 用 nvidia-smi 查看
CUDA 12.x 与框架预编译包一致
Python 3.10至3.12 以框架支持范围为准
推理框架 vLLM 支持MoE架构,提供OpenAI兼容接口

执行以下命令创建环境并确认GPU可用:

  1. sudo apt update && sudo apt install -y python3-venv
  2. python3 -m venv /opt/llm/venv
  3. source /opt/llm/venv/bin/activate
  4. pip install --upgrade pip
  5. pip install vllm
  6. nvidia-smi
  7. python -c "import torch; print(torch.cuda.is_available())"

最后一条命令输出 True 才表示PyTorch能调用GPU。若输出 False,应先检查驱动版本与CUDA版本是否匹配。

权重下载完成后,对照官方提供的哈希清单逐个校验:

  1. cd /data/models/moe-35b-a3b
  2. sha256sum -c SHA256SUMS.txt

所有文件都应显示 OK。任何一个文件校验失败,都要重新下载该文件。

启动推理服务

方案B(双卡TP=2)的启动命令如下:

  1. export CUDA_VISIBLE_DEVICES=0,1
  2. mkdir -p /var/log/llm
  3. nohup vllm serve /data/models/moe-35b-a3b \
  4. --tensor-parallel-size 2 \
  5. --max-model-len 8192 \
  6. --gpu-memory-utilization 0.90 \
  7. --max-num-seqs 32 \
  8. --host 127.0.0.1 \
  9. --port 8000 \
  10. --served-model-name moe-35b \
  11. > /var/log/llm/serve.log 2>&1 &

方案A(单卡)只需将 CUDA_VISIBLE_DEVICES 设为 0,并把 --tensor-parallel-size 改为 1。若使用官方提供的量化权重,直接指向该目录即可。若需在线量化,再加上 --quantization 参数。量化格式必须与GPU架构匹配:Hopper架构(如H100)支持FP8,Ampere架构(如A100)建议使用INT8或4bit权重格式。

关键参数说明如下:

  • --tensor-parallel-size:参与并行的卡数,必须与 CUDA_VISIBLE_DEVICES 中的卡数一致。
  • --max-model-len:单个请求的最大上下文长度(输入加输出),它决定KV Cache的上限。
  • --gpu-memory-utilization:框架可占用的显存比例,通常在0.85到0.92之间调整。设得过高,峰值时容易显存不足。
  • --max-num-seqs:同时调度的最大序列数,用于控制并发。
  • --host 与 --port:服务只监听内网地址,外部流量经负载均衡器转发。

服务监听端口后,依次用以下命令确认状态:

  1. ss -lntp | grep 8000
  2. curl -i http://127.0.0.1:8000/health
  3. curl http://127.0.0.1:8000/v1/models

健康检查返回 HTTP/1.1 200 OK,模型列表中包含 moe-35b,才说明服务已就绪。生产环境建议用 systemd 管理进程,以便异常退出