简介:本文以约35B MoE与约27B Dense两款开源模型为例,说明两者在显存占用、推理速度和适用场景上的差异。文中给出不同量化精度下的显存估算、服务启动命令、上线验证清单和常见故障排查方法,帮助读者根据硬件条件选型,并稳定完成本地或云端部署。
两款模型参数规模接近,但结构不同。35B MoE模型包含多个路由专家,每个Token只激活其中一部分专家,因此单次推理的计算量低于同等总参数量的稠密模型。但所有专家的权重都要常驻显存,所以显存占用由总参数量决定,而不是由激活参数量决定。选型时这一点最容易被忽略。
27B Dense模型每一层都参与计算,计算路径完整,训练和微调流程相对直接。在相同精度下,它的权重占用比35B MoE少,但每生成一个Token的计算量与总参数量相当。
层数、隐藏维度、注意力头数等架构细节,请以官方模型卡为准。部署前逐项核对,不要直接沿用第三方文章中的数字。
在选型上,可以按业务特点判断:
本文面向三类读者。
权重占用的估算公式为:参数量 × 每个参数的字节数。
按此公式,两款模型的权重占用估算如下:
| 模型 | 精度 | 权重占用(估算) | 参考显卡配置 |
|---|---|---|---|
| 27B Dense | INT4 | 约14GB | 单张24GB,短上下文,低并发 |
| 27B Dense | INT8 | 约27GB | 单张32GB以上,或双卡24GB |
| 35B MoE | INT4 | 约18GB | 单张24GB较紧张,建议32GB以上 |
| 35B MoE | INT8 | 约35GB | 单张40GB以上,或双卡 |
| 35B MoE | FP16/BF16 | 约70GB | 单张80GB,或双卡40GB以上 |
这些数字只包含权重。运行时还需要KV Cache、激活值和框架自身的开销,通常要额外预留几GB到十几GB,并随上下文长度和并发数增长。实际部署前应在目标硬件上实测,再确定配置。
CPU和内存主要用于数据预处理和请求调度。一般配置16核以上CPU和64GB内存即可起步,如果加载过程中需要更多内存,再按实测结果调高。
存储方面,权重文件本身较大。单个版本的权重加上日志和缓存,建议预留200GB以上空间。如果保留多个模型版本,需要相应增加容量。权重文件建议放在本地NVMe磁盘上,避免放在网络存储中,否则加载会很慢。
pip freeze > requirements.lock保存版本清单,便于复现和回滚。建议的目录结构如下:
/app//models/ # 模型权重,每个版本单独一个子目录/logs/ # 服务日志/config/ # 配置文件与API密钥,权限设为600,不纳入版本管理
以下命令以vLLM为例。请根据实际框架版本调整参数。
sudo apt updatesudo apt install -y build-essential git curl wget# 确认驱动与显卡可以被识别nvidia-smiconda create -n llm-serve python=3.11 -yconda activate llm-serve# 请按所用版本的官方文档安装,并确认与CUDA版本匹配pip install vllm
mkdir -p /app/models && cd /app/models# 使用官方提供的下载工具,仓库名请替换为实际值huggingface-cli download <org>/<dense-27b-repo> --local-dir /app/models/dense-27b
如果仓库是私有的,请通过环境变量HF_TOKEN传入访问令牌,避免把令牌写进命令历史。下载完成后,将文件的哈希值与官方发布的校验值比对,不一致时不要使用。
export MODEL_PATH=/app/models/dense-27bexport SERVICE_PORT=8000vllm serve "$MODEL_PATH" \--served-model-name dense-27b \--host 127.0.0.1 \--port "$SERVICE_PORT" \--max-model-len 8192 \--gpu-memory-utilization 0.90 \--tensor-parallel-size 1 \--api-key "$(cat /app/config/api_key)"
参数说明:
--max-model-len:限制单次请求的最大上下文长度。该值越大,KV Cache占用越多,需要根据显存调整。--gpu-memory-utilization:框架可使用的显存比例