简介:本文面向开发者与运维人员,讲解如何在单张GPU上部署小参数开源模型推理服务。内容包括显存估算公式、推理引擎选型、可直接执行的部署命令、压测口径与告警阈值,帮助读者按步骤完成上线并长期稳定运行。
本文面向需要自建模型推理服务的开发者,以及负责上线和长期运行的运维人员。目标是在一台带GPU的服务器上,跑通一个OpenAI兼容的推理接口,并建立压测基线、监控和回滚机制。
上线后的服务应满足三点:接口可正常调用,首token延迟和吞吐达到压测验收线,服务具备健康检查和自动重启能力。
下表给出各规格权重的大致占用。权重按“参数量 × 每参数字节数”估算,KV Cache、框架开销和激活内存需另外计入。
| 参数量 | 典型场景 | FP16权重约 | INT4权重约 |
|---|---|---|---|
| 0.8B | 边缘设备、端侧嵌入 | 1.6 GB | 0.5 GB |
| 2B | 手机端、IoT设备 | 4 GB | 1.2 GB |
| 4B | 轻量图文理解、轻量Agent | 8 GB | 2.5 GB |
| 9B | 性价比优先的在线服务 | 18 GB | 5 GB |
| 27B | 质量优先的稳态服务 | 54 GB | 16 GB |
MoE模型需要分开看两个数字。总参数量决定显存占用,因为所有专家都要加载到显存中。激活参数量决定单次推理的计算量,影响速度和吞吐。因此,MoE模型显存需求接近同总参数量的Dense模型,但推理速度可能接近更小的Dense模型。
选型时可以参考以下规则:
总显存可以用以下公式估算:
总显存 ≈ 权重显存 + KV Cache + 框架开销(约1到2 GB) + 激活余量
KV Cache的计算公式为:
KV Cache = 2 × 层数 × KV头数 × head_dim × 每元素字节数 × 上下文长度 × 并发数
其中层数、KV头数和head_dim需要从模型目录下的config.json中读取,字段名通常为num_hidden_layers、num_key_value_heads和head_dim。
举例说明。假设模型有32层,8个KV头,head_dim为128,KV Cache使用FP16(每元素2字节)。每个token占用的KV Cache为2 × 32 × 8 × 128 × 2 = 131072字节,即128 KB。单个请求上下文长度为4096时,占用约512 MB。16个并发请求合计约8 GB。
以9B FP16模型为例,权重约18 GB,加上上述8 GB KV Cache和约2 GB框架开销,合计约28 GB。若按显存占用不超过总量80%的原则,需要至少35 GB可用显存,因此40 GB或48 GB的卡更合适,24 GB的卡不够用。
| 引擎 | 适用场景 | 注意事项 |
|---|---|---|
| vLLM | GPU服务器上的高并发在线服务,提供OpenAI兼容接口 | 需要与驱动和CUDA版本匹配 |
| SGLang | 多轮对话复用前缀、结构化输出较多的服务 | 参数较多,需单独调优 |
| llama.cpp | GGUF量化模型,CPU或小显存设备 | 高并发能力有限 |
| Ollama | 本地快速试用 | 不适合高并发生产环境 |
本文以vLLM为例。使用前请阅读所选版本的发行说明,确认驱动版本要求。
先确认驱动和容器运行时可以访问GPU:
# 查看宿主机GPU驱动与显存nvidia-smi# 验证容器能否访问GPU,镜像标签需与驱动支持的CUDA版本一致docker run --rm --gpus all nvidia/cuda:12.4.1-base-ubuntu22.04 nvidia-smi
如果第二条命令失败,检查nvidia-container-toolkit是否已安装并重启了Docker服务。
模型权重下载后,用官方提供的哈希文件校验完整性:
cd /data/models/your-9b-instructsha256sum -c model.sha256
使用docker run启动服务。镜像标签请替换为固定版本号,避免使用latest导致不可复现。
docker run -d --name small-model-srv --gpus all \-p 8000:8000 \-v /data/models:/models:ro \--ipc=host \-e VLLM_API_KEY="$VLLM_API_KEY" \vllm/vllm-openai:<固定版本号> \--model /models/your-9b-instruct \--served-model-name small-9b \--max-model-len 4096 \--gpu-memory-utilization 0.80 \--max-num-seqs 16
参数说明:
--max-model-len:单请求最大上下文长度,直接影响KV Cache占用。--gpu-memory-utilization:vLLM可使用的显存比例,设为0.80与前文规则一致。--max-num-seqs:同时处理的最大序列数,即并发上限。-v ... :ro:只读挂载模型目录,防止容器误改权重。如果使用Docker Compose管理,可以参考以下文件:
services:model-inference:image: vllm/vllm-openai:<固定版本号>ports:- "8000:8000"volumes:- /data/models:/models:roipc: hostcommand: >--model /models/your-9b-instruct--served-model-name small-9b--max-model-len 4096--gpu-memory-utilization 0.80--max-num-seqs 16environment:- VLLM_API_KEY=${VLLM_API_KEY}deploy:resources:reservations:devices:- driver: nvidiacount: 1capabilities: [gpu]healthcheck:test: ["CMD", "curl", "-f", "http://localhost:8000/health"]interval: 30stimeout: 5sretries: 3restart: unless-stopped
健康检查依赖镜像内的curl命令。若镜像中没有curl,可改由宿主机或网关定时探测/health接口。
功能验证:发送一条对话请求,确认返回正常。
curl http://127.0.0.1:8000/v1/chat/completions \-H "Authorization: Bearer $VLLM_API_KEY" \-H "Content-Type: application/json" \-d '{"model":"small-9b","messages":[{"role":"user","content":"你好"}],"max_tokens":64}'
性能验证:使用vLLM仓库中的benchmark_serving.py或NVIDIA的genai-perf压测。固定输入长度为512 token,输出长度为128 token,分别在并发1、4、8、16下各运行10分钟,记录首token延迟(TTFT)、单token输出时间(TPOT)和P99延迟。以下是一组示例验收线,需根据业务实际调整:并发16下P99 TTFT不超过2秒,错误率低于0.1%。
稳定性验证:连续运行不少于30分钟,每60秒记录一次显存:
nvidia-smi --query-gpu=memory.used,utilization.gpu --format=csv -l 60 >> gpu_watch.log
显存在稳定负载下应保持平稳,无持续增长,且服务进程未重启。
日志检查:启动日志中应出现“GPU KV cache size”一行,记录可缓存的token数。该数字偏小说明显存余量不足。
--max-model-len、--max-num-seqs,或换用更大显存的卡。ls /models确认目录结构。sha256sum -c校验文件。若校验失败,重新下载对应文件。nvidia-smi,若GPU利用率长期接近0,说明请求未落到GPU上。检查--gpus all参数和启动日志中的设备信息。监控:用DCGM Exporter采集GPU指标(如DCGM_FI_DEV_GPU_UTIL、DCGM_FI_DEV_FB_USED),vLLM的/metrics接口提供推理指标(如vllm:time_to_first_token_seconds)。两者接入Prometheus后统一告警。
告警阈值示例: