简介:本文以27B级开源代码模型为例,讲清显存怎么算、FP16与INT4各需什么配置、vLLM服务如何启动与守护,并给出可复现的代码生成验收方法、TTFT与TPS测量口径,以及OOM排查顺序,帮助后端开发者和架构师少走弯路。
27B级开源代码模型可以私有化部署,但要先把显存账算清楚。FP16权重约54GB,两张24GB显卡放不下。INT4权重约14GB,单张24GB显卡可以跑通短上下文,但长上下文和多并发仍需要更多显存。选型前,团队应先确定目标上下文长度和并发数,再决定硬件。
显存主要由三部分组成。
按这个逻辑,常见起步配置如下。
| 精度 | 权重占用(约) | 起步配置 | 适用场景 |
|---|---|---|---|
| FP16/BF16 | 54GB | 单张80GB级显卡,或3张及以上24GB显卡 | 作为质量基线和对比基准 |
| INT8 | 27GB | 单张48GB级显卡,或2张24GB显卡 | 质量与成本折中 |
| INT4 | 14GB左右 | 单张24GB显卡,短上下文、小并发 | 资源受限,以代码补全为主 |
这些数字只是估算。实际需要按目标上下文和并发数压测一次,再确定最终配置。多卡张量并行时,还要确认所选框架支持的并行规模,并保证各卡型号一致。
建议依次执行以下命令,确认环境正常。
# 查看GPU型号、驱动版本和显存占用nvidia-smi# 创建独立虚拟环境python3 -m venv /opt/llm-envsource /opt/llm-env/bin/activate# 安装与CUDA版本匹配的vLLM,版本号以兼容矩阵为准pip install "vllm==<与CUDA匹配的版本号>"# 校验模型文件哈希,输出结果与官方清单逐行比对sha256sum /data/models/27b-code-instruct/*.safetensors
数据盘挂载到/data/models后,检查目录中是否同时包含权重文件、config.json和Tokenizer相关文件。缺少任何一项,服务都会在启动阶段报错。
vLLM提供兼容OpenAI接口格式的服务。以下命令以单卡FP16或INT8为例,把服务监听在本机回环地址上,由前置网关对外提供访问。
vllm serve /data/models/27b-code-instruct \--served-model-name code-27b \--host 127.0.0.1 \--port 8000 \--max-model-len 8192 \--max-num-seqs 4 \--gpu-memory-utilization 0.90 \--api-key "$LLM_API_KEY"
各参数的作用如下。
--max-model-len:单次请求的最大上下文长度。值越大,KV Cache占用越多。--max-num-seqs:同时处理的序列数。调小它可以降低OOM风险,但吞吐量也会下降。--gpu-memory-utilization:框架可使用的显存比例。它不能解决显存不足的根本问题。--api-key:接口鉴权密钥。密钥应放在权限为600的文件中,启动前再读入环境变量,不要写进脚本或代码。使用INT4时,需要的是已经量化好的权重,例如AWQ或GPTQ格式,并在命令中加入对应的--quantization参数。框架不能保证对任意未量化权重进行在线的INT4转换。多卡部署时,加入--tensor-parallel-size参数,取值等于使用的显卡数量。
生产环境建议用systemd守护服务,保证异常退出后自动重启。下面是一个简化的单元文件示例。
[Unit]Description=27B code model inference serviceAfter=network-online.target[Service]User=llmEnvironmentFile=/etc/llm/envExecStart=/opt/llm-env/bin/vllm serve /data/models/27b-code-instruct --served-model-name code-27b --host 127.0.0.1 --port 8000 --max-model-len 8192 --max-num-seqs 4Restart=on-failureRestartSec=10TimeoutStartSec=900[Install]WantedBy=multi-user.target
TimeoutStartSec需要设置得足够长,因为27B模型加载权重可能需要数分钟。
上线验证分为四步。
1. 连通性测试
先确认健康检查和模型列表接口可以正常返回。
curl -s -o /dev/null -w "%{http_code}\n" http://127.0.0.1:8000/healthcurl http://127.0.0.1:8000/v1/models -H "Authorization: Bearer $LLM_API_KEY"
健康检查应返回200,模型列表中应包含code-27b。
2. 基础生成测试
curl http://127.0.0.1:8000/v1/chat/completions \-H "Content-Type: application/json" \-H "Authorization: Bearer $LLM_API_KEY" \-d '{"model":"code-27b","messages":[{"role":"user","content":"用Python实现一个线程安全的LRU缓存,并给出pytest测试用例"}],"max_tokens":512,"temperature":0.2}'
人工检查返回的代码能否运行,测试用例能否通过。只看到返回了文本,不能说明模型能力达标。
3. 代码生成验收
团队应基于自己的真实任务建立验收集。建议包含30到50道任务,覆盖三类内容:
每道题都要附带可自动执行的测试。验收指标包括:
测试结果应记录模型版本、精度、上下文长度、并发数和硬件型号。没有这些条件的数字,换一台机器就无法复现。
4. 性能测试
TTFT(首Token延迟)指从发出请求到收到第一个Token的时间。TPS(每秒输出Token数)指输出Token数除以生成耗时。测量时,请求以流式方式发送(设置stream: true),用第一个数据块到达的时间计算TTFT。
测量应分别在单并发和目标并发下进行。每组配置重复多次,取中位数。是否达标,应由团队根据自己的交互体验要求确定,不要照搬固定数值。
显存溢出(OOM)
表现为服务崩溃、请求超时,或日志中出现“out of memory”。排查顺序如下。
nvidia-smi观察显存峰值,确认是启动时就超出,还是高并发时才超出。--max-num-seqs,并压测确认是否恢复。--max-model-len。每次只改一个参数,并保存每次改动前的启动参数和模型路径,便于回滚。单纯调高或调低--gpu-memory-utilization不能从根本上解决显存不足。
推理速度过慢
python -c "import torch; print(torch.cuda.is_available())",结果应为True。nvidia-smi检查是否有其他进程占用显卡。