简介:27B模型能否跑在单张48GB计算卡上?本文给出权重与KV Cache的显存估算方法,附vLLM启动命令、健康检查、故障排查表和上线前检查清单。读者可以先判断方案是否可行,再按步骤复现部署并完成验收。
本文面向有Linux运维和Python基础的工程师,适用于研发测试、内网小规模调用和预算有限的验证场景。文中的估算以单张48GB显存的卡为例。若并发较高或对延迟有硬性要求,需要多卡或多节点方案,本文不覆盖。
结论先行:27B模型的INT8权重约25.1GiB,可以装入单卡。BF16或FP16权重约50.3GiB,超过卡的可用显存,无法单卡加载。INT4权重约12.6GiB,余量更大,但精度损失需要自行评测。
本文统一单位。GB指10⁹字节,GiB指2³⁰字节。48GB标称约等于44.7GiB。卡的实际可用显存以厂商设备工具的读数为准,驱动和操作系统会占用一部分。
权重大小可以直接估算:参数量乘以每个参数的字节数。27B参数的估算值如下。
实际文件会比估算值略大,因为其中包含量化缩放系数和未量化的层。以ls -lh显示的文件大小为准。
KV Cache每个token占用的字节数用下面的公式估算:
每token字节数 = 2 × 层数 × KV头数 × head_dim × 每元素字节数
其中系数2代表K和V两份缓存。层数、KV头数和head_dim都在模型目录的config.json中,字段名通常为num_hidden_layers、num_key_value_heads和head_dim。若config.json中没有head_dim,用hidden_size除以num_attention_heads计算。
KV头数取决于注意力结构。标准多头注意力(MHA)下,KV头数等于注意力头数。分组查询注意力(GQA)下,取num_key_value_heads。多查询注意力(MQA)下,KV头数为1。每元素字节数方面,FP16和BF16为2,FP8为1。
可以用下面的命令从config.json读取参数。若模型把参数放在text_config等子对象中,需要调整字段路径。
jq '{layers: .num_hidden_layers, kv_heads: .num_key_value_heads, head_dim: .head_dim, hidden: .hidden_size, heads: .num_attention_heads}' /data/models/<模型目录>/config.json
以示例配置为例:48层、8个KV头、head_dim为128,KV Cache使用FP16。
每token字节数 = 2 × 48 × 8 × 128 × 2 = 196608字节,即192KiB。
一条2048token的序列约占0.375GiB,一条4096token的序列约占0.75GiB,一条8192token的序列约占1.5GiB。真实模型的数值不同,需要用config.json中的参数重新计算。
下表为INT8权重、单卡48GB、gpu-memory-utilization设为0.85时的显存预算。
| 项目 | 数值 | 说明 |
|---|---|---|
| 卡标称显存 | 48GB ≈ 44.7GiB | 以设备工具读数为准 |
| 显存预算(×0.85) | 约38.0GiB | 推理服务可使用的上限 |
| 权重 | 约25.1GiB | 以文件实际大小为准 |
| 激活与运行时预留 | 约2.0GiB | 估算值,需要实测 |
| KV Cache可用空间 | 约10.9GiB | 38.0 − 25.1 − 2.0 |
按上表的KV Cache空间,可以估算理论并发上限。
| 每条序列长度 | 单条KV占用 | 理论最大并发条数 |
|---|---|---|
| 2048token | 0.375GiB | 约29条 |
| 4096token | 0.75GiB | 约14条 |
| 8192token | 1.5GiB | 约7条 |
这些数字是理论上限,不是性能承诺。调度策略、预填充方式和显存碎片都会降低实际并发。0.85这个乘数是相对于总显存还是可用显存,需要查阅所用后端的文档确认。最终的并发数和上下文长度要用压测结果确认,再据此设置--max-num-seqs和--max-model-len。
uname -r查看当前内核,逐项与支持列表比对。
# 确认系统能枚举到计算卡,关键字替换为厂商的PCI标识lspci -nn | grep -i <厂商关键字># 查看驱动模块的报错信息,模块名替换为厂商文档中的名称dmesg | grep -i <驱动模块名> | tail -n 50# 确认设备节点存在且权限正确ls -l /dev | grep <设备节点前缀># 运行厂商设备工具,核对卡型号、固件版本和显存总量<厂商设备工具> <查询参数>
显存总量应与产品规格一致。若lspci看不到设备,先检查硬件连接和供电,再查看dmesg输出。
重装驱动前,先备份配置文件并记录当前驱动版本。驱动变更需要重启,应安排在维护窗口内进行。
模型文件的准备要点如下。
sha256sum计算哈希值,与发布页提供的值比对。不一致时重新下载。quantization_config字段,确定量化格式。启动参数--quantization必须与这个格式一致。df -h确认剩余空间。本文以vLLM为例。国产计算卡通常需要厂商适配的vLLM版本,上游版本的参数名和支持范围未必一致。启动前先运行vllm serve --help确认参数名,并以适配矩阵中的版本为准。下面的命令不能直接复制,需要替换路径、模型名和取值。
# 创建日志目录,路径可按运维规范调整mkdir -p /var/log/infer# 后台启动服务,日志和进程号分别写入文件nohup vllm serve /data/models/<模型目录> \--served-model-name <服务模型名> \--quantization <与权重格式一致的取值> \--dtype float16 \--max-model-len 4096 \--max-num-seqs 8 \--gpu-memory-utilization 0.85 \--host 127.0.0.1 \--port 8000 \> /var/log/infer/vllm.log 2>&1 &echo $! > /var/log/infer/vllm.pid
各参数的含义和设置原则如下。
--max-model-len:单条序列的最大长度,初始值取4096,压测后再调整。--max-num-seqs:同时处理的最大序列数,初始值取8,依据第二节的理论上限和压测结果回填。--gpu-memory-utilization:显存使用比例,与第二节的预算保持一致。--host:初始设为127.0.0.1,只允许本机访问。需要内网访问时,改为具体的内网地址,并在前面加一层网关或防火墙做访问控制。服务启动需要一段时间,用下面的命令观察日志,直到出现服务监听的提示。
tail -f /var/log/infer/vllm.log
依次执行下面的检查,每一项都要通过,才能进入上线流程。
curl -s -o /dev/null -w "%{http_code}\n" http://127.0.0.1:8000/health
预期输出为200。
curl -s http://127.0.0.1:8000/v1/models
预期返回的JSON中,data数组包含<服务模型名>。
curl -s http://127.0.0.1:8000/v1/chat/completions \-H "Content-Type: application/json" \-d '{"model":"<服务模型名>","messages":[{"role":"user","content":"用一句话介绍你自己"}],"max_tokens":64}'
预期返回的choices中有非空的content,finish_reason为stop或length。
<厂商设备工具> <显存查询参数>
预期已用显存明显高于空载值,且不超过第二节算出的预算上限。
grep -Ei "out of memory|OOM|CUDA error|RuntimeError" /var/log/infer/vllm.log | tail -n 20
预期无输出。若有输出,按下一节排查。
| 现象 | 可能原因 | 核查命令 | 处理 | |
|---|---|---|---|---|
| 启动时报OOM | 权重加上预留超过预算,或max-model-len过大 | grep -i "memory" /var/log/infer/vllm.log |
降低--max-model-len或--gpu-memory-utilization,确认权重文件是INT8或INT4 |
|
| 运行中报OOM | 并发过高,KV Cache不足 | grep -i "out of memory" /var/log/infer/vllm.log |
降低--max-num-seqs,缩短单条上下文,按压测结果重设参数 |
|
| 设备初始化失败,提示版本不匹配 | 驱动、开发套件和后端版本不在同一适配矩阵中 | <厂商设备工具> <版本查询参数>,vllm --version |
对齐三者版本,或更换为厂商适配的后端版本 | |
| 加载权重报格式不支持 | --quantization与权重格式不一致 |
jq .quantization_config <模型目录>/config.json |
按config.json中的格式修改参数,参数名以--help为准 |
|
| 服务启动失败,提示端口占用 | 端口已被其他进程使用 | `ss -lntp \ | grep 8000` | 停止占用进程,或改用其他端口,并同步修改健康检查命令 |
| 服务报设备权限错误 | 运行用户不在设备组中,或设备节点权限不足 | `ls -l /dev \ | grep <设备节点前缀>,id` |
按厂商文档调整用户组或设备权限,避免直接放开全部权限 |
| KV Cache不足,请求被拒绝或排队很久 | 显存预算偏紧,序列过长 | grep -i "kv cache" /var/log/infer/vllm.log |
降低并发和序列长度,或改用更低精度的KV Cache(需评测) |
sha256sum与发布页一致,许可证文件已保留,用途已确认。df -h已确认。--max-num-seqs与--max-model-len已依据压测结果回填。/var/log/infer/vllm.pid,旧版本的启动命令和