单卡部署27B大模型:显存估算到上线检查

作者:宇宙中心我曹县2026.11.18 11:44浏览量:0

简介:27B模型能否跑在单张48GB计算卡上?本文给出权重与KV Cache的显存估算方法,附vLLM启动命令、健康检查、故障排查表和上线前检查清单。读者可以先判断方案是否可行,再按步骤复现部署并完成验收。

一、适用范围与结论

本文面向有Linux运维和Python基础的工程师,适用于研发测试、内网小规模调用和预算有限的验证场景。文中的估算以单张48GB显存的卡为例。若并发较高或对延迟有硬性要求,需要多卡或多节点方案,本文不覆盖。

结论先行:27B模型的INT8权重约25.1GiB,可以装入单卡。BF16或FP16权重约50.3GiB,超过卡的可用显存,无法单卡加载。INT4权重约12.6GiB,余量更大,但精度损失需要自行评测。

本文统一单位。GB指10⁹字节,GiB指2³⁰字节。48GB标称约等于44.7GiB。卡的实际可用显存以厂商设备工具的读数为准,驱动和操作系统会占用一部分。

二、显存预算:先算权重,再算KV Cache

权重大小可以直接估算:参数量乘以每个参数的字节数。27B参数的估算值如下。

  • BF16或FP16:27×10⁹×2字节,约54GB(50.3GiB),单卡无法加载。
  • INT8:27×10⁹×1字节,约27GB(25.1GiB)。
  • INT4:约13.5GB(12.6GiB)。

实际文件会比估算值略大,因为其中包含量化缩放系数和未量化的层。以ls -lh显示的文件大小为准。

KV Cache每个token占用的字节数用下面的公式估算:

每token字节数 = 2 × 层数 × KV头数 × head_dim × 每元素字节数

其中系数2代表K和V两份缓存。层数、KV头数和head_dim都在模型目录的config.json中,字段名通常为num_hidden_layers、num_key_value_heads和head_dim。若config.json中没有head_dim,用hidden_size除以num_attention_heads计算。

KV头数取决于注意力结构。标准多头注意力(MHA)下,KV头数等于注意力头数。分组查询注意力(GQA)下,取num_key_value_heads。多查询注意力(MQA)下,KV头数为1。每元素字节数方面,FP16和BF16为2,FP8为1。

可以用下面的命令从config.json读取参数。若模型把参数放在text_config等子对象中,需要调整字段路径。

  1. jq '{layers: .num_hidden_layers, kv_heads: .num_key_value_heads, head_dim: .head_dim, hidden: .hidden_size, heads: .num_attention_heads}' /data/models/<模型目录>/config.json

以示例配置为例:48层、8个KV头、head_dim为128,KV Cache使用FP16。

每token字节数 = 2 × 48 × 8 × 128 × 2 = 196608字节,即192KiB。

一条2048token的序列约占0.375GiB,一条4096token的序列约占0.75GiB,一条8192token的序列约占1.5GiB。真实模型的数值不同,需要用config.json中的参数重新计算。

下表为INT8权重、单卡48GB、gpu-memory-utilization设为0.85时的显存预算。

项目 数值 说明
卡标称显存 48GB ≈ 44.7GiB 以设备工具读数为准
显存预算(×0.85) 约38.0GiB 推理服务可使用的上限
权重 约25.1GiB 以文件实际大小为准
激活与运行时预留 约2.0GiB 估算值,需要实测
KV Cache可用空间 约10.9GiB 38.0 − 25.1 − 2.0

按上表的KV Cache空间,可以估算理论并发上限。

每条序列长度 单条KV占用 理论最大并发条数
2048token 0.375GiB 约29条
4096token 0.75GiB 约14条
8192token 1.5GiB 约7条

这些数字是理论上限,不是性能承诺。调度策略、预填充方式和显存碎片都会降低实际并发。0.85这个乘数是相对于总显存还是可用显存,需要查阅所用后端的文档确认。最终的并发数和上下文长度要用压测结果确认,再据此设置--max-num-seqs和--max-model-len。

三、环境核对与模型文件

  1. 操作系统:选择厂商驱动文档声明支持的发行版和内核版本。用uname -r查看当前内核,逐项与支持列表比对。
  2. 驱动、开发套件和推理后端:三者版本必须同时出现在厂商的适配矩阵中。记录矩阵中的版本号和官方下载地址,下载后校验安装包的哈希值。
  3. 设备识别:驱动安装并重启后,依次执行下面的检查。
  1. # 确认系统能枚举到计算卡,关键字替换为厂商的PCI标识
  2. lspci -nn | grep -i <厂商关键字>
  3. # 查看驱动模块的报错信息,模块名替换为厂商文档中的名称
  4. dmesg | grep -i <驱动模块名> | tail -n 50
  5. # 确认设备节点存在且权限正确
  6. ls -l /dev | grep <设备节点前缀>
  7. # 运行厂商设备工具,核对卡型号、固件版本和显存总量
  8. <厂商设备工具> <查询参数>

显存总量应与产品规格一致。若lspci看不到设备,先检查硬件连接和供电,再查看dmesg输出。

  1. 容器环境:若使用容器,需要把设备节点和驱动库挂载进容器,挂载方式以厂商文档为准。

重装驱动前,先备份配置文件并记录当前驱动版本。驱动变更需要重启,应安排在维护窗口内进行。

模型文件的准备要点如下。

  • 只从模型发布方或已获授权的渠道下载权重,并保留许可证文件。
  • 确认许可证是否允许你的用途,尤其是商用、再分发和使用场景方面的限制。
  • 下载完成后用sha256sum计算哈希值,与发布页提供的值比对。不一致时重新下载。
  • 查看config.json中的quantization_config字段,确定量化格式。启动参数--quantization必须与这个格式一致。
  • 若后端要求格式转换,使用厂商或后端提供的转换工具,输出写入独立目录,原始权重保持不动。转换会生成另一份文件,磁盘至少要预留两倍于权重大小的空间。用df -h确认剩余空间。

四、启动推理服务

本文以vLLM为例。国产计算卡通常需要厂商适配的vLLM版本,上游版本的参数名和支持范围未必一致。启动前先运行vllm serve --help确认参数名,并以适配矩阵中的版本为准。下面的命令不能直接复制,需要替换路径、模型名和取值。

  1. # 创建日志目录,路径可按运维规范调整
  2. mkdir -p /var/log/infer
  3. # 后台启动服务,日志和进程号分别写入文件
  4. nohup vllm serve /data/models/<模型目录> \
  5. --served-model-name <服务模型名> \
  6. --quantization <与权重格式一致的取值> \
  7. --dtype float16 \
  8. --max-model-len 4096 \
  9. --max-num-seqs 8 \
  10. --gpu-memory-utilization 0.85 \
  11. --host 127.0.0.1 \
  12. --port 8000 \
  13. > /var/log/infer/vllm.log 2>&1 &
  14. echo $! > /var/log/infer/vllm.pid

各参数的含义和设置原则如下。

  • --max-model-len:单条序列的最大长度,初始值取4096,压测后再调整。
  • --max-num-seqs:同时处理的最大序列数,初始值取8,依据第二节的理论上限和压测结果回填。
  • --gpu-memory-utilization:显存使用比例,与第二节的预算保持一致。
  • --host:初始设为127.0.0.1,只允许本机访问。需要内网访问时,改为具体的内网地址,并在前面加一层网关或防火墙做访问控制。
  • API密钥通过后端支持的环境变量或配置文件传入,不要写进命令行或脚本,否则会在进程列表中暴露。

服务启动需要一段时间,用下面的命令观察日志,直到出现服务监听的提示。

  1. tail -f /var/log/infer/vllm.log

健康检查

依次执行下面的检查,每一项都要通过,才能进入上线流程。

  1. 健康接口:
  1. curl -s -o /dev/null -w "%{http_code}\n" http://127.0.0.1:8000/health

预期输出为200。

  1. 模型列表:
  1. curl -s http://127.0.0.1:8000/v1/models

预期返回的JSON中,data数组包含<服务模型名>。

  1. 一次对话请求:
  1. curl -s http://127.0.0.1:8000/v1/chat/completions \
  2. -H "Content-Type: application/json" \
  3. -d '{"model":"<服务模型名>","messages":[{"role":"user","content":"用一句话介绍你自己"}],"max_tokens":64}'

预期返回的choices中有非空的content,finish_reason为stop或length。

  1. 显存读数:
  1. <厂商设备工具> <显存查询参数>

预期已用显存明显高于空载值,且不超过第二节算出的预算上限。

  1. 日志扫描:
  1. grep -Ei "out of memory|OOM|CUDA error|RuntimeError" /var/log/infer/vllm.log | tail -n 20

预期无输出。若有输出,按下一节排查。

常见故障排查

现象 可能原因 核查命令 处理
启动时报OOM 权重加上预留超过预算,或max-model-len过大 grep -i "memory" /var/log/infer/vllm.log 降低--max-model-len或--gpu-memory-utilization,确认权重文件是INT8或INT4
运行中报OOM 并发过高,KV Cache不足 grep -i "out of memory" /var/log/infer/vllm.log 降低--max-num-seqs,缩短单条上下文,按压测结果重设参数
设备初始化失败,提示版本不匹配 驱动、开发套件和后端版本不在同一适配矩阵中 <厂商设备工具> <版本查询参数>,vllm --version 对齐三者版本,或更换为厂商适配的后端版本
加载权重报格式不支持 --quantization与权重格式不一致 jq .quantization_config <模型目录>/config.json 按config.json中的格式修改参数,参数名以--help为准
服务启动失败,提示端口占用 端口已被其他进程使用 `ss -lntp \ grep 8000` 停止占用进程,或改用其他端口,并同步修改健康检查命令
服务报设备权限错误 运行用户不在设备组中,或设备节点权限不足 `ls -l /dev \ grep <设备节点前缀>,id` 按厂商文档调整用户组或设备权限,避免直接放开全部权限
KV Cache不足,请求被拒绝或排队很久 显存预算偏紧,序列过长 grep -i "kv cache" /var/log/infer/vllm.log 降低并发和序列长度,或改用更低精度的KV Cache(需评测)

上线前检查清单

  • 驱动、开发套件和推理后端版本与厂商适配矩阵一致,并已记录。
  • 安装包哈希值校验通过。
  • 权重文件sha256sum与发布页一致,许可证文件已保留,用途已确认。
  • 磁盘剩余空间满足格式转换需求,df -h已确认。
  • 设备工具显示的显存总量与产品规格一致。
  • 空载与满载时的显存读数均在预算内。
  • 压测覆盖目标并发和输入长度,记录了吞吐、首包延迟和失败率。
  • --max-num-seqs与--max-model-len已依据压测结果回填。
  • 服务监听地址符合网络策略,API密钥未出现在命令行或脚本中。
  • 日志已接入监控,OOM和CUDA错误告警已配置。
  • 回滚方案已准备:停止服务的进程号保存在/var/log/infer/vllm.pid,旧版本的启动命令和