32G单卡跑27B模型,先算显存再上线

作者:渣渣辉2026.11.18 11:47浏览量:0

简介:32G单卡能否跑27B模型?本文先给出权重与KV Cache的显存预算方法,再说明config参数读取、镜像哈希核验、容器启动、仅本机监听的SSH隧道访问,以及固定口径的测速与量化质量验证。读完即可在自己的环境中按步骤复现,所有性能数字都以你的实测为准。

一、先算显存预算

32G单卡能不能跑27B模型,先要算清楚显存账。显存主要被四部分占用:模型权重、KV Cache、激活与临时缓冲区,以及CUDA运行时本身。框架还会按比例预留一部分显存,真正可用的空间比显卡标称容量小得多。

先统一单位。显卡标称的”32G”通常指32GiB,约合34.4GB。权重体积的估算常用GB(10^9字节),两者差约7%,混用会算错余量。下表按27B参数估算:

权重精度 每参数字节数 估算体积(GB) 估算体积(GiB)
BF16/FP16 2 约54 约50
FP8 1 约27 约25
4bit分组量化 约0.5至0.6 约14至16 约13至15

4bit一行的范围取决于分组大小(group size)、缩放系数的存储精度,以及零点是否保存。常见的分组量化方案每参数占用略高于0.5字节。嵌入层和输出层有时保留较高精度,会额外增加体积。最终以模型文件的实际大小为准。

据此可以得出几个判断。BF16权重超过32GiB,单卡无法直接放下,必须量化。本文不讨论CPU offload或多卡切分。FP8权重约25GiB,剩余空间只够低并发、短上下文使用。4bit权重约14GiB,剩余空间明显更大,更适合作为单卡部署的起点。

KV Cache怎么估

KV Cache存放推理过程中每个token的K和V向量。计算公式如下:

KV Cache字节数 ≈ 2 × 层数 × KV头数 × 头维度 × 上下文长度 × 并发请求数 × 每元素字节数

系数2代表K和V两份缓存。层数、KV头数、头维度可以在模型目录的config.json中找到。头维度的字段名不统一,有的模型直接给出head_dim,没有时用hidden_size除以num_attention_heads估算。多模态模型的语言部分参数可能嵌套在text_config中。

用一个假设配置演示计算。假设层数为64、KV头数为8、头维度为128、上下文长度为8192、并发为1,每元素为2字节(FP16):

2 × 64 × 8 × 128 × 8192 × 1 × 2 = 2,147,483,648字节,约2GiB(2.15GB)。

这组数值仅用于演示,请替换为你所用模型config.json中的真实值。每元素改为1字节的FP8缓存时,同样条件下约1GiB。是否支持量化KV Cache取决于框架版本,请查阅对应版本的文档,并用小流量验证。

按每个token计算更方便。上面的配置下,每个token占用2 × 64 × 8 × 128 × 2 = 262,144字节,即256KiB。

本公式适用于标准的多头或分组查询注意力结构。如果模型使用了MLA或滑动窗口等机制,缓存的计算方式不同,需要以框架文档为准。

一个预算示例

以4bit权重、32GiB显卡为例,按下面的步骤估算可用的KV Cache空间:

  1. 显卡总显存约32GiB。nvidia-smi显示的总量以实际输出为准。
  2. 框架按比例预留显存。以vLLM为例,gpu_memory_utilization设为0.9时,约28.8GiB可供框架使用。具体默认值请查所用版本的文档。
  3. 减去4bit权重约14GiB,剩余约14.8GiB。
  4. 再减去激活、临时缓冲区、CUDA上下文和显存碎片的预留量。这部分无法用公式精确算出,需要实测。若预留按2至4GiB估计,可用于KV Cache的约为10至12GiB。
  5. 换算为token总数。10GiB ÷ 256KiB约为4万个token。按8192上下文计算,理论上最多同时容纳约5路请求。

实际部署应留出余量。建议先从3到4路开始压测,再根据显存和延迟结果调整。

决策顺序

  1. 先用4bit量化权重,把权重占用压到约14GiB。
  2. 用框架的显存比例参数划出可用空间,减去激活与运行时预留后,折算为KV Cache预算。
  3. 按公式反推上下文长度与并发的组合:最大并发 ≈ KV预算 ÷ (上下文长度 × 每token的KV字节数)。
  4. 只有低并发、短上下文场景才考虑FP8,并且要和4bit一起做质量对比。

二、部署前核验

1. 记录环境

上线前先记录驱动、CUDA、框架和镜像版本。后面的测速和质量对比都依赖这些信息。

  1. nvidia-smi --query-gpu=name,driver_version,memory.total --format=csv
  2. docker --version
  3. docker image inspect --format '{{index .RepoDigests 0}}' "$IMAGE_REF"

2. 读取模型参数

  1. MODEL_DIR="/data/models/your-27b-model"
  2. python3 -c '
  3. import json, sys
  4. c = json.load(open(sys.argv[1] + "/config.json"))
  5. t = c.get("text_config", c)
  6. keys = ["num_hidden_layers", "num_key_value_heads", "num_attention_heads", "hidden_size", "head_dim", "max_position_embeddings", "torch_dtype"]
  7. print({k: t.get(k) for k in keys})
  8. ' "$MODEL_DIR"

脚本只打印字段,不修改任何文件。把输出代入KV Cache公式即可。

3. 核验模型文件

把权重文件的sha256与模型发布页或官方清单中的值逐一比对:

  1. cd "$MODEL_DIR" && sha256sum *.safetensors

只要有一个文件不一致,就先停止部署,重新下载。

4. 核验镜像

只用固定摘要(digest)拉取镜像,不使用latest等可变标签。

  1. docker pull "$IMAGE_REPO@sha256:$IMAGE_DIGEST"

拉取后用docker image inspect确认摘要与发布方公布的值一致。

5. 启动容器

  1. docker run -d --name llm-27b \
  2. --gpus '"device=0"' \
  3. --shm-size=8g \
  4. -p 127.0.0.1:8000:8000 \
  5. -v "$MODEL_DIR":/models:ro \
  6. --restart unless-stopped \
  7. "$IMAGE_REPO@sha256:$IMAGE_DIGEST" \
  8. --model /models \
  9. --quantization awq \
  10. --max-model-len 8192 \
  11. --gpu-memory-utilization 0.9 \
  12. --max-num-seqs 4

几点说明:

  • -p 127.0.0.1:8000:8000让服务只监听本机回环地址。不要改成0.0.0.0。
  • 模型目录以只读方式挂载。
  • 上面的启动参数以vLLM为例。--quantization的值要与你的量化格式一致,这里假设为AWQ。换用其他框架时,请按其文档替换参数名。
  • --max-model-len和--max-num-seqs直接对应前文算出的上下文与并发预算。

启动后检查日志和接口:

  1. docker logs --tail 100 llm-27b
  2. curl -s http://127.0.0.1:8000/v1/models

接口能返回模型列表,才算启动成功。

三、SSH隧道安全访问

服务只监听127.0.0.1,外部访问通过SSH端口转发完成,不开放公网端口。

在客户端执行:

  1. ssh -N -o ExitOnForwardFailure=yes -o ServerAliveInterval=30 \
  2. -L 127.0.0.1:8000:127.0.0.1:8000 deploy@gpu-server

隧道建立后,在本地访问http://127.0.0.1:8000,效果等同于在服务器本机访问。

在服务器上确认监听地址:

  1. ss -lntp | grep 8000

输出中的本地地址应为127.0.0.1:8000。如果显示0.0.0.0:8000或:::8000,立即停止服务,检查端口映射参数。

安全要求如下:

  • 使用密钥登录,服务器上关闭密码登录(设置PasswordAuthentication no)。
  • 使用专用的低权限账号,不用root。docker组的成员等同于拥有root权限,不要随意加入。
  • 云服务器安全组和本机防火墙不放行8000端口。
  • 私钥不写入代码、镜像或日志。

四、固定口径测速

测速结果只有在条件固定时才能相互比较。每次测试都要记录并保持下面几项不变:

  • 同一台机器、同一张卡、同一驱动版本
  • 同一个镜像摘要和同一组启动参数
  • 同一组提示词,输入长度基本一致
  • 固定max_tokens,temperature设为0
  • 先预热3次,正式测量20次,两次请求之间的间隔一致
  • 并发数单独测试,不与单路结果混在一起

主要看三个指标:首token延迟(TTFT)、输出速率、端到端延迟的中位数和P95。

下面的脚本通过OpenAI兼容接口的流式返回计算这些指标:

  1. import json
  2. import statistics
  3. import time
  4. import requests
  5. URL = "http://127.0.0.1:8000/v1/chat/completions"
  6. MODEL = "your-model-name"
  7. PROMPT = "请用三百字介绍GPU显存的组成。" # 固定使用同一条提示词
  8. MAX_TOKENS = 256
  9. def run_once():
  10. body = {
  11. "model": MODEL,
  12. "messages": [{"role": "user", "content": PROMPT}],
  13. "max_tokens": MAX_TOKENS,
  14. "temperature": 0,
  15. "stream": True,
  16. }
  17. start = time.perf_counter()
  18. first = None
  19. chunks = 0
  20. with requests.post(URL, json=body, stream=True, timeout=300) as r:
  21. r.raise_for_status()
  22. for line in r.iter_lines():
  23. if not line.startswith(b"data: "):
  24. continue
  25. payload = line[6:]
  26. if payload == b"[DONE]":
  27. break
  28. delta = json.loads(payload)["choices"][0]["delta"].get("content")
  29. if delta:
  30. if first is None:
  31. first = time.perf_counter() - start
  32. chunks += 1
  33. total = time.perf_counter() - start
  34. return first, chunks, total
  35. for _ in range(3):
  36. run_once() # 预热,结果丢弃
  37. results = [run_once() for _ in range(20)]
  38. ttfts = [r[0] for r in results if r[0] is not None]
  39. totals = [r[2] for r in results]
  40. rates = [r[1] / r[2] for r in results]
  41. print("TTFT中位数(s):", round(statistics.median(ttfts), 3))
  42. print("端到端中位数(s):", round(statistics.median(totals), 3))
  43. print("端到端P95(s):", round(sorted(totals)[int(len(totals) * 0.95) - 1], 3))
  44. print("流式分片速率中位数(次/s):", round(statistics.median(rates), 2))

这段脚本统计的是流式分片,不是严格的token数。分片数与token数通常接近,但不相等。需要精确的token吞吐时,请用模型自带的tokenizer统计输出token数。

并发测试可以用线程池同时发起2路、4路请求,重复同样的测量流程。测试期间用下面的命令记录显存和利用率:

  1. nvidia-smi --query-gpu=memory.used,utilization.gpu --format=csv -l 1

测试报告只写实测值,并附上测试命令和环境记录。本文不给出任何通用性能数字。这些数字会随硬件、驱动、框架版本和提示词而变化。

五、量化质量验证

速度快不代表输出可用。量化后,还要检查输出质量是否满足业务要求。

具体做法如下:

  1. 固定评测集。从真实业务中抽取至少200条样本,覆盖主要任务类型。把样本保存为文件,测试期间不修改。
  2. 固定对照基准。在单卡上放不下BF16,可以在显存更大的机器上运行BF16作为参考,也可以用同一模型的官方接口输出作为参考。只比较4bit与FP8时,要写明两者各自的基准。
  3. 固定解码参数。temperature设为0,记录max_tokens和系统提示词。
  4. 统计指标。包括任务通过率(按事先写好的评分标准判定)、格式合规率(例如JSON能否解析)、拒答率变化、重复输出比例。
  5. 有条件时,在同一段保留文本上比较困惑度(perplexity)。比较前要确认两者使用相同的分词器。

判断标准由业务方提前定义,比如”通过率下降不超过某个百分点”。本文不给通用阈值。没有事先定义阈值,结论只能是”存在差异”,不能直接判定”可以上线”。

每条测试样本的输入、输出和版本信息都要保存,便于日后复查。

六、上线检查表

上线前逐项确认:

  • 模型文件的sha256与发布值一致
  • 镜像以摘要方式拉取,并已核验
  • 已读取config.json参数,并按实际数值算出KV Cache预算
  • 服务只监听127.0.0.1,云防火墙未放行8000端口
  • SSH仅允许密钥登录,使用低权限账号
  • 测速结果附带环境和命令记录
  • 质量验证结果达到