简介:32G单卡能否跑27B模型?本文先给出权重与KV Cache的显存预算方法,再说明config参数读取、镜像哈希核验、容器启动、仅本机监听的SSH隧道访问,以及固定口径的测速与量化质量验证。读完即可在自己的环境中按步骤复现,所有性能数字都以你的实测为准。
32G单卡能不能跑27B模型,先要算清楚显存账。显存主要被四部分占用:模型权重、KV Cache、激活与临时缓冲区,以及CUDA运行时本身。框架还会按比例预留一部分显存,真正可用的空间比显卡标称容量小得多。
先统一单位。显卡标称的”32G”通常指32GiB,约合34.4GB。权重体积的估算常用GB(10^9字节),两者差约7%,混用会算错余量。下表按27B参数估算:
| 权重精度 | 每参数字节数 | 估算体积(GB) | 估算体积(GiB) |
|---|---|---|---|
| BF16/FP16 | 2 | 约54 | 约50 |
| FP8 | 1 | 约27 | 约25 |
| 4bit分组量化 | 约0.5至0.6 | 约14至16 | 约13至15 |
4bit一行的范围取决于分组大小(group size)、缩放系数的存储精度,以及零点是否保存。常见的分组量化方案每参数占用略高于0.5字节。嵌入层和输出层有时保留较高精度,会额外增加体积。最终以模型文件的实际大小为准。
据此可以得出几个判断。BF16权重超过32GiB,单卡无法直接放下,必须量化。本文不讨论CPU offload或多卡切分。FP8权重约25GiB,剩余空间只够低并发、短上下文使用。4bit权重约14GiB,剩余空间明显更大,更适合作为单卡部署的起点。
KV Cache存放推理过程中每个token的K和V向量。计算公式如下:
KV Cache字节数 ≈ 2 × 层数 × KV头数 × 头维度 × 上下文长度 × 并发请求数 × 每元素字节数
系数2代表K和V两份缓存。层数、KV头数、头维度可以在模型目录的config.json中找到。头维度的字段名不统一,有的模型直接给出head_dim,没有时用hidden_size除以num_attention_heads估算。多模态模型的语言部分参数可能嵌套在text_config中。
用一个假设配置演示计算。假设层数为64、KV头数为8、头维度为128、上下文长度为8192、并发为1,每元素为2字节(FP16):
2 × 64 × 8 × 128 × 8192 × 1 × 2 = 2,147,483,648字节,约2GiB(2.15GB)。
这组数值仅用于演示,请替换为你所用模型config.json中的真实值。每元素改为1字节的FP8缓存时,同样条件下约1GiB。是否支持量化KV Cache取决于框架版本,请查阅对应版本的文档,并用小流量验证。
按每个token计算更方便。上面的配置下,每个token占用2 × 64 × 8 × 128 × 2 = 262,144字节,即256KiB。
本公式适用于标准的多头或分组查询注意力结构。如果模型使用了MLA或滑动窗口等机制,缓存的计算方式不同,需要以框架文档为准。
以4bit权重、32GiB显卡为例,按下面的步骤估算可用的KV Cache空间:
实际部署应留出余量。建议先从3到4路开始压测,再根据显存和延迟结果调整。
上线前先记录驱动、CUDA、框架和镜像版本。后面的测速和质量对比都依赖这些信息。
nvidia-smi --query-gpu=name,driver_version,memory.total --format=csvdocker --versiondocker image inspect --format '{{index .RepoDigests 0}}' "$IMAGE_REF"
MODEL_DIR="/data/models/your-27b-model"python3 -c 'import json, sysc = json.load(open(sys.argv[1] + "/config.json"))t = c.get("text_config", c)keys = ["num_hidden_layers", "num_key_value_heads", "num_attention_heads", "hidden_size", "head_dim", "max_position_embeddings", "torch_dtype"]print({k: t.get(k) for k in keys})' "$MODEL_DIR"
脚本只打印字段,不修改任何文件。把输出代入KV Cache公式即可。
把权重文件的sha256与模型发布页或官方清单中的值逐一比对:
cd "$MODEL_DIR" && sha256sum *.safetensors
只要有一个文件不一致,就先停止部署,重新下载。
只用固定摘要(digest)拉取镜像,不使用latest等可变标签。
docker pull "$IMAGE_REPO@sha256:$IMAGE_DIGEST"
拉取后用docker image inspect确认摘要与发布方公布的值一致。
docker run -d --name llm-27b \--gpus '"device=0"' \--shm-size=8g \-p 127.0.0.1:8000:8000 \-v "$MODEL_DIR":/models:ro \--restart unless-stopped \"$IMAGE_REPO@sha256:$IMAGE_DIGEST" \--model /models \--quantization awq \--max-model-len 8192 \--gpu-memory-utilization 0.9 \--max-num-seqs 4
几点说明:
-p 127.0.0.1
8000让服务只监听本机回环地址。不要改成0.0.0.0。--quantization的值要与你的量化格式一致,这里假设为AWQ。换用其他框架时,请按其文档替换参数名。--max-model-len和--max-num-seqs直接对应前文算出的上下文与并发预算。启动后检查日志和接口:
docker logs --tail 100 llm-27bcurl -s http://127.0.0.1:8000/v1/models
接口能返回模型列表,才算启动成功。
服务只监听127.0.0.1,外部访问通过SSH端口转发完成,不开放公网端口。
在客户端执行:
ssh -N -o ExitOnForwardFailure=yes -o ServerAliveInterval=30 \-L 127.0.0.1:8000:127.0.0.1:8000 deploy@gpu-server
隧道建立后,在本地访问http://127.0.0.1:8000,效果等同于在服务器本机访问。
在服务器上确认监听地址:
ss -lntp | grep 8000
输出中的本地地址应为127.0.0.1:8000。如果显示0.0.0.0:8000或:::8000,立即停止服务,检查端口映射参数。
安全要求如下:
测速结果只有在条件固定时才能相互比较。每次测试都要记录并保持下面几项不变:
主要看三个指标:首token延迟(TTFT)、输出速率、端到端延迟的中位数和P95。
下面的脚本通过OpenAI兼容接口的流式返回计算这些指标:
import jsonimport statisticsimport timeimport requestsURL = "http://127.0.0.1:8000/v1/chat/completions"MODEL = "your-model-name"PROMPT = "请用三百字介绍GPU显存的组成。" # 固定使用同一条提示词MAX_TOKENS = 256def run_once():body = {"model": MODEL,"messages": [{"role": "user", "content": PROMPT}],"max_tokens": MAX_TOKENS,"temperature": 0,"stream": True,}start = time.perf_counter()first = Nonechunks = 0with requests.post(URL, json=body, stream=True, timeout=300) as r:r.raise_for_status()for line in r.iter_lines():if not line.startswith(b"data: "):continuepayload = line[6:]if payload == b"[DONE]":breakdelta = json.loads(payload)["choices"][0]["delta"].get("content")if delta:if first is None:first = time.perf_counter() - startchunks += 1total = time.perf_counter() - startreturn first, chunks, totalfor _ in range(3):run_once() # 预热,结果丢弃results = [run_once() for _ in range(20)]ttfts = [r[0] for r in results if r[0] is not None]totals = [r[2] for r in results]rates = [r[1] / r[2] for r in results]print("TTFT中位数(s):", round(statistics.median(ttfts), 3))print("端到端中位数(s):", round(statistics.median(totals), 3))print("端到端P95(s):", round(sorted(totals)[int(len(totals) * 0.95) - 1], 3))print("流式分片速率中位数(次/s):", round(statistics.median(rates), 2))
这段脚本统计的是流式分片,不是严格的token数。分片数与token数通常接近,但不相等。需要精确的token吞吐时,请用模型自带的tokenizer统计输出token数。
并发测试可以用线程池同时发起2路、4路请求,重复同样的测量流程。测试期间用下面的命令记录显存和利用率:
nvidia-smi --query-gpu=memory.used,utilization.gpu --format=csv -l 1
测试报告只写实测值,并附上测试命令和环境记录。本文不给出任何通用性能数字。这些数字会随硬件、驱动、框架版本和提示词而变化。
速度快不代表输出可用。量化后,还要检查输出质量是否满足业务要求。
具体做法如下:
判断标准由业务方提前定义,比如”通过率下降不超过某个百分点”。本文不给通用阈值。没有事先定义阈值,结论只能是”存在差异”,不能直接判定”可以上线”。
每条测试样本的输入、输出和版本信息都要保存,便于日后复查。
上线前逐项确认: