简介:本文给出32GB单卡部署27B级大模型的完整实操路径:先讲清"32GB能不能跑"的技术边界与显存估算公式,再给出可直接复制运行的vLLM/TGI/Ollama命令、配置参数风险表、curl与wrk压测脚本及通过阈值、显存不足从宿主机到框架日志的排查链。适合要搭建模型推理环境的开发者、负责上线的运维人员和评估单卡承载力的架构师,可据此快速搭出可访问、可观测、可回滚的推理服务。
能跑,但有前提条件,不是”27B + 32GB”这个组合天然成立。真实约束来自四个量:
一句话结论:32GB 单卡跑 4bit 27B,在 8K 上下文、并发 4 的量级下是可行的,但余量偏紧;如果业务需要 32K 上下文或并发 8 以上,应转向双卡张量并行或改用更小的模型。
权重显存 ≈ 参数量 × 每参数字节数 + 量化元数据开销BF16 : 27B × 2 ≈ 54 GBINT8 : 27B × 1 ≈ 27 GB4bit : 27B × 0.5 ≈ 13.5 GB + 分组scale/zero点 ≈ 14~15 GB
单请求KV = 2(K和V) × 层数 × KV头数 × head_dim × 精度字节数 × 序列长度
以 Gemma-2 27B 级别配置(46 层、KV 头 16、head_dim 128、FP16 缓存)为例:
单token KV ≈ 2 × 46 × 16 × 128 × 2 ≈ 360 KB8192 token ≈ 2.9 GB / 单请求
注意:不同模型的层数、KV 头数差异很大(采用 GQA/MLA 的模型 KV 开销可能低一个数量级),必须按自己模型 config.json 里的 num_hidden_layers、num_key_value_heads、head_dim 重算,不要直接套上表。
| 配置 | 权重 | KV缓存 | 框架开销 | 合计 | 32GB单卡 |
|---|---|---|---|---|---|
| 4bit / 4K / 并发2 | ~14.5GB | ~1.5GB | ~2GB | ~18GB | 舒适 |
| 4bit / 8K / 并发4 | ~14.5GB | ~11.8GB | ~2GB | ~28.3GB | 可行,余量小 |
| 4bit / 8K / 并发8 | ~14.5GB | ~23.6GB | ~2GB | ~40GB | 不可行 |
| 4bit / 32K / 并发4 | ~14.5GB | ~47GB | ~2GB | 不可行 | 不可行 |
| 8bit / 8K / 并发4 | ~28GB | ~11.8GB | ~2GB | ~42GB | 不可行 |
| BF16 / 任意 | ~54GB | — | — | 不可行 | 需≥2卡 |
判断标准:(权重 + KV峰值 + 2GB) ÷ 总显存 ≤ 0.9 视为安全;0.9~1.0 之间可以上线但必须做压测且限制并发;>1.0 必须降上下文、降并发或换精度/换卡。
逐项打勾再动手,能省掉后面 80% 的排查时间:
nvidia-smi 能看到卡,显存总量与型号符合预期nvidia-ctk --version、docker info | grep -i runtime 三处均正常模型目录建议:
/models/llm-27b-4bit/ # 权重 + config.json + tokenizercache/ # HF 缓存、编译缓存logs/ # 服务日志
以下以 vLLM 为主方案,并给出 TGI、Ollama 备选。示例均监听 127.0.0.1——模型服务默认不做任何认证,直接绑 0.0.0.0 等于把推理接口裸露给整个网络,务必先在本机/内网验证,再通过反向代理加认证和白名单后开放。
# 卡是否存在、显存是否被占用nvidia-smi --query-gpu=index,name,memory.total,memory.used,memory.free \--format=csv -l 5# 是否有残留进程占显存nvidia-smi pmon -c 5# ECC / Xid 硬件错误nvidia-smi -q -d ECC | head -40dmesg -T | grep -iE 'xid|nvrm|oom' | tail -20
docker pull vllm/vllm-openai:v0.6.3# 临时容器,先只做设备与框架识别验证docker run --rm -it --gpus '"device=0"' --ipc=host \vllm/vllm-openai:v0.6.3 python -c "import torchprint('cuda available:', torch.cuda.is_available())print('device count :', torch.cuda.device_count())print('device name :', torch.cuda.get_device_name(0))print('total memory :', round(torch.cuda.get_device_properties(0).total_memory/2**30, 2), 'GiB')"
输出应为 True / 1 / 显卡型号 / 31.x。如果 is_available() 为 False,问题在驱动或 --gpus 挂载,不要反复重启服务,先去查 nvidia-container-toolkit 是否装好、/etc/docker/daemon.json 里是否有 "default-runtime": "nvidia"。
pip install -U "huggingface_hub[cli]"mkdir -p /models/llm-27b-4bit /models/cache /models/logshf download <org>/<model-27b-4bit-awq> \--local-dir /models/llm-27b-4bit# 确认关键文件齐全:config.json / *.safetensors / tokenizer*ls -lh /models/llm-27b-4bit
模型来自可信模型仓库,并核对许可证是否允许你的商用场景。
docker run -d --name vllm-27b \--gpus '"device=0"' \--ipc=host \--shm-size 2g \-p 127.0.0.1:8000:8000 \-v /models/llm-27b-4bit:/models/llm-27b-4bit:ro \-v /models/cache:/root/.cache/huggingface \-v /models/logs:/var/log/vllm \-e HF_HUB_OFFLINE=1 \-e VLLM_WORKER_MULTIPROC_METHOD=spawn \--restart=on-failure \vllm/vllm-openai:v0.6.3 \--model /models/llm-27b-4bit \--served-model-name local-llm-27b \--quantization awq \--dtype float16 \--max-model-len 8192 \--gpu-memory-utilization 0.92 \--max-num-seqs 4 \--max-num-batched-tokens 8192 \--enable-chunked-prefill \--host 127.0.0.1 --port 8000docker logs -f vllm-27b
关键点解释:--quantization awq 必须和模型实际量化方式一致(GPTQ 模型写 gptq,写错会加载失败或精度崩坏);--max-num-seqs 4 就是你的并发上限,比调 --gpu-memory-utilization 更能防 OOM;--enable-chunked-prefill 让长 prompt 不阻塞解码,显著改善 TTFT 抖动。
docker run -d --name tgi-27b \--gpus '"device=0"' --shm-size 2g \-p 127.0.0.1:8080:80 \-v /models/llm-27b-4bit:/data \-e HF_HUB_OFFLINE=1 \-e MAX_INPUT_TOKENS=6144 \-e MAX_TOTAL_TOKENS=8192 \-e MAX_CLIENT_BATCH_SIZE=4 \-e NUM_SHARD=1 \--restart=on-failure \ghcr.io/huggingface/text-generation-inference:3.0.1 \--quantize awq
docker run -d --name ollama --gpus '"device=0"' \-p 127.0.0.1:11434:11434 \-v /models/ollama:/root/.ollama \-e OLLAMA_NUM_PARALLEL=4 \-e OLLAMA_MAX_LOADED_MODELS=1 \--restart=on-failure ollama/ollama:latestdocker exec -it ollama ollama pull <model:27b-q4_K_M>
| 参数 | 作用 | 调大的后果 | 调小的后果 |
|---|---|---|---|
--max-model-len |
最大上下文 | KV 显存线性上涨,OOM 首选原因 | 长文档被拒或截断 |
--max-num-seqs |
并发上限 | 显存与延迟同时恶化 | 吞吐下降,请求排队 |
--gpu-memory-utilization |
显存占用目标 | 逼近上限时分配易失败 | KV 块不足,容量浪费 |
--max-num-batched-tokens |
批处理预算 | 单次调度开销高,TTFT 抖动 | 吞吐下降 |
--quantization |
量化方式 | 需与模型实际格式一致 | — |
--dtype |
计算精度 | bfloat16 在老卡上可能不支持 |
精度损失 |
--swap-space |
CPU 交换空间 | 抢占时可用于换出 KV,牺牲延迟 | 抢占即重算 |
--enforce-eager |
关闭 CUDA Graph | 省 1–3GB 显存,吞吐降 10~20% | — |
OOM 参数回退顺序(从代价最小到最大):
--max-model-len 8192 → 4096--max-num-seqs 4 → 2 → 1--max-num-batched-tokens 等比下调--gpu-memory-utilization 升到 0.95;有其他进程时降到 0.85--enforce-eager 换显存--swap-space 4--tensor-parallel-size 2密钥、令牌等敏感信息只放环境变量或密钥管理组件,不要写进命令行历史、代码仓库或日志。
HTTP 200 不代表模型正常。至少走完下面四层。
curl -s http://127.0.0.1:8000/v1/models | jq .curl -s http://127.0.0.1:8000/v1/chat/completions \-H "Content-Type: application/json" \-d '{"model": "local-llm-27b","messages": [{"role":"user","content":"用一句话解释什么是KV缓存"}],"max_tokens": 128,"temperature": 0}' | jq '.choices[0].message.content, .usage'
检查点:内容是否与输入相关、有无乱码/重复/突然截断、usage.completion_tokens 是否接近 max_tokens(接近说明被截断而非自然结束)。
curl -o /dev/null -s -w \'connect=%{time_connect}s TTFT=%{time_starttransfer}s total=%{time_total}s\n' \http://127.0.0.1:8000/v1/chat/completions \-H "Content-Type: application/json" \-d '{"model":"local-llm-27b","messages":[{"role":"user","content":"写一篇500字短文"}],"max_tokens":512,"stream":true}'
流式请求下 time_starttransfer 就是首词时间(TTFT),total 是完整生成时间。输出速度 tok/s = completion_tokens ÷ (total − TTFT)。
准备一个固定请求体:
cat > /tmp/llm-req.json <<'EOF'{"model":"local-llm-27b","messages":[{"role":"user","content":"请生成约300字关于容器化部署的说明"}],"max_tokens":512,"temperature":0}EOF
hey(快速拿延迟分布与错误率):
hey -m POST -n 200 -c 4 -q -T 120 \-H "Content-Type: application/json" \-D /tmp/llm-req.json \http://127.0.0.1:8000/v1/chat/completions
wrk(想看分位数):
cat > /tmp/llm.lua <<'EOF'wrk.method = "POST"wrk.headers["Content-Type"] = "application/json"wrk.body = [[{"model":"local-llm-27b","messages":[{"role":"user","content":"请生成约300字关于容器化部署的说明"}],"max_tokens":512,"temperature":0}]]done = function(s, c, r)if r ~= nil and r ~= "" then print(r) end endEOFwrk -t4 -c4 -d300s --latency -s /tmp/llm.lua \http://127.0.0.1:8000/v1/chat/completions
压测同时另开一个窗口采样显存:
nvidia-smi --query-gpu=memory.used,memory.total,utilization.gpu \--format=csv,noheader -l 1 | tee /models/logs/gpu-$(date +%F-%H%M).csv
| 指标 | 定义 | 采样口径 | 32GB单卡 4bit 27B 参考阈值 |
|---|---|---|---|
| TTFT P95 | 首词时间 95 分位 | 8K 上下文、并发4、连续 5 分钟 | < 3s |
| 输出速度 | tok/s per stream | 512 tokens 单请求 | ≥ 15 tok/s |
| 吞吐 | 总输出 tok/s | 并发4 压测均值 | 视卡型,用于横向对比 |
| 错误率 | 非 200 + 超时占比 | 200 请求样本 | < 0.5% |
| 显存峰值 | nvidia-smi 采样最大 |
压测全程 | ≤ 总显存 90%,无 ECC 报错 |
| 稳定性 | 连续 30 分钟 | 并发 50% 负载 | 显存/内存曲线平稳,无重启 |
采样时丢弃前 1 分钟预热数据(首次请求含 CUDA 图捕获与 KV 块分配),每轮取中位数,至少 3 轮。此外必须补一组长上下文(接近 max-model-len)和一组多轮对话场景,短 prompt 压出来的数字没有参考价值。
不要一上来就改参数,先确认显存被谁吃了。
第一层,宿主机
nvidia-smi --query-gpu=memory.used,memory.free --format=csvnvidia-smi --query-compute-apps=pid,used_memory --format=csv # 谁占的nvidia-smi -q -d ECC | grep -i -A2 "Volatile" # 硬件ECC错误dmesg -T | grep -i xid
宿主机显存已占满而容器刚启动 → 有残留进程;Xid 48 → 显存硬件 ECC 错误;Xid 79 → 卡掉线,都属硬件/驱动问题,改参数无用。
第二层,容器内
docker exec -it vllm-27b nvidia-smidocker stats --no-stream vllm-27b
第三层,框架日志关键字
| 日志关键字 | 含义 | 首选动作 |
|---|---|---|
CUDA out of memory / torch.OutOfMemoryError |
权重或激活放不下 | 查量化方式是否与 --quantization 一致 |
No available memory for the cache blocks |
权重装下了,KV 没空间 | 降 --max-model-len、降 --max-num-seqs |
Free memory ... is less than desired GPU memory utilization |
目标利用率不可达 | 调 --gpu-memory-utilization 或清残留进程 |
max seq len ... is larger than max model len |
请求上下文超限 | 提高 --max-model-len 或客户端截断 |
Number of preemption / Preempted |
请求被抢占重算 | 降并发,TTFT 抖动的元凶 |
ValueError: Bfloat16 is only supported on GPUs |
dtype 与硬件不匹配 | 改 --dtype float16 |
RuntimeError: NCCL error / Watchdog caught collective operation timeout |
多卡通信问题 | 查 --tensor-parallel-size、共享内存、网络 |
结论:No available memory for the cache blocks 出现,说明权重没问题、是 KV 不够,按第七节回退顺序处理即可;CUDA out of memory 在加载阶段就出现,说明权重本身放不下,说明量化没生效或精度参数写错。
容器内看不到卡:nvidia-smi -L 宿主机正常但容器内失败 → 检查 nvidia-container-toolkit 是否安装、docker run 是否带 --gpus、Docker daemon 是否重启过。驱动与 CUDA 版本不匹配时容器内 torch.cuda.is_available() 返回 False。
模型下载失败:先 df -h 看空间,再 curl -I 测仓库连通性;大模型请用带断点续传的下载器,完成后必须校验哈希,中断的半截权重会导致加载时报 safetensors 解析错误。
启动特别慢:看 docker logs 的时间戳,定位耗在下载、safetensors 反序列化还是 CUDA 图捕获。磁盘是网络盘时权重读取会慢一个量级;把 --enforce-eager 打开可跳过图捕获,首次启动能快很多。
接口超时:区分客户端超时和生成慢。客户端超时设 30s 但生成要 60s,是配置问题;并发 4 时 TTFT 从 1s 涨到 15s,是排队问题,降 --max-num-seqs 或加实例。
端口访问不通:先 curl 127.0.0.1:8000 本机自测 → 通,再查监听地址是否被绑成 127.0.0.1(这正是我们想要的安全默认值,需外部访问请走反向代理)→ 再查防火墙/安全组 → 最后查反代转发与超时设置。
输出质量异常:temperature/top_p 是否合理、模型是否为 instruct 版本、chat template 是否匹配、量化是否过激。用固定 temperature=0 的基准题复现,保存输入输出样本再对比不同量化版本。
监控四层,各取三个核心指标即可
nvidia-smi 显存占用/利用率、温度、ECC 计数告警建议:重启次数 ≥3/10min、错误率 >1% 持续 5min、显存 >95%、磁盘 <15%、温度 >85℃。
日志分级并设保留期:启动日志(版本+关键配置)、请求日志(请求 ID + 耗时 + 状态码)、错误日志(堆栈 + 请求 ID)、审计日志(调用方 + 变更)。vLLM 生产环境建议保留 --disable-log-requests 关闭逐请求打印,避免磁盘被刷满;需要排查时再临时打开。
安全控制(模型服务默认无认证,这条不是可选项):只监听 127.0.0.1 或内网地址;对外通过反向代理/网关统一入口;接口加认证(API Key 或 mTLS);调用方白名单;限流(按调用方 × QPS + 并发上限);传输加密;密钥定期轮换;输入输出内容脱敏后落审计日志。
稳定性与回滚:健康检查 /health 间隔 30s;restart=on-failure;客户端侧超时 + 有限重试(仅幂等请求);镜像 tag 与启动配置纳入版本管理,保留上一版配置,新版本异常时 5 分钟内可回退。
成本:4bit 量化本身就是最大的省钱动作;把模型放持久化存储避免重复下载;按业务峰值选卡规格,低峰期回收实例;日志分级存储 + 生命周期管理。流量波动大时再用弹性伸缩,不要一开始就为峰值长期付费。
问:32GB 显存能跑 27B 模型吗?
取决于精度和上下文。4bit 量化 + 4K~8K 上下文 + 并发 2~4 可行;INT8/BF16 不可行。务必先用第二节的公式算 KV 峰值再决定。
问:为什么显存没满也会 OOM?
碎片化 + CUDA 图捕获 + 请求突发。降 --max-num-batched-tokens,加 --enforce-eager,或把 --gpu-memory-utilization 从 0.98 降到 0.90。
问:怎么避免显存溢出?
三条硬规则:设死 --max-model-len;设死 --max-num-seqs 并在网关侧限流不超过该值;峰值占用控制在 90% 以内。
问:单卡和双卡怎么选?
单卡优先——省去 TP 通信开销,27B 4bit 单卡足够多数试点场景。只有需要 FP16 精度、超过 32K 上下文或更高并发时才上双卡 --tensor-parallel-size 2。
问:TTFT 抖动怎么办?
打开 --enable-chunked-prefill,限制单请求 prompt 长度,检查日志里的 Preempted 次数,降并发。
问:怎么判断该扩容了?
连续 3 天 P95 延迟逼近阈值、抢占次数持续 >0、显存峰值 >90%,任一成立就该加实例或升卡。
单卡 27B 推理部署的难点不在启动命令,而在四个判断:显存账要算清(权重 + KV × 上下文 × 并发 ≤ 90% 总显存)、量化方式要与参数一致(4bit 是 32GB 的可行前提)、参数要有硬上限(max-model-len 和 max-num-seqs 是防 OOM 的两道闸)、验证要有量化口径(TTFT / tok/s / 错误率 / 显存峰值 + 压测脚本)。
落地节奏建议:先算账 → 再验证容器 → 再加载模型 → 再压测定阈值 → 最后开放访问;对外只开必要端口,默认绑 127.0.0.1,认证、限流、白名单齐备后再经反向代理暴露。可观测性(日志、监控、告警、回滚)要和部署同步做,而不是等出事再补。