简介:本文以单张24GB显存GPU为例,讲解如何部署4bit量化的27B大模型,并提供兼容OpenAI接口的服务。内容包括显存预算、容器化启动、上线验证、常见故障排查和运维监控。读者可据此判断单卡方案是否适合自己的业务,并避开常见的显存溢出和端口配置问题。
24GB显存能跑多大的模型? 以4bit量化计算,模型权重约占每十亿参数0.5到0.6GB。27B模型的权重约为14到16GB,因此单张24GB显卡可以装下它,但剩余显存只有几GB,要同时容纳推理中间数据和KV Cache,上下文长度不能设得过大。若换成30B以上的模型,单卡余量会明显变小,需要更保守的参数。
AWQ与GPTQ怎么选? 两种格式都能被vLLM加载。选择时先看两点:模型仓库是否提供官方或作者维护的量化版本,以及你使用的推理框架是否明确支持该格式。同一模型的不同量化版本效果可能有差异,最终应以自己的业务测试结果为准。
本方案的目标是在一张24GB显存的GPU上运行4bit量化后的27B大语言模型,并对外提供兼容OpenAI API标准的推理接口。调用方只需把客户端的Base URL指向服务器地址,就能复用已有的SDK和代码。
需要先说明一个限制。量化会带来一定的精度损失,在推理、代码生成、长文本理解等任务上,表现可能低于未量化的原版模型。模型在某些任务上能给出可用结果,并不代表它在所有场景下都能替代顶尖闭源模型。是否采用,应当用你自己的业务数据做基准测试后再决定。
适用读者包括AI应用开发者、系统运维工程师、企业架构师,以及需要在私有环境中验证AI业务的技术团队。
单卡量化部署主要适合以下三类场景。
如果业务并发持续增长,单卡很快会成为瓶颈,此时应考虑多节点方案,详见第九部分。
方案采用“容器化推理服务加持久化存储”的结构,主要包括以下组件。
开始部署前,需要完成以下检查。
1. 硬件规格。 GPU显存不低于24GB,并且驱动支持所用的CUDA版本。系统内存建议不低于32GB,以免模型加载阶段因内存不足被系统终止。
2. 驱动与CUDA。 安装Linux发行版的NVIDIA驱动。执行下面的命令,确认能正常输出GPU状态:
nvidia-smi
3. 容器运行时。 安装Docker和NVIDIA Container Toolkit。安装完成后,执行下面的命令检查容器能否访问GPU。若输出与宿主机一致的GPU信息,说明配置正确:
docker run --rm --gpus all nvidia/cuda:12.4.1-base-ubuntu22.04 nvidia-smi
如果这里报错,常见原因是Container Toolkit未安装,或安装后没有重启Docker服务。
4. 模型文件。 从可信的模型仓库下载4bit量化版本,权重格式为AWQ或GPTQ。下载后,检查目录中的config.json是否包含量化配置,确认量化格式与预期一致:
huggingface-cli download <仓库名> --local-dir /data/models/gemma-2-27b-awqgrep -A6 quantization_config /data/models/gemma-2-27b-awq/config.json
如果没有quantization_config字段,说明这可能不是量化版本,或者下载不完整。此时不要继续部署,先核对仓库内容。
5. 端口规划。 确定服务端口,本文使用8000。在本机防火墙和云服务器安全组中,只对需要访问的内网地址或IP段放行该端口。
部署失败最常见的原因是显存溢出(OOM)。在动手前,先计算显存预算。
设定gpu_memory_utilization为0.90,则vLLM可使用的显存约为:
24GB × 0.90 ≈ 21.6GB
减去模型权重(约15GB)以及框架运行时的开销(约1到2GB),剩余约4到5GB留给KV Cache。KV Cache的占用可以用下面的公式估算:
每个token的KV Cache字节数 = 2 × 层数 × KV头数 × 头维度 × 每元素字节数
其中,层数、KV头数和头维度来自模型的config.json,每元素字节数在FP16下为2。单个请求占用的显存等于上式结果乘以上下文长度。同时处理多个请求时,各请求的KV Cache会叠加。
由此得出的保守建议如下。
max_model_len先设为4096。确认服务稳定后,再逐步提高到8192。max_model_len,其次调低gpu_memory_utilization。下面的命令以vLLM官方OpenAI兼容镜像为例。镜像版本请替换为你已验证过的版本,示例中使用v0.6.3。镜像内的CUDA版本需要与宿主机驱动兼容。
docker run -d \--name llm-inference \--restart=always \--gpus all \--ipc=host \-p 8000:8000 \-v /data/models/gemma-2-27b-awq:/models:ro \vllm/vllm-openai:v0.6.3 \--model /models \--served-model-name local-27b \--gpu-memory-utilization 0.90 \--max-model-len 4096 \--host 0.0.0.0 \--port 8000
参数说明如下。
--gpus all:把宿主机GPU挂载进容器。--ipc=host:vLLM推荐的共享内存设置,可以避免部分环境下的运行异常。-v ... :/models:ro:以只读方式挂载模型目录,防止容器误写模型文件。--served-model-name:对外暴露的模型名称,调用时model字段要与之一致。