简介:本文以单张32G显存GPU为例,讲解27B量化大模型的部署全流程,涵盖显存估算、镜像与驱动版本核对、GPU透传验证、推理服务参数配置、SSH隧道安全访问和可复现的性能压测方法。读完可直接套用检查清单,避免常见的OOM与环境不兼容问题,并对并发上限形成可实测的判断。
单卡32G方案适合小团队内部的辅助编程、企业知识库问答和文案草稿生成。这类场景的并发通常较低,单次请求的上下文也较短。
该方案不适合对公网提供高并发服务。显存同时受模型权重和KV Cache(缓存注意力计算中间结果的显存)限制。并发数越高,上下文越长,KV Cache占用越多。两者叠加后,显存会先于算力耗尽。
权重显存可按“参数量 × 每参数字节数”粗略估算:
| 权重精度 | 理论权重占用(27B) | 32G单卡判断 |
|---|---|---|
| FP16/BF16(2字节) | 约54 GB | 放不下,排除 |
| 8位量化(1字节) | 约27 GB | 余量极小,几乎无法留给KV Cache,不建议 |
| 4位量化(约0.5字节) | 约13.5 GB | 可行,是本文的前提 |
4位量化的实际占用通常高于理论值,因为量化格式会附带缩放系数,部分层也可能保持较高精度。实际占用以启动后nvidia-smi的显示为准,需实测。
启动后,框架还会占用一部分显存用于CUDA上下文和内存碎片。建议预留2到4 GB余量,具体数值需实测。
在拉取大镜像之前,先完成以下检查。
| 检查项 | 命令 | 预期结果 | 失败处置 | |
|---|---|---|---|---|
| GPU型号与显存 | nvidia-smi --query-gpu=name,memory.total,driver_version --format=csv |
显示目标GPU型号,显存约32G | 确认是否插错卡或未识别 | |
| 驱动与CUDA版本 | 执行nvidia-smi,查看右上角CUDA Version |
驱动版本能支持镜像内的CUDA运行时 | 更换驱动或选用匹配CUDA版本的镜像 | |
| 容器引擎 | docker version |
服务端版本正常返回 | 安装并启动容器引擎 | |
| GPU容器运行时 | `docker info \ | grep -i runtime` | 存在nvidia运行时 | 安装NVIDIA Container Toolkit并重启容器引擎 |
| 磁盘空间 | df -h /data |
剩余空间至少为模型大小的2倍 | 清理空间或更换挂载盘 | |
| 缓存目录权限 | ls -ld /data/model-cache |
属主为服务运行用户,权限为750 | 执行chown与chmod调整 |
部署前请在团队文档中记录以下版本信息,并标注每一项的状态:
| 组件 | 版本 | 状态 |
|---|---|---|
| 驱动版本 | 待填写 | 确定 / 取决于硬件 / 需实测 |
| CUDA运行时 | 待填写 | 确定 / 取决于镜像 / 需实测 |
| 推理框架 | 待填写 | 确定 / 取决于镜像 / 需实测 |
| 容器镜像标签 | 待填写 | 确定 / 取决于镜像 / 需实测 |
| 模型权重版本与校验值 | 待填写 | 确定 / 需实测 |
拉取镜像后,先不要直接启动服务,而是运行一个临时容器检查GPU是否可见。
docker run --rm --gpus all <镜像:标签> nvidia-smi
输出的GPU型号和显存应与宿主机一致。若命令失败,问题通常出在GPU容器运行时或驱动版本上,应先回到第三节处理。
接着检查框架能否识别GPU的计算能力(Compute Capability):
docker run --rm --gpus all --entrypoint python <镜像:标签> -c "import torch; print(torch.__version__, torch.version.cuda, torch.cuda.get_device_name(0), torch.cuda.get_device_capability(0)); print(torch.cuda.get_arch_list())"
请确认get_arch_list()的输出中包含当前GPU的架构代码。若不包含,框架可能在推理时报错,或退回到较慢的算子实现。遇到这种情况,应更换为支持该架构的镜像版本,而不要手动降级或拼装依赖。
若镜像中没有PyTorch,请改用该镜像所带框架的对应命令完成同样的检查。
在启动容器前,先把模型权重下载到宿主机缓存目录中。若模型仓库提供校验值,应在下载后核对。这样可以避免服务启动时因网络中断而卡住。
以下示例以vLLM为例,实际命令形式以所用镜像的文档为准:
docker run -d --name llm-27b \--restart unless-stopped \--gpus all \--ipc=host \--shm-size=8g \-p 127.0.0.1:8000:8000 \-v /data/model-cache:/root/.cache/huggingface \<镜像:标签> \vllm serve /root/.cache/huggingface/<模型目录> \--quantization <与权重格式一致的量化方式> \--max-model-len 8192 \--gpu-memory-utilization 0.85 \--max-num-seqs 4
各参数的含义与起点值如下:
| 参数 | 作用 | 建议起点 | 风险 |
|---|---|---|---|
--ipc=host、--shm-size |
进程间通信和张量数据交换所用的共享内存 | 8g,需实测 | 共享内存不足时,服务可能出错或变慢 |
-p 127.0.0.1 |
只把端口映射到宿主机本地回环地址 | 固定为本地回环地址 | 写成-p 8000:8000会暴露到所有网卡,存在安全风险 |
-v |
把宿主机缓存目录挂载进容器 | 挂载持久化目录 | 容器删除后,权重需要重新下载 |
--max-model-len |
单个请求允许的最大上下文长度 | 8192,需实测 | KV Cache占用与该值大致成正比,设置过大易OOM |
--gpu-memory-utilization |
框架可占用的显存比例 | 0.80至0.90 | 数值过高会导致启动失败或运行中OOM |
--max-num-seqs |
同时处理的最大序列数 | 4,需实测 | 决定并发上限,需结合压测结果调整 |
--quantization |
指定量化方式 | 与权重格式严格一致 | 不匹配时,启动失败或输出质量下降 |
以上数值只是起点,不是推荐值。首次启动时,建议先把--max-num-seqs设为1,确认服务能正常响应,再逐步调高。
启动后,通过以下命令查看日志和健康状态:
docker logs -f llm-27bcurl -f http://127.0.0.1:8000/health
日志中若出现“out of memory”字样,应先降低--gpu-memory-utilization或--max-model-len,再重启服务。
服务不应直接对公网开放。推荐在开发机上建立SSH本地端口转发:
ssh -N -L 18000:127.0.0.1:8000 <用户名>@<服务器地址>
隧道建立后,在开发机上执行以下命令验证接口:
curl http://127.0.0.1:18000/v1/models
返回的模型列表中应包含当前部署的模型。之后,开发机上的编程工具或应用即可把接口地址配置为http://127.0.0.1:18000/v1。
安全注意事项:
性能测试应定义清楚指标和口径,否则结果无法复现。建议关注以下指标:
测试矩阵建议如下:
可使用vLLM自带的基准脚本,也可使用locust等通用压测工具。无论用哪种工具,都要记录工具版本、测试参数和硬件信息。
压测时,用以下命令观察GPU的利用率和显存占用:
nvidia-smi dmon -s um -d 1
判断并发上限时,不要只看峰值吞吐。应找出满足首字延迟目标和成功率目标的最大并发数。团队可根据业务需要设定具体目标值。
输出质量同样需要验证。可准备代码生成、逻辑推理和长文摘要各10条测试题,由人工打分,并与未量化的基线结果或历史版本对比。若量化后质量明显下降,应考虑更高精度的量化方案,或更换模型。
| 现象 | 定位方式 | 可能原因 | 处置 |
|---|---|---|---|
| 容器内看不到GPU | 执行带--gpus all的nvidia-smi |
GPU容器运行时未安装,或驱动与镜像不匹配 | 安装运行时组件,核对驱动版本 |
| 启动时OOM | 查看日志中的“out of memory” | 显存比例过高,或上下文过长 | 降低显存比例或上下文长度 |
| 模型下载缓慢或中断 | 观察缓存目录文件大小是否增长 | 网络不稳定 | 在宿主机预先下载并放入缓存目录 |
| 运行中延迟升高 | 查看nvidia-smi的GPU利用率 |
并发不足、CPU或磁盘成为瓶颈 | 检查CPU、磁盘I/O和并发配置 |
运维建议:
/health接口,连续失败时发出告警。--restart unless-stopped,并配合健