简介:面向开发者和运维团队,对比L4、RTX 4090、L40S等显卡的显存与功耗,给出显存并发估算公式、部署命令、压测口径、排错与回滚步骤,帮助读者在功耗、显存和成本之间做出可落地的部署决策,并能完成选型、上线验证与回滚演练。
本文面向开发者和运维团队,场景是在单机或私有服务器上部署7B至13B参数的文本生成模型,并通过HTTP接口向内网提供服务。部署完成后,应满足以下要求:健康检查通过,接口认证后可正常调用,显存在设定水位内运行,首响应延迟和吞吐达到业务基线,并且能够灰度发布与回滚。
文中的前提条件如下。操作系统以Ubuntu 22.04等常见Linux发行版为例。GPU为NVIDIA型号。推理框架以vLLM为示例,其他框架的参数名称不同,需要对照所用框架的文档调整。文中的显存数字是按十进制GB计算的近似值,最终以实测为准。
下表列出三类候选卡。功耗为厂商标称的TDP,实际功耗以厂商规格书和现场实测为准。
| 型号 | 显存 | 标称功耗 | 散热与形态 | 适合的部署方式 | 主要风险 |
|---|---|---|---|---|---|
| NVIDIA L4 | 24GB GDDR6 | 72W | 被动散热,单槽低姿,依赖服务器风道 | 低功耗高密度,7B模型多实例,13B需量化 | 24GB下13B的FP16权重无法完整装入,单卡算力有限 |
| GeForce RTX 4090 | 24GB GDDR6X | 450W | 风扇散热,多槽 | 实验验证、小规模高吞吐 | 对电源和散热要求高,需验证长时间满载稳定性。GeForce驱动的最终用户许可协议对数据中心部署有限制,上线前需确认许可 |
| NVIDIA L40S | 48GB GDDR6 | 350W | 被动散热,双槽,依赖服务器风道 | 13B的FP16部署、长上下文、多模型共存 | 单卡采购成本和功耗较高 |
| NVIDIA RTX A6000 | 48GB GDDR6 | 300W | 风扇散热,双槽 | 工作站或小机箱中的13B服务 | 多卡密度受机箱空间限制,采购成本需与同显存卡逐项比较 |
选型可以按以下思路判断。
第一,若机房电力或散热受限,且目标是多实例并发,优先考虑L4。在相同功耗预算下,单机可以安装更多卡。
第二,若需要以FP16运行13B模型,或者需要长上下文和较高并发,应选择48GB档位的卡。13B模型的FP16权重约26GB,超过24GB显存,无法在24GB卡上以FP16完整加载。
第三,若用于验证或离线任务,RTX 4090可以使用。上线前应检查电源余量、机箱风道以及许可条款。
不推荐的场景是:在24GB卡上运行13B模型,同时要求长上下文和高并发。这种情况下应降低并发上限,或将负载拆分到多张卡或多台机器。
部署前应先估算显存,再确定实例数和并发上限。估算公式如下。
权重显存 ≈ 参数量 × 每参数字节数FP16 = 2,INT8 = 1,INT4 ≈ 0.5(量化元数据另计)单token的KV Cache ≈ 2 × 层数 × KV头数 × 头维度 × 每元素字节数(FP16为2)可用于KV Cache的显存 ≈ 总显存 × 显存利用率 − 权重显存 − 运行时开销
模型结构参数应从模型目录的config.json中读取,可以运行以下命令查看。
python3 -c "import json; c=json.load(open('/models/current/config.json')); print({k: c.get(k) for k in ['num_hidden_layers','num_attention_heads','num_key_value_heads','hidden_size','head_dim']})"
其中,若没有num_key_value_heads字段,说明模型使用的是多头注意力,KV头数等于num_attention_heads。若没有head_dim字段,则头维度等于hidden_size除以num_attention_heads。
下面用两个例子说明计算过程。假设显存利用率为0.90,运行时开销预留1.5GB。
例1:7B模型,FP16,部署在L4(24GB)上
若模型为多头注意力结构(32层、32个KV头、头维度128),单token的KV Cache约为0.5MB,6GB约能容纳1.1万个token。若以8192上下文计算,同时只能有1路请求占满全部上下文。
若模型为分组查询注意力结构(32层、8个KV头、头维度128),单token的KV Cache约为128KB,6GB约能容纳4.5万个token,8192上下文下约支持5路并发。
实际业务中,多数请求不会同时达到上下文上限,因此真实并发会高于上述保守估算。最终的并发上限仍需通过压测确定。
例2:13B模型,INT8,部署在L4(24GB)上
假设模型为多头注意力结构(40层、40个KV头、头维度128),KV Cache仍使用FP16。单token约0.82MB,7GB约能容纳8600个token。若上下文为4096,约支持2路并发。
例3:13B模型,FP16,部署在48GB显卡(如L40S)上
按照例2的结构参数,15.7GB约能容纳1.9万个token,上下文为4096时约支持4路并发。
压测的目的是确定安全的并发上限,并为后续的扩容判断提供基线。
压测设计
指标口径
GPU指标可以用以下命令按秒采样,并写入日志文件。
nvidia-smi --query-gpu=timestamp,memory.used,memory.total,power.draw,temperature.gpu,utilization.gpu,clocks.sm --format=csv -l 1 >> /var/log/llm/gpu_$(date +%F).csv
阈值设置
下列数值仅为示例,应替换为业务的服务等级目标(SLA):错误率不超过0.5%,超时率不超过0.5%,TTFT P95不超过业务规定的上限,显存峰值不超过总显存的90%,GPU温度比厂商降频阈值至少低10°C。
压测结果应记录显卡型号、驱动版本、框架版本、模型版本、参数配置和测试数据集版本,便于复现和对比。
以下命令假设服务以专用账号运行,模型按版本存放,并通过软链接切换当前版本。
1. 确认硬件和驱动
lspci | grep -i nvidianvidia-smi
驱动和CUDA版本应按所选推理框架文档的要求安装,并在变更记录中写明版本。
2. 创建运行账号
sudo useradd --system --no-create-home --shell /usr/sbin/nologin llmsvc
3. 创建目录
sudo mkdir -p /models/releases /opt/llm/conf /var/log/llm
4. 放置模型并校验
将模型文件放入版本目录(例如/models/releases/v1),并使用供应方提供的校验文件核对。
cd /models/releases/v1 && sha256sum -c SHA256SUMS
校验通过后,将模型目录设为只读,服务账号只保留读取权限。
sudo chown -R root:root /models/releases/v1sudo chmod -R a-w /models/releases/v1
5. 创建当前版本的软链接
sudo ln -sfn /models/releases/v1 /models/current
之后切换版本或回滚,都只需要修改这个软链接。
6. 创建虚拟环境并锁定框架版本
```bash
python3 -m venv /opt/ll