简介:本文说明如何把27B稠密开源模型部署为可鉴权、可监控、可回滚的推理服务。内容涵盖显存估算、双卡量化部署命令、健康检查、上线验收阈值与常见故障排查。读者可据此在双24GB显卡或云GPU实例上复现部署流程,并依据自己的压测结果调整关键参数。
稠密架构的模型在每次推理时都会使用全部参数。这意味着显存需求由完整权重决定,而不是由单次激活的参数决定。代价是显存门槛更高,但部署路径更简单。团队只需管理一套权重文件,不必处理混合专家(MoE)模型特有的专家路由、专家并行和负载均衡问题。同样的请求在同样的配置下,输出和耗时的波动也更小,压测结果更容易复现。
本文不核验模型的能力评测。模型在代码、工程或通用任务上的表现,应以发布方官方页面公布的评测表为准。部署团队还需要用自己的业务样本复测,因为公开基准与真实业务的差距可能很大。
适合阅读本文的人包括:需要在企业内网、自建机房或私有云运行开源模型的开发者、运维工程师和架构师,以及关注推理成本的技术负责人。
推理显存由三部分组成:模型权重、KV Cache 和运行时开销。权重显存可以按参数量乘以每参数字节数估算。
| 精度 | 每参数字节数 | 权重显存估算 | 适用硬件方向 |
|---|---|---|---|
| BF16 | 2 | 约 54 GB | 单张 80GB 显卡或多卡服务器 |
| INT8 | 1 | 约 27 GB | 2×32GB 余量较好,2×24GB 较紧张 |
| INT4(AWQ/GPTQ) | 0.5 | 约 15~18 GB(含量化元数据) | 2×24GB 消费级显卡可承载 |
KV Cache 随上下文长度和并发数线性增长。单个 token 的 KV Cache 字节数可以用模型配置文件中的参数计算:
每个 token 的 KV Cache 字节数 = 2 × 层数 × KV 头数 × 每头维度 × 每元素字节数
层数、KV 头数和每头维度都可以在模型目录的 config.json 中找到。假设某模型为 64 层、8 个 KV 头、每头维度 128,使用 BF16 存储,则每个 token 约占 0.25 MB。16384 个 token 的单条序列约占 4 GB。这些数字只用于演示计算方法,实际部署时请以自己的模型配置为准。
规划时可以按下表填写测试结果,表中每一行都需要在真实硬件上实测后再使用:
| 精度 | 上下文长度 | 单序列 KV Cache | 并发起点 | 实测首字延迟 P95 | 实测显存峰值 |
|---|---|---|---|---|---|
| INT4 | 8K | 待计算 | 待测 | 待测 | 待测 |
| INT4 | 16K | 待计算 | 待测 | 待测 | 待测 |
| INT8 | 16K | 待计算 | 待测 | 待测 | 待测 |
测试条件需要一并记录:输入长度、输出长度上限、批大小、框架版本和量化格式。缺少测试条件的显存数字无法用于容量决策。
内存方面,系统内存建议不低于显存总量。磁盘建议预留 100GB 以上空间,并使用 NVMe SSD 存放权重,以缩短加载时间。
先确认 GPU 驱动和 CUDA 环境可用:
nvidia-smi --query-gpu=name,memory.total,driver_version --format=csvpython -c "import torch; print(torch.cuda.is_available(), torch.cuda.device_count())"
设备数量与计划的并行数一致,显存容量与规划相符,才能继续后续步骤。
权重下载完成后,如果发布方提供了校验文件,应逐一校验:
cd /models/dense-27b/v1sha256sum -c SHA256SUMS
校验失败的文件不能使用。权重目录设为只读,防止运行时被误写:
chmod -R a-w /models/dense-27b/v1
生产环境建议保留两个版本,一个是当前版本,一个是上一稳定版本,并用软链接 current 指向当前版本。每次更新时,记录权重版本、量化方式、tokenizer 与 chat template 的哈希值,便于回滚和审计。
推理框架建议固定版本,并用容器镜像封装。开发、测试和生产环境使用同一个镜像标签,可以减少“本地能跑、线上报错”的情况。
下面以 vLLM 为例。参数名会随版本变化,正式使用前请执行 vllm serve --help 核对。
export API_KEY="$(cat /etc/secrets/infer_api_key)"vllm serve /models/dense-27b/current \--served-model-name dense-27b \--tensor-parallel-size 2 \--max-model-len 16384 \--gpu-memory-utilization 0.90 \--max-num-seqs 16 \--host 10.0.0.12 \--port 8000 \--api-key "$API_KEY"
各参数的作用如下:
| 参数 | 作用 | 调整建议 |
|---|---|---|
--tensor-parallel-size |
将模型切分到的 GPU 数量 | 必须与实际 GPU 数量一致 |
--max-model-len |
单条序列允许的最大长度 | 按业务最长输入加输出设置,越大越占显存 |
--gpu-memory-utilization |
框架可占用的显存比例 | 出现 OOM 时先降到 0.85 |
--max-num-seqs |
同时处理的最大序列数 | 按压测得到的并发上限设置 |
--host |
监听地址 | 生产环境绑定内网地址,不绑定 0.0.0.0 |
--api-key |
接口访问密钥 | 从密钥管理服务读取,不写入脚本 |
使用 AWQ 格式的权重时,需要增加 --quantization awq。使用 GPTQ 格式时,改为对应的量化参数。
服务启动后,日志中出现服务启动完成的提示即表示加载成功。以 vLLM 为例,通常会输出 Application startup complete.。如果日志停在权重加载阶段超过预期时间,先检查磁盘读取速度和 GPU 占用。
健康检查:
curl -s http://10.0.0.12:8000/health -o /dev/null -w "%{http_code}\n"
返回 200 表示服务正常。
对话接口测试:
curl http://10.0.0.12:8000/v1/chat/completions \-H "Authorization: Bearer $API_KEY" \-H "Content-Type: application/json" \-d '{"model":"dense-27b","messages":[{"role":"user","content":"用一句话解释什么是稠密模型"}],"max_tokens":128}'
返回包含 choices 字段的 JSON,即表示接口可用。
推理进程只监听内网地址。对外的 TLS 终止和鉴权由网关或已有的负载均衡器完成。以 Nginx 为例,可以在网关层设置限流:
limit_req_zone $http_authorization zone=infer:10m rate=10r/s;location /v1/ {limit_req zone=infer burst=20 nodelay;proxy_pass http://10.0.0.12:8000;}
限流速率应根据压测结果设置,上面的 10r/s 只是起始值。API 密钥建议每 90 天轮换一次,轮换时新旧密钥可以短期并存,待客户端全部切换后再吊销旧密钥。
未受保护的推理端点既会被滥用产生算力消耗,也可能成为数据泄露通道。因此鉴权和限流必须在对外暴露前完成。
部署是否合格,应从功能、性能、稳定性和可观测性四个方面判断。下表给出的阈值是示例,团队应按业务要求调整。
| 维度 | 测量方法 | 示例验收阈值 |
|---|---|---|
| 功能 | 团队自定义的回归用例集,覆盖代码生成、长文本理解和工具调用 | 格式合法率不低于 98% |
| 首字延迟 | 流式请求,输入约 1K token,并发 4 | P95 不高于 2 秒 |
| 吞吐 | 同一并发下统计输出 token 数除以耗时 | 不低于业务目标值 |
| 错误率 | 持续 1 小时的压测 | 低于 0.5% |
| 稳定性 | 持续 4 小时的 soak test | 显存持续单调增长不超过 500 MB |
| 告警链路 | 人工触发一条测试告警 | 5 分钟内通知到值班人员 |
首字延迟可以用下面的脚本测量:
```python
import os
import time
import requests
URL = “http://10.0.0.12:8000/v1/chat/completions“
HEADERS = {“Authorization”: f”Bearer {os.environ[‘API_KEY’]}”}
payload = {
“model”: “dense-27b”,
“messages”: [{“role”: “user”, “content”: