简介:本文面向开发者、运维与架构师,基于vLLM、TGI和Kubernetes给出开源大模型云上部署方案,覆盖显存估算、启动参数、健康探针、灰度压测、故障排查与鉴权安全,帮助读者从选型到稳定上线,降低部署门槛并提升可运维性。
开源仅解码器大模型部署前,先要明确服务形态。不同场景对时延、吞吐、GPU规格和成本要求差异很大。
| 场景 | 关键指标 | 推荐资源 | 成本策略 |
|---|---|---|---|
| 在线推理接口 | 低时延、高并发 | 高显存GPU、较小批处理、快速加载 | 按峰值预留,必要时副本扩容 |
| 批量离线任务 | 高吞吐、低成本 | 较大批处理、较长任务队列 | 按吞吐优化,可使用竞价实例 |
| 私有化环境 | 数据不出域、可控 | 本地或专属GPU、内网隔离 | 以稳定与合规优先 |
如果是约20B参数规模,通常可在单卡或少量多卡环境完成推理;如果是约120B参数规模,往往需要多卡张量并行、更高显存或更激进量化。选择实例时不要只看“能不能加载”,还要看并发、上下文长度和P95时延是否满足业务。
大模型部署最常见的误判,是把显存只理解成模型权重占用。更实用的估算方式是:
总显存需求 ≈ 权重显存 + KV Cache + 激活与框架开销 + 安全余量
简化示例:约20B参数模型在BF16下权重约40GB,INT8约20GB,INT4可能进一步下降,但仍需叠加KV Cache和运行时开销。约120B参数模型在BF16下权重约240GB,单卡通常不现实,需要多卡并行或低比特量化。部署前建议用nvidia-smi、推理框架启动日志和压测监控交叉验证,而不是只依赖经验值。
为了让部署可复现,建议固化一套标准技术栈:
一个可复现的vLLM启动命令占位如下:
docker run --rm --gpus all -p 8000:8000 \-v /mnt/models:/models \-e LLM_API_KEY=YOUR_KEY \registry.example.com/vllm:0.5.4-cuda12.1 \python3 -m vllm.entrypoints.openai.api_server \--model /models/llm-20b-int8 \--served-model-name llm-20b \--tensor-parallel-size 1 \--max-model-len 8192 \--gpu-memory-utilization 0.90 \--api-key YOUR_KEY
如果采用K8s部署,可使用如下Deployment片段:
apiVersion: apps/v1kind: Deploymentmetadata:name: llm-20bspec:replicas: 1selector:matchLabels:app: llm-20btemplate:metadata:labels:app: llm-20bspec:containers:- name: llmimage: registry.example.com/vllm:0.5.4-cuda12.1args:- --model=/models/llm-20b-int8- --served-model-name=llm-20b- --tensor-parallel-size=1- --max-model-len=8192- --gpu-memory-utilization=0.90- --api-key=$(LLM_API_KEY)env:- name: LLM_API_KEYvalueFrom:secretKeyRef:name: llm-secretkey: api-keyresources:limits:nvidia.com/gpu: "1"readinessProbe:httpGet:path: /healthport: 8000initialDelaySeconds: 60periodSeconds: 10startupProbe:httpGet:path: /healthport: 8000periodSeconds: 10failureThreshold: 30livenessProbe:httpGet:path: /healthport: 8000initialDelaySeconds: 120periodSeconds: 20
这里的关键不是配置“看起来完整”,而是每个参数都能对应一个运维目标:tensor-parallel-size对应多卡切分,max-model-len限制上下文长度,gpu-memory-utilization控制显存占用上限,startupProbe避免权重未加载完就被判失败。
部署失败往往不是模型本身问题,而是环境、存储、网络或权限没准备好。建议上线前检查:
nvidia-smi -L确认卡被识别,执行nvidia-smi确认驱动正常。sha256sum -c weights.sha256校验文件,避免下载损坏。ss -lntp | grep 8000。如果是K8s环境,还要检查节点是否有GPU资源、镜像是否能拉取、PVC是否挂载成功、探针路径是否准确。任何一项缺失,都可能让服务卡在启动阶段。
部署成功不能只看“进程启动”。建议按以下命令和阈值验证。
健康检查:
curl -f http://127.0.0.1:8000/health
OpenAI兼容请求:
curl -s http://127.0.0.1:8000/v1/chat/completions \-H "Authorization: Bearer $LLM_API_KEY" \-H "Content-Type: application/json" \-d '{"model":"llm-20b","messages":[{"role":"user","content":"用一句话解释大模型"}],"max_tokens":64,"stream":false}'
流式响应验证:
curl -N -s http://127.0.0.1:8000/v1/chat/completions \-H "Authorization: Bearer $LLM_API_KEY" \-H "Content-Type: application/json" \-d '{"model":"llm-20b","messages":[{"role":"user","content":"写一个短故事"}],"max_tokens":128,"stream":true}'
压测可以使用hey:
hey -z 60s -c 8 -m POST \-H "Authorization: Bearer $LLM_API_KEY" \-H "Content-Type: application/json" \-D payload.json \http://127.0.0.1:8000/v1/chat/completions
也可以使用Locust。建议初始灰度阈值如下:健康检查200,5xx错误率低于1%,短文本请求P95时延低于3秒,长文本或高并发场景根据业务另行设定,显存峰值不超过设定上限,日志无连续CUDA OOM或加载失败。
部署失败怎么办?优先看日志和探针。加载失败常见原因包括显存不足、权重损坏、路径错误、量化配置不匹配。可执行:
kubectl logs -l app=llm-20b --tail=200kubectl describe pod -l app=llm-20bnvidia-smidmesg | tail -n 50
如何降低显存占用?可以从四个方向入手:降低max-model-len、减少并发批处理、使用INT8或INT4量化、限制单请求最大输入长度。显存溢出时不要盲目调高显存利用率,应先确认是否长上下文请求导致KV Cache膨胀。
常见问题对照:
| 问题 | 常见日志关键字 | 排查命令 |
|---|---|---|
| CUDA out of memory | CUDA out of memory、OOM |
nvidia-smi、dmesg、kubectl logs |
| 权重加载失败 | Loading safetensors failed、No such file |
sha256sum、ls -lh、kubectl describe |
| 健康检查失败 | connection refused、probe failed |
kubectl describe、curl /health |
| 请求超时 | timeout、context deadline exceeded |
检查并发、批处理、网关超时 |
| 访问不通 | forbidden、certificate |
检查ACL、Ingress、证书和端口 |
推理服务如果暴露在公网且没有鉴权,可能被恶意调用、刷量、消耗GPU资源,甚至造成数据泄露或成本失控。上线前至少满足以下要求:
稳定上线后,还要持续运维。建议监控显存、CPU、GPU利用率、请求QPS、错误率、P95/P99时延、首token时延和生成token吞吐。性能优化可从批处理、并发限制、请求缓存、流式返回和多副本扩容入手。成本优化则应根据业务流量选择参数规模与量化精度,避免长期占用高价显存。
上线完成的定义可以写成可检查清单:
掌握这套流程后,开源大模型的云上部署就从“碰运气”变成可复现、可验证、可运维的工程动作。