简介:本文面向有数学基础、需要把模型投入生产的开发者,给出云端部署的完整操作路径。内容包括资源规格与健康检查参数的具体取值、Kubernetes部署示例、上线验证的命令与通过标准,以及常见故障的日志信号和修复方法。按照清单操作,可以完成一次安全、可回滚的模型上线。
数学知识在部署阶段主要体现为对资源消耗的预判,而不是对概念的复述。下面三点直接影响部署决策。
如果暂时无法估算这些量,可以先在单卡上实测显存峰值,再据此确定资源配置。
| 模块 | 常见选项 | 适用边界 | 复杂度 |
|---|---|---|---|
| 计算 | GPU云服务器、专用AI加速卡 | 大模型选显存大于24GB的卡,小模型可用更便宜的卡 | 低 |
| 存储 | 对象存储(权重)、块存储(运行时数据) | 权重体积大,适合对象存储加本地缓存 | 低 |
| 网络 | 负载均衡、域名解析、SSL证书 | 对外服务必须使用HTTPS | 中 |
| 编排 | Kubernetes托管集群 | 需要自动重启、扩缩容和滚动更新时使用 | 中到高 |
| 监控 | 日志服务、指标监控与告警 | 至少覆盖GPU利用率、显存、P95延迟和错误率 | 中 |
单个模型服务且流量稳定时,使用单台GPU实例加进程守护也可以运行。流量波动大或需要多个模型共存时,再引入容器编排。
sha256sum model.safetensors > model.sha256
torch==2.3.1,避免构建时版本漂移。步骤1:创建GPU节点池
在控制台创建节点池,选择带GPU的实例规格。登录节点后确认驱动正常:
nvidia-smikubectl get nodes -l accelerator=nvidia
nvidia-smi应显示GPU型号和驱动版本。节点标签检查结果应包含全部GPU节点。
步骤2:构建并推送镜像
使用固定版本的基础镜像,并以非root用户运行:
FROM nvidia/cuda:12.1.1-runtime-ubuntu22.04RUN useradd -m appuserWORKDIR /appCOPY requirements.txt .RUN pip install --no-cache-dir -r requirements.txtCOPY . .USER appuserEXPOSE 8080CMD ["python", "server.py"]
docker build -t registry.example.com/ai/infer:1.0.0 .docker push registry.example.com/ai/infer:1.0.0
镜像标签使用明确版本号,不使用latest,便于回滚。
步骤3:挂载模型并校验
模型文件不打包进镜像。通过对象存储挂载或启动时下载到/models,然后校验:
sha256sum -c /models/model.sha256
校验失败时服务应直接退出,不得加载不完整的权重。
步骤4:部署并配置探针
下面是Deployment的关键片段,其中的数值为起点,需要按实测结果调整:
apiVersion: apps/v1kind: Deploymentmetadata:name: infer-serverspec:replicas: 2selector:matchLabels:app: infer-servertemplate:metadata:labels:app: infer-serverspec:containers:- name: inferimage: registry.example.com/ai/infer:1.0.0ports:- containerPort: 8080env:- name: MODEL_PATHvalue: /models/model.safetensors- name: API_KEYvalueFrom:secretKeyRef:name: infer-secretkey: api-keyresources:requests:cpu: "4"memory: 16Gilimits:cpu: "8"memory: 24Ginvidia.com/gpu: 1readinessProbe:httpGet:path: /readyport: 8080initialDelaySeconds: 120periodSeconds: 10timeoutSeconds: 5failureThreshold: 3livenessProbe:httpGet:path: /healthport: 8080initialDelaySeconds: 300periodSeconds: 20timeoutSeconds: 5failureThreshold: 3
/ready应在模型加载完成后才返回200,/health只检查进程是否存活。
步骤5:开放外部访问
创建Service指向8080端口,再创建负载均衡实例,配置HTTPS监听和证书。域名解析指向负载均衡的公网地址。
| 参数 | 示例值 | 取值依据 |
|---|---|---|
| GPU显存 | 7B模型fp16下选24GB卡 | 权重约14GB,加上KV Cache和约30%余量 |
| 系统内存limit | 24Gi | 加载权重时的峰值内存,按实测峰值加20%取整 |
| 单卡并发上限 | 起步设为4 | 以P95延迟不超过业务目标为准逐步上调 |
| readinessProbe initialDelaySeconds | 120 | 实测加载时间加约30% |
| livenessProbe initialDelaySeconds | 300 | 必须大于readiness值,防止加载期间被误杀 |
| 应用单请求超时 | 90秒 | 覆盖大模型的长尾耗时 |
| 负载均衡超时 | 120秒 | 大于应用超时,让错误由应用返回 |
以上是起步值。每次模型或硬件变化后,都应重新压测并更新这些参数。
所有Pod应为
kubectl get pods -l app=infer-server
Running,READY列为1/1。应看到模型加载完成的日志,且没有
kubectl logs deploy/infer-server --tail=200 | grep -Ei "loaded|error|exception"
FileNotFoundError或CUDA out of memory。预期返回HTTP 200,JSON中包含
curl -X POST https://api.example.com/v1/infer \-H "Authorization: Bearer $API_KEY" \-H "Content-Type: application/json" \-d '{"input": "测试文本"}'
request_id、output和latency_ms字段。空闲时显存应已被模型占用,GPU利用率较低。压测期间利用率应明显上升。
kubectl exec -it <pod-name> -- nvidia-smikubectl top pod -l app=infer-server
hey工具发送200个请求,并发10:通过标准:错误率低于1%,P95延迟不超过业务目标值。
hey -n 200 -c 10 -m POST -H "Authorization: Bearer $API_KEY" \-H "Content-Type: application/json" \-d '{"input": "测试文本"}' https://api.example.com/v1/infer
| 现象 | 关键信号 | 排查命令 | 修复方法 |
|---|---|---|---|
| OOM退出 | 事件显示OOMKilled |
kubectl describe pod <pod> |
提高内存limit,或降低单卡并发上限 |
| CrashLoopBackOff | Liveness探针失败,日志在崩溃前中断 | kubectl logs <pod> --previous |
增大readiness和liveness的initialDelaySeconds;检查MODEL_PATH;锁定依赖版本后重新构建 |
| 显存不足 | 日志出现CUDA out of memory |
nvidia-smi |
换用显存更大的卡,或减少并发与最大序列长度 |
| 请求延迟高 | P95持续上升,GPU利用率接近100% | kubectl top pod,检查节点GPU占用 |
水平扩容副本;对超出并发的请求返回429限流 |
| 负载均衡返回503 | 后端健康检查失败 | kubectl get endpoints infer-server |
确认Pod已通过readiness探针,检查端口映射 |
金丝雀发布步骤
回滚判据:错误率超过1%,或P95延迟比基线上升超过50%,并持续5分钟,立即回滚:
kubectl rollout undo deployment/infer-server
弹性伸缩:以请求队列长度作为扩缩容指标,队列持续超过阈值时增加副本。缩容设置冷却时间,避免频繁抖动。
安全与数据
成本:长期稳定运行的服务采用包年包月实例,突发流量使用按量付费实例。每月根据GPU利用率报表调整规格。
| 检查项 | 通过标准 |
|---|---|
| 模型校验 | sha256sum -c返回OK |
| 依赖锁定 | requirements.txt所有包带精确版本 |
| 密钥 | 代码与镜像中无明文密钥,Secret已注入 |
| 权限 | 服务账号仅对模型桶有只读权限 |
| 探针 | readiness在加载完成后才返回200 |
| 资源 | 压测峰值显存低于卡容量的85% |
| 监控告警 | 错误率、延迟、显存告警已配置并测试触发 |
| 回滚 | 上一版本镜像和配置已保留,回滚命令已演练 |
全部检查项通过后,再切换全量流量。