简介:本文面向开发者与架构师,梳理目标检测与图像分割模型从GPU选型、显存估算、推理服务配置,到压测验收、灰度发布和回滚的完整流程。文中提供版本兼容表、健康检查命令和上线验收清单,帮助团队减少返工,稳定交付视觉推理服务。
本文说明目标检测与图像分割模型从模型文件到线上推理服务的部署过程,适用对象是负责上线的开发与运维人员。完成后,服务应满足三个条件:接口能稳定返回结果,延迟和显存处于预先设定的范围内,出现异常时能在5分钟内回滚到上一版本。
示例场景包括工业表面缺陷检测(分割或检测模型对流水线产品逐帧识别划痕、污点)和视频流中的人员或车辆检测与跟踪。两类场景的输入形式与并发模式不同,资源规划时需分别评估。
GPU显存需要能常驻加载模型,并容纳推理时的中间张量。可按下面的方法估算:
显存峰值 ≈ 模型权重 + 峰值激活内存 + 运行时开销
估算只能给出量级,实际值应在目标硬件上实测。推理进程运行期间可以用 nvidia-smi 观察峰值,也可以在 PyTorch 环境中打印 torch.cuda.max_memory_allocated()。实测峰值后预留30%余量作为选型依据。多模型共享一张卡时,要把各模型的峰值相加,并计入并发请求的叠加。
部署前需锁定以下版本,并逐项核对官方兼容矩阵:
| 组件 | 示例版本 | 说明 |
|---|---|---|
| 操作系统 | Ubuntu 22.04 LTS | 宿主机系统 |
| NVIDIA 驱动 | 535 及以上 | 需向后兼容容器内的 CUDA 12.x 运行时 |
| 容器运行时 | Docker 24.x + nvidia-container-toolkit | 让容器访问 GPU |
| 推理服务 | Triton Inference Server 24.05 | 镜像 nvcr.io/nvidia/tritonserver:24.05-py3 |
| 模型格式 | ONNX(opset 17) | 导出时固定 opset 版本 |
宿主机只需安装驱动和 nvidia-container-toolkit,无需安装完整 CUDA 工具包,容器内的运行时由镜像提供。安装完成后,用下面的命令确认容器能看到 GPU:
docker run --rm --gpus all nvidia/cuda:12.1.1-base-ubuntu22.04 nvidia-smi
输出中能列出显卡型号,说明环境可用。
Triton 按模型仓库目录加载模型。每个模型一个子目录,子目录下的数字目录表示模型版本:
model_repo/├── defect_seg/│ ├── config.pbtxt│ └── 1/│ └── model.onnx└── defect_det/├── config.pbtxt└── 1/└── model.onnx
以下是分割模型的配置示例,参数需根据实测结果调整:
name: "defect_seg"platform: "onnxruntime_onnx"max_batch_size: 8dynamic_batching {max_queue_delay_microseconds: 5000}instance_group [{ count: 1, kind: KIND_GPU, gpus: [0] }]
dynamic_batching 会把短时间内到达的请求合并成一个批次执行,吞吐量通常会提高。代价是部分请求可能多等 max_queue_delay_microseconds 指定的时长,因此该参数需要结合压测结果设定。
模型文件从对象存储拉取。启动前校验 SHA-256,校验失败则拒绝启动。推理节点对模型目录只读挂载,写权限只分配给模型发布流水线。
使用下面的命令启动推理容器。—shm-size 需要足够大,否则多进程数据传递时可能出错:
docker run -d --name vision-infer \--gpus '"device=0"' \--shm-size=2g \-p 8000:8000 -p 8002:8002 \-v /data/model_repo:/models:ro \nvcr.io/nvidia/tritonserver:24.05-py3 \tritonserver --model-repository=/models --model-control-mode=none
端口 8000 提供 HTTP 接口,8002 提供 Prometheus 格式的指标。服务启动后,用下面两条命令检查服务和模型是否就绪:
curl -f http://127.0.0.1:8000/v2/health/readycurl -f http://127.0.0.1:8000/v2/models/defect_seg/ready
容器平台中,就绪探针指向 /v2/health/ready,存活探针指向 /v2/health/live。就绪探针失败时,平台会把实例从负载均衡中摘除;存活探针失败时,平台会重启容器。
模型首次推理时需要做算子初始化和显存分配,首个请求的延迟会偏高。可以在 config.pbtxt 中配置 model_warmup,或在对外开放流量前发送若干测试请求完成预热。
压测前先定义指标口径,避免不同人员得到不同结论:
压测分三步进行。先用1个并发跑5分钟,建立基线。再逐级提高并发,每一级稳定运行10分钟,只取最后5分钟的数据。最后在目标并发下持续运行30分钟,观察是否有内存增长或延迟漂移。
通过标准由业务决定,下面是一组示例:P99 不超过300 ms,错误率低于0.1%,显存峰值不超过显存总量的85%。
接口连通性也需要验证。用标准图片发送请求,返回200,输出中的边界框坐标和置信度字段格式正确。同时用同一批离线评测样本比对线上结果,检测精度下降幅度应在事先约定的范围内(例如 mAP 下降不超过0.5个百分点)。
1. 显存溢出(CUDA out of memory)
2. 依赖或版本不兼容
3. 推理超时