简介:本文按部署顺序给出VLA推理服务的落地步骤,包括显存与吞吐估算、容器化启动、模型完整性校验、压测口径和常见故障排查。文中示例数值可替换为自己环境的参数,读者可以据此逐项核对,并用实测数据决定上线阈值。
本文面向负责机器人操作和自动驾驶场景的部署工程师,说明如何把已经训练并验证过的视觉-语言-动作(VLA)模型部署为可通过HTTP调用的推理服务。本文不涉及模型训练,也不比较不同推理引擎的性能。文中不引用具体的加速倍数,性能结论应以自己环境的实测结果为准。
前提条件如下:你已经拿到模型权重文件和对应的配置说明,能够访问内部对象存储或模型仓库,并且有一台安装了NVIDIA GPU的Linux服务器或边缘设备。命令示例基于Ubuntu 22.04环境编写,其他发行版需要自行调整。
部署前先确定版本组合。GPU驱动、CUDA、容器运行时和推理引擎之间有严格的兼容关系,应以推理引擎官方文档的兼容表为准,不要凭经验组合。建议在部署前填写下表:
| 组件 | 要求来源 | 实际值 |
|---|---|---|
| GPU型号 | 硬件采购清单 | |
| NVIDIA驱动版本 | 推理引擎兼容表 | |
| CUDA版本 | 推理引擎兼容表 | |
| Docker版本 | 容器运行时要求 | |
| nvidia-container-toolkit版本 | 与Docker版本对应 | |
| 推理引擎镜像标签 | 模型发布说明 |
显存需求可以按下式粗略估算,结果再乘以20%左右的余量:
显存 ≈ 权重显存 + 记忆缓存显存 + 批处理激活显存
权重显存等于参数量乘以每个参数占用的字节数。FP16和BF16每个参数占2字节,INT8占1字节。
举例说明。假设模型有70亿参数,使用FP16加载,权重约为7×10^9×2字节,即14GB。假设实测长程记忆缓存占用6GB,批处理激活预留4GB,合计24GB,乘以1.2后约29GB。这种情况下,选择40GB或48GB显存的GPU比较稳妥。上面的参数量只是示例,需要用自己模型的实测数值替换。
单实例吞吐可以按下式计算:
单实例吞吐(请求/秒)= 批大小 ÷ 单批平均耗时(秒)
假设批大小为4,单批平均耗时为80毫秒,则单实例吞吐约为50请求/秒。若峰值QPS为200,预留20%余量后需要承载240请求/秒,所需实例数为240÷50=4.8,向上取整为5个实例。
这些数字需要用压测结果替换。单批耗时会随输入图像分辨率、批大小和排队情况明显变化,因此每次改动配置后都应重新测量。
模型文件大小可以按参数量乘以精度字节数估算。假设有3个模型版本,每个约14GB,合计42GB。日志按每天2GB、保留30天计算,合计60GB。两项相加约102GB,块存储规划时可取150GB留出余量。
网络带宽按输入负载估算。假设每帧图像约200KB,峰值200请求/秒,则入向流量约40MB/s,折合约320Mbps。输出动作序列和协议开销也会占用带宽,链路容量应预留余量,具体比例根据实测的突发流量决定。
nvidia-smi
若命令报错或无输出,先解决驱动问题,不要继续后续步骤。
以Docker为例,安装NVIDIA Container Toolkit后执行以下命令:
sudo nvidia-ctk runtime configure --runtime=dockersudo systemctl restart docker
验证容器能否访问GPU。镜像标签需要替换为与你的CUDA版本对应的标签:
docker run --rm --gpus all nvidia/cuda:12.4.1-base-ubuntu22.04 nvidia-smi
sudo mkdir -p /opt/vla/models /opt/vla/logs /opt/vla/certssudo useradd --system --no-create-home vlasudo chown -R vla:vla /opt/vla/logssudo chmod 750 /opt/vla/models /opt/vla/certs
模型目录在容器内以只读方式挂载,服务进程不应拥有写入模型文件的权限。
以下命令生成自签名证书,只适用于测试环境。生产环境应使用内部CA签发的证书:
openssl req -x509 -newkey rsa:2048 -nodes \-keyout /opt/vla/certs/server.key \-out /opt/vla/certs/server.crt \-days 30 -subj "/CN=vla.internal.example"sudo chmod 600 /opt/vla/certs/server.key
从内部仓库下载模型和Tokenizer配置。下面的地址需要替换为真实地址:
curl -fSL --retry 3 -o /opt/vla/models/vla_model.bin \https://models.internal.example/vla/vla_model-v1.binsha256sum /opt/vla/models/vla_model.bin
将输出的哈希值与发布说明中的SHA256值逐字比对。两者不一致时,不要加载该文件,应重新下载并确认来源。
配置字段名由推理引擎决定。下面的示例只说明结构和每个参数的作用,字段名需要替换为所用引擎文档中的真实名称。数值均为示例值,需要按自己的SLO和压测结果调整。
model:path: /app/models/vla_model.binprecision: fp16 # 与权重文件的精度保持一致server:port: 8000request_timeout_ms: 200 # 超时后返回错误,防止动作指令积压health_path: /healthbatching:max_batch_size: 4 # 上限由显存估算结果决定max_wait_ms: 5 # 凑批等待时间,增大会提高吞吐,也会抬高尾延迟memory:context_tokens: 4096 # 长程记忆上下文长度,直接影响显存占用cache:endpoint: redis.internal.example:6379
调参顺序建议如下:先固定显存上限,再调整批大小,最后调整凑批等待时间。每次只改动一个参数,并在改动后重新压测。
以下Compose文件使用标准的GPU设备预留写法。镜像标签不要使用latest,应固定到具体版本:
services:vla_inference:image: registry.internal.example/vla-infer:1.0.0restart: unless-stoppedports:- "8000:8000"volumes:- /opt/vla/models:/app/models:ro- /opt/vla/logs:/app/logs- /opt/vla/config.yaml:/app/config.yaml:romem_limit: 16g # 按主机内存调整shm_size: 2gdeploy:resources:reservations:devices:- driver: nvidiacount: allcapabilities: [gpu]healthcheck:test: ["CMD", "curl", "-fs", "http://localhost:8000/health"]interval: 10stimeout: 2sretries: 3
Healthcheck依赖镜像中存在curl命令。若镜像中没有curl,需要换成镜像内可用的检测方式。
启动并查看状态:
docker compose up -ddocker compose psdocker compose logs --tail=100 vla_inference
确认健康接口正常:
curl -s http://127.0.0.1:8000/health
发送一条测试请求。请求体结构以接口文档为准,文件名为示例:
curl -s -X POST http://127.0.0.1:8000/v1/infer \-H "Content-Type: application/json" \-d @sample_request.json
生产环境通过反向代理接入。下面的Nginx配置示意了多实例转发和TLS终止:
upstream vla_backend {server 10.0.0.11:8000 max_fails=2 fail_timeout=10s;server 10.0.0.12:8000 max_fails=2 fail_timeout=10s;}server {listen 443 ssl;ssl_certificate /etc/nginx/certs/server.crt;ssl_certificate_key /etc/nginx/certs/server.key;location /v1/ {proxy_pass http://vla_backend;proxy_read_timeout 1s; # 与服务端的请求超时保持一致}}
开源版Nginx只提供被动健康检查,即根据失败次数摘除节点。若需要主动探测/health,需要使用商业版或其他支持主动探测的负载均衡器。
访问控制放在网关层完成。每个业务线使用独立的API Key,并设置单独的限流配额。密钥不要写入配置文件或日志,应放在环境变量或密钥管理服务中。
使用hey对单个实例做阶梯压测。从低并发开始,逐级提高,记录每一级的延迟分布和错误率:
hey -z 60s -c 1 -m POST -H "Content-Type: application/json" -D sample_request.json http://127.0.0.1:8000/v1/inferhey -z 60s -c 4 -m POST -H "Content-Type: application/json" -D sample_request.json http://127.0.0.1:8000/v1/inferhey -z 60s -c 8 -m POST -H "Content-Type: application/json" -D sample_request.json http://127.0.0.1:8000/v1/inferhey -z 60s -c 16 -m POST -H "Content-Type: application/json" -D sample_request.json http://127.0.0.1:8000/v1/infer
当P99延迟明显上升、或错误率开始非零时,对应的并发数即为该实例的容量拐点。实际容量应取拐点以下的某个值,并保留余量。
压测期间同时监控GPU:
nvidia-smi --query-gpu=utilization.gpu,memory.used,memory.total,temperature.gpu --format=csv -l 5
延迟指标从客户端视角测量,即从发出请求到收到完整响应的时间,统计P50、P95和P99。服务端日志中的处理耗时可以用来辅助分析,但不能替代客户端延迟。
服务层成功率定义为返回HTTP 200且响应符合输出格式的请求比例。
任务层成功率由基准测试集的判定规则决定,判定规则由测试集提供方给出。例如,动作完成且无越界动作记为成功。长程记忆任务的成功率按计数或盘点的准确率计算。
对比新旧版本时,必须保持硬件、测试集、批处理配置和随机种子一致,并报告每组的样本量。
成功率的统计误差需要纳入判断。以200次试验为例,成功率为90%时,按正态近似计算的95%置信区间约为正负4.2个百分点。两组结果的差异小于该范围时,不能据此判定新模型更优。
上线验收标准由团队在上线前定义。例如,候选模型的P99不高于基线,且任务层成功率的差异超出置信区间。标准应在测试开始前写好,避免事后调整。
先确认服务端实际加载的配置:
docker compose exec vla_inference cat /app/config.yaml
若GPU利用率长期接近100%且排队增长,说明算力已经成为瓶颈,应考虑增加实例或降低负载。若GPU利用率较低,则请求多数时间在等待,应检查凑批等待时间、CPU侧的预处理,以及网络链路。
测量网络各段耗时:
curl -o /dev/null -s -w "连接 %{time_connect}s 首字节 %{time_starttransfer}s 总计 %{time_total}s\n" \http://10.0.0.11:8000/health
查找日志中的显存错误。关键字以所用引擎实际输出为准:
docker compose logs vla_inference | grep -i "out of memory"
同时观察显存占用趋势:
nvidia-smi --query-gpu=memory.used,memory.total --format=csv -l 5
处理顺序是先降低批大小,再降低记忆上下文长度,然后重新压测。不要通过关闭显存检查来掩盖问题。
若缓存为Redis,先检查连通性:
redis-cli -h redis.internal.example -p 6379 ping
返回PONG表示连接正常。然后检查服务日志中的缓存读写失败记录:
docker compose logs vla_inference | grep -iE "cache|redis"
还需要核对缓存的过期时间。若TTL短于单次长程任务的持续时间,历史状态会在任务中途过期,成功率会随之下降。
直接请求健康接口,查看返回内容:
curl -i http://127.0.0.1:8000/health
获取容器ID后查看健康状态记录:
docker compose ps -q vla_inferencedocker inspect --format '{{json .State.Health}}' <容器ID>
将<容器ID>替换为上一条命令的输出。
上线采用灰度方式。新模型先接收约10%的流量,运行一段时间后比较延迟和成功率。回滚条件应在灰度开始前写明,例如P99连续超过SLO目标若干分钟,或错误率超过约定值。灰度期间的最少样本量也要提前确定,样本不足时不做结论。
告警阈值应按各业务的SLO设定,不要照搬其他环境的数值。例如,P99超过SLO目标并持续一段时间后触发告警。阈值的合理取值需要在目标硬件、模型和批大小下实测确定。
扩缩容依据GPU利用率和请求队列长度进行。扩容前要考虑模型加载的冷启动时间,加载耗时取决于模型大小和存储速度,应在目标环境中实测后再写入扩容策略。
日志只记录请求元数据和异常堆栈,不记录原始图像内容。日志保留策略应同时满足故障回溯和存储成本的要求,并定期检查访问权限。