简介:本文给出全模态大模型实时接口的完整部署流程,涵盖显存与并发估算、环境校验、WebSocket 与 TLS 代理配置、压测放量、回滚和故障排查。读者可按清单逐步执行,并依据可量化的验收标准完成上线。
本文面向开发者、运维人员和架构师,说明如何把支持文本、图像、音频和视频输入的全模态推理服务部署为可用的实时接口。按本文完成后,你将得到以下交付物:
/readyz 返回模型已加载。wss:// 发送音频分片并接收增量结果。本文不覆盖模型训练、微调和多租户计费,也不承诺生产级服务等级协议(SLA)。
显存。 权重显存的粗略估算公式为:参数量 × 每参数字节数。70 亿参数、半精度(每参数 2 字节)约需 14 GB 权重空间。整体显存可按下式估算:
总显存 ≈ 权重显存 × 1.2~1.3 + 单路会话缓存 × 并发会话数 + 系统预留
其中 1.2~1.3 为中间激活值和碎片的经验余量,需用实际压测结果校正。单路会话缓存取决于输入时长和输出长度,不能凭经验直接套用,必须实测。
带宽。 16 kHz 采样、16 bit 单声道音频每秒产生 16000 × 2 = 32000 字节,约 31 KiB/s。10 路并发音频上行约 320 KB/s,折合约 2.6 Mbit/s。视频带宽取决于分辨率、帧率和编码方式。720P 的常见码率在 1 到 2 Mbps 之间,这是经验值,需在目标编码参数下测量后再用于容量规划。
连接数。 每路实时会话占用一条长连接。连接数峰值应按并发会话数加一定余量确定。本文建议起点取 30%,并在压测中记录连接数峰值,再决定是否上调。
压测矩阵。 按并发 1、2、4、8、16 逐级加压,每级持续至少 10 分钟,记录以下数据:
| 并发会话数 | 首包延迟 P50 / P95 | 错误率 | 显存峰值 | 连接数峰值 |
|---|---|---|---|---|
| 1 | 待测 | 待测 | 待测 | 待测 |
| 2 | 待测 | 待测 | 待测 | 待测 |
| 4 | 待测 | 待测 | 待测 | 待测 |
压测必须在预发环境或隔离的影子集群中进行。在生产集群压测会挤占真实用户的算力和显存,并可能触发真实告警。
部署前逐项核对以下内容。
1. GPU 与驱动
nvidia-smi --query-gpu=name,driver_version,memory.total --format=csv
2. 容器运行时能否访问 GPU
docker run --rm --gpus all <IMAGE>@sha256:<DIGEST> nvidia-smi
输出中应能看到与宿主机一致的 GPU 型号。<IMAGE>@sha256:<DIGEST> 必须使用镜像摘要而非标签,避免标签被覆盖导致版本漂移。
3. 版本矩阵
| 组件 | 核对内容 | 通过标准 |
|---|---|---|
| 驱动 | 与推理组件发布说明中的最低版本 | 不低于最低版本 |
| 容器运行时 | GPU 插件已启用 | 第 2 步命令成功 |
| 推理组件 | 镜像内版本号 | 与发布记录一致 |
| 模型权重 | SHA-256 | 校验通过 |
4. 模型文件完整性
cd /data/models && sha256sum -c model.sha256
任一文件校验失败,删除后重新下载,不得直接使用。
5. 配置与密钥注入
创建环境变量文件,并限制读取权限:
sudo install -m 600 /dev/null /etc/ai-service/service.env
文件内容示例如下,真实值由密钥服务或运维人员填入,不写入代码仓库或镜像:
MODEL_DIR=/modelsMAX_CONCURRENT_SESSIONS=4API_TOKEN=<从密钥服务注入>LOG_REDACT_AUDIO=true
令牌应定期轮换。轮换时先签发新令牌并保留旧令牌一段时间,确认客户端切换完成后再吊销旧令牌。
1. 启动推理服务
推理服务只绑定本机地址,由接入网关转发请求,不直接暴露公网:
docker run -d --name omni-svc --gpus all \--env-file /etc/ai-service/service.env \-v /data/models:/models:ro \-p 127.0.0.1:8000:8000 \<IMAGE>@sha256:<DIGEST>
模型目录以只读方式挂载,推理服务无法修改或删除权重文件。
2. 健康检查
curl -fsS http://127.0.0.1:8000/healthzcurl -fsS http://127.0.0.1:8000/readyz
/healthz 表示进程存活,/readyz 表示模型已加载并可接收请求。两者都返回 200 才能开放访问。模型加载期间 /readyz 返回非 200 属于正常现象,应等待加载完成。
3. 反向代理与 WebSocket 升级
以下为 Nginx 配置示例,域名和证书路径需替换为实际值:
server {listen 443 ssl;server_name omni.example.com;ssl_certificate /etc/ssl/omni/fullchain.pem;ssl_certificate_key /etc/ssl/omni/privkey.pem;ssl_protocols TLSv1.2 TLSv1.3;location /ws/realtime {proxy_pass http://127.0.0.1:8000;proxy_http_version 1.1;proxy_set_header Upgrade $http_upgrade;proxy_set_header Connection "upgrade";proxy_set_header Host $host;proxy_read_timeout 300s;proxy_send_timeout 300s;proxy_buffering off;}}
关键点如下:
Upgrade 与 Connection 两个头缺一不可,缺失时握手返回 400 或 426。proxy_read_timeout 必须大于客户端最长静默时长。静默超过该值,代理会断开连接,表现为约几分钟后会话中断。proxy_buffering off 保证增量结果即时回传,否则首包延迟会被代理缓冲放大。
openssl s_client -connect omni.example.com:443 -servername omni.example.com </dev/null | grep "Verify return code"
输出应为 Verify return code: 0 (ok)。
4. 验证 WebSocket 握手
curl -i -N \-H "Connection: Upgrade" \-H "Upgrade: websocket" \-H "Sec-WebSocket-Version: 13" \-H "Sec-WebSocket-Key: dGhlIHNhbXBsZSBub25jZQ==" \-H "Authorization: Bearer $API_TOKEN" \https://omni.example.com/ws/realtime
响应首行应为 HTTP/1.1 101 Switching Protocols。
5. 实时参数初始值
以下参数为起点,需用第五节的样本集调优:
realtime:audio:sample_rate: 16000channels: 1sample_width_bytes: 2chunk_ms: 200 # 每片 6400 字节vad:end_silence_ms: 600 # 静音超过该时长判定一句话结束speech_threshold: 0.5session:idle_timeout_s: 120 # 需大于最长静默时长max_session_s: 1800output:stream_partial: true
分片过小会增加消息数量和调度开销,分片过大则增加首包延迟。end_silence_ms 过小会把一句话切成多段,过大则让回复变慢。两者都要在安静和嘈杂样本上分别测试。
1. 功能验证。 用第 4.6 节准备的样本逐条回放,每条样本都要有期望结果。功能验证未全部通过时,不进入压测。
2. 并发梯度压测。 按第二节的矩阵逐级加压,记录每级的首包延迟、错误率、显存峰值和连接数峰值。
3. 稳定性测试。 以目标并发持续运行 1 到 2 小时,观察以下趋势:
nvidia-smi --query-gpu=memory.used --format=csv -l 60ss -tn state established '( sport = :443 )' | wc -l
显存持续单向增长,或连接数只增不降,说明存在缓存未释放或会话未关闭的问题,应先修复再放量。
4. 故障注入。 在预发环境中手动重启推理容器,确认客户端能重连,且接入层不会留下大量僵尸连接。
上线通过标准。 业务方应在上线前确定以下阈值,本文不给出默认值:
| 指标 | 定义 | 阈值来源 |
|---|---|---|
| 首包延迟 | 客户端发出一句话的最后一片音频,到收到第一条增量结果的时间差 | 业务约定,取 P95 |
| 错误率 | 统计窗口内返回错误或异常断开的会话数 ÷ 总会话数 | 业务约定 |
| 显存峰值 | 压测期间 memory.used 的最大值 |
预留余量后低于显存总量 |
灰度放量。 按 5%、20%、100% 逐级放量,每级观察至少 30 分钟。任一指标超过阈值,立即停止放量并回退到上一级。
回滚。 上线前记录上一版镜像摘要,并确认可以拉取:
docker pull <PREV_IMAGE>@sha256:<PREV_DIGEST>
回滚顺序为先把网关流量切回旧版本,再停止新版本容器。出现以下任