简介:本文面向开发者、运维和架构人员,给出推理优化引擎从版本核对、编译优化、服务上线到排错回滚的操作步骤。文中包含可执行命令、输出比对方法、告警阈值起点和容量计算公式。读者可据此完成上线,降低启动失败、显存不足和性能波动的风险。
本文适用于把已训练的模型编译为推理优化运行文件,并以在线服务形式对外提供推理能力的场景。按本文操作后,读者应得到三项交付物:一份版本矩阵,一份编译与输出比对记录,一套可重复执行的上线与回滚步骤。
文中的命令、字段名和取值均为示意。不同引擎的参数名、单位和默认值可能不同,上线前需要以你所用引擎的官方文档为准逐项核对。
版本不一致是启动失败和结果偏差的常见原因。开始前请填写下表。开发、测试、生产三套环境的值应保持一致,若有差异,需要先记录原因并评估影响。
| 项目 | 开发环境 | 测试环境 | 生产环境 |
|---|---|---|---|
| 操作系统与内核版本 | 填写 | 填写 | 填写 |
| 加速卡型号与驱动版本 | 填写 | 填写 | 填写 |
| 运行时版本(如 CUDA、CANN 等) | 填写 | 填写 | 填写 |
| 推理引擎版本 | 填写 | 填写 | 填写 |
| 模型导出工具与模型格式版本 | 填写 | 填写 | 填写 |
版本填写完成后,在每个节点执行以下检查命令。输出结果应保存到部署记录中,便于事后追溯。
# 查看驱动版本与加速卡状态nvidia-smi# 核对推理引擎版本(命令名以实际引擎为准)<engine-cli> --version# 确认磁盘剩余空间,编译过程需要临时工作空间df -h /models /tmp
权限也需要提前划分。编译、上传、部署、配置修改和日志查看应由不同账号负责。服务运行账号只需要读取运行文件和配置的权限,不应拥有修改模型目录的写权限。
环境准备的检查项如下:
编译前,先确认模型的输入名称、输出名称、数据类型、动态形状范围以及预处理和后处理逻辑。把这些信息写入模型清单文件。后续的输出比对以清单为依据,避免因输入定义不清而产生误判。
编译配置示例如下:
# 示意配置,字段名与取值需按引擎版本核对model:path: /models/v1.3.0/model.onnx # 原始模型路径input_name: imagesinput_shape: [1, 3, 640, 640] # 固定形状时使用runtime:precision: fp16 # 精度,常见取值包括 fp32、fp16、int8max_batch: 8 # 最大批大小,影响吞吐与显存占用workspace_mb: 2048 # 编译临时空间,不足时编译会失败dynamic_shapes: # 动态形状范围,范围越大,编译与运行开销越高min: [1, 3, 320, 320]opt: [4, 3, 640, 640]max: [8, 3, 1280, 1280]
各配置项的影响如下。精度会同时影响速度和数值误差,需要通过输出比对确认误差可接受。批大小增大时吞吐提高,但延迟和显存占用也随之增加。工作空间过小会导致编译失败,过大则会占用编译节点的内存。动态形状的范围越宽,越可能出现首次请求延迟高或反复编译的问题。
编译完成后,用同一批样本分别运行原始模型和优化后的模型,比较两者的输出差异。下面的脚本计算最大绝对误差和平均绝对误差:
import numpy as npdef compare_outputs(ref: np.ndarray, out: np.ndarray) -> dict:"""计算原始输出与优化输出之间的绝对误差。"""if ref.shape != out.shape:raise ValueError(f"输出形状不一致: {ref.shape} vs {out.shape}")diff = np.abs(ref.astype(np.float64) - out.astype(np.float64))return {"max_abs_error": float(diff.max()),"mean_abs_error": float(diff.mean()),}
误差的可接受范围由业务决定。分类任务可以比较预测类别的一致率,检测或生成任务则需要结合业务指标判断。比对记录应包含样本数量、误差数值、判定结论和执行人。
编译产物需要计算校验值,并与模型版本一起归档:
sha256sum /models/v1.3.0/engine.bin > /models/v1.3.0/engine.bin.sha256
编译阶段的检查项如下:
上线前,先在测试节点空载启动服务。确认进程能正常加载运行文件,并且端口处于监听状态:
# 启动服务,参数为示意,需按实际服务程序核对./serve --engine /models/current/engine.bin \--port 8080 \--max-concurrency 8 \--timeout-ms 2000# 确认端口已监听ss -lntp | grep 8080
健康检查接口用于判断服务是否可以接收流量。检查命令如下,返回码为 0 时表示检查通过:
curl -sf http://127.0.0.1:8080/health && echo "健康检查通过"
接着用单条样本测试推理接口,并与基线输出对比。测试数据应保存在版本化目录中,避免临时构造的数据影响判断:
curl -s -X POST http://127.0.0.1:8080/infer \-H 'Content-Type: application/json' \-d @/models/v1.3.0/samples/sample_001.json
访问入口的配置需要注意三点。第一,管理接口只绑定内网地址或本机地址,不直接暴露到公网。第二,对外服务通过负载均衡或网关接入,并启用加密传输。第三,证书需要检查有效期。下面的命令用于查看证书到期时间:
openssl x509 -in /etc/ssl/service/cert.pem -noout -enddate
上线采用灰度方式。建议的起点是先放 5% 的流量,观察至少一个完整的业务高峰周期,确认指标稳定后再逐级放量。每一级放量前都应检查错误率、延迟和资源水位。
上线验证的检查项如下:
先看启动日志。日志中通常会给出引擎版本、运行文件路径和加载错误信息。如果提示版本不兼容,核对模型导出工具版本、引擎版本和驱动版本,三者需要符合引擎文档的版本矩阵。如果提示找不到文件,检查运行文件路径和符号链接是否正确。
排查时建议使用最小配置复现。先去掉动态形状、开启单一实例、关闭自定义参数,确认基础流程能跑通,再逐项加回配置,定位引起问题的参数。
先查看显存占用:
nvidia-smi --query-gpu=memory.used,memory.total --format=csv
显存不足时,可以按以下顺序处理:降低最大批大小,缩小动态形状的上限,减少单卡上的服务实例数。调整工作空间大小需要谨慎。工作空间过小会导致编译失败,过大则会挤占运行时显存。每次只改一个参数,改完后重新执行输出比对和压测。
典型症状是首次请求的延迟明显高于后续请求,日志中出现重新编译或构建相关的记录。处理方式有两种。一是收窄动态形状的范围,只保留业务中真实出现的尺寸。二是对常用尺寸提前编译,避免线上请求触发编译。
回滚的触发条件包括:健康检查连续失败,错误率超过告警阈值,输出比对不通过,或出现无法定位的加载错误。回滚前,先确认上一版本的运行文件、配置和校验值完整:
sha256sum -c /models/v1.2.0/engine.bin.sha256
校验通过后,将当前版本的指向切换到上一版本,并重启服务:
ln -sfn /models/v1.2.0 /models/current
回滚会改变生产服务所用的版本,执行前需要获得操作负责人的确认。回滚后重复执行健康检查和单条推理测试,并记录故障现象和处理过程,便于后续复盘。
上线后应持续观察以下指标。下表中的告警阈值是起点,需要按业务的服务等级目标(SLO)调整。
| 指标 | 含义 | 建议告警起点 |
|---|---|---|
| P99 延迟 | 99% 请求的响应时间上限 | 超过 SLO 的 1.5 倍,持续 5 分钟 |
| 错误率 | 5xx 响应占总请求的比例 | 连续 5 分钟高于 0.5% |
| 队列积压 | 等待处理的请求数 | 持续超过并发上限的 2 倍 |
| 加速卡利用率 | 计算单元的使用比例 | 持续高于 85% |
| 显存使用率 | 显存占用占总容量的比例 | 超过 90% |
容量规划可以用以下公式估算所需实例数:
所需实例数 = 向上取整( 峰值 QPS × 单请求平均耗时(秒) ÷ 单实例并发数 ÷ 目标利用率 )
举例说明:峰值为 200 QPS,单请求平均耗时 0.05 秒,单实例并发数为 8,目标利用率为 0.7。计算过程为 200 × 0.05 = 10,10 ÷ 8 = 1.25,1.25 ÷ 0.7 ≈ 1.79,向上取整得到 2 个实例。目标利用率留有余量,用于应对突发流量和发布期间的临时波动。
成本统计建议使用单位推理成本作为口径:
单位推理成本 = 实例单价 × 实例