高性能主机上AI推理服务部署与验收指南

作者:demo2026.11.18 11:31浏览量:0

简介:本文说明如何在高性能主机上部署AI推理服务,并用推理指标完成验收。内容包括版本锁定、加速器确认、服务启动、健康检查、推理基准测试、常见故障排查和回滚步骤。读者可按这些步骤搭建可复现的部署环境,并判断服务是否达标。

一、适用范围

本文适用于在本地或局域网主机上部署文本向量(embedding)、图像分类等轻量推理服务的开发者和运维人员。示例以Linux服务器和Python服务为主。Windows环境可以使用相同的验证思路,命令需要替换为对应工具。

本文的验收对象是AI推理服务本身。渲染、视频编码、光线追踪等整机跑分只能说明硬件的通用性能,不能代替推理服务的验收。文中的数值均为示例,上线前需要用自己的业务数据校准。

二、部署前确认

部署前先确认以下信息,并记录到部署单中。

项目 检查方法 示例记录
操作系统 cat /etc/os-release Ubuntu 22.04 LTS
内核与驱动 uname -r,厂商驱动工具 按厂商文档记录版本
Python python3 --version 3.11.x
推理框架 pip show onnxruntime 1.18.x
CPU核心数 lscpu,查看 Core(s) per socket 等字段 物理核心数记为N
内存 free -h 模型体积的2到3倍以上
存储 df -h /data 模型与日志单独挂载

模型体积与内存的关系只是经验规则。实际需求应以模型加载后的内存占用为准,可以在服务启动后用ps -o rss= -p <PID>读取常驻内存。

三、确认推理设备

部署前要确认服务实际使用的执行设备。CPU、NPU、GPU的适用边界不同:

  • CPU:通用,适合小模型和低并发场景,性能受核心数和线程数影响明显。
  • NPU或其他专用加速器:需要框架插件或厂商运行时支持,并且只支持部分算子和模型格式。
  • GPU:需要对应驱动和推理框架版本,显存需满足模型要求。

以ONNX Runtime为例,可以列出当前可用的执行后端:

  1. import onnxruntime as ort
  2. print(ort.get_available_providers())

如果输出中只有CPUExecutionProvider,服务将全部在CPU上运行。如果需要其他加速器,必须确认对应的Provider出现在列表中,并在服务配置中显式指定。加速器不可用时,服务应退回CPU并在日志中记录,不能静默降级。

四、环境初始化

创建独立的运行目录和专用账号,遵循最小权限原则:

  1. sudo useradd --system --no-create-home --shell /usr/sbin/nologin ai-svc
  2. sudo mkdir -p /opt/ai-svc/releases /etc/ai-svc /data/models /var/log/ai-svc
  3. sudo chown -R ai-svc:ai-svc /opt/ai-svc /data/models /var/log/ai-svc

创建虚拟环境并安装依赖。首次安装时在干净环境中确定版本,之后固化为锁定文件:

  1. sudo -u ai-svc python3 -m venv /opt/ai-svc/releases/v1.0.0/venv
  2. sudo -u ai-svc /opt/ai-svc/releases/v1.0.0/venv/bin/pip install -r requirements.txt
  3. sudo -u ai-svc /opt/ai-svc/releases/v1.0.0/venv/bin/pip freeze > /opt/ai-svc/releases/v1.0.0/requirements.lock

后续部署使用requirements.lock安装,保证开发、测试和生产环境的依赖版本一致。

密钥和端口等环境相关参数放在环境文件中,不写入代码仓库:

  1. sudo tee /etc/ai-svc/app.env > /dev/null <<'EOF'
  2. MODEL_PATH=/data/models/embed-small
  3. LISTEN_HOST=192.168.1.10
  4. LISTEN_PORT=8000
  5. OMP_NUM_THREADS=4
  6. LOG_LEVEL=INFO
  7. EOF
  8. sudo chmod 600 /etc/ai-svc/app.env
  9. sudo chown ai-svc:ai-svc /etc/ai-svc/app.env

OMP_NUM_THREADS建议设为物理核心数,而不是逻辑线程数。在混合架构处理器上,性能核与能效核的数量需要分别确认。线程数设置后应通过基准测试验证,不能只凭经验设定。

五、部署与启动

先在前台启动,观察日志后再切换为常驻服务:

  1. cd /opt/ai-svc/releases/v1.0.0
  2. sudo -u ai-svc sh -c 'set -a; . /etc/ai-svc/app.env; set +a; ./venv/bin/uvicorn app.main:app --host "$LISTEN_HOST" --port "$LISTEN_PORT" --workers 1'

确认日志中出现服务就绪信息,且没有ERROR级别记录。之后使用systemd托管服务:

  1. # /etc/systemd/system/ai-svc.service
  2. [Unit]
  3. Description=AI inference service
  4. After=network-online.target
  5. [Service]
  6. User=ai-svc
  7. EnvironmentFile=/etc/ai-svc/app.env
  8. WorkingDirectory=/opt/ai-svc/current
  9. ExecStart=/opt/ai-svc/current/venv/bin/uvicorn app.main:app --host ${LISTEN_HOST} --port ${LISTEN_PORT} --workers 1
  10. Restart=on-failure
  11. RestartSec=5
  12. [Install]
  13. WantedBy=multi-user.target
  1. sudo ln -sfn /opt/ai-svc/releases/v1.0.0 /opt/ai-svc/current
  2. sudo systemctl daemon-reload
  3. sudo systemctl enable --now ai-svc
  4. systemctl status ai-svc --no-pager

--workers 1适用于单模型常驻、线程数由框架控制的场景。多进程会重复加载模型并占用更多内存,需要在压测后再决定是否增加。

六、开放访问

局域网访问需要放行端口,并限定来源网段。先查看已有规则,避免覆盖现有策略:

  1. sudo ufw status verbose
  2. sudo ufw allow from 192.168.1.0/24 to any port 8000 proto tcp
  3. sudo ufw status numbered

如果服务只需要本机调用,将LISTEN_HOST设为127.0.0.1,不开放防火墙端口。绑定到0.0.0.0会监听所有网卡,应避免。

七、健康检查与功能验证

服务启动后依次检查:

  1. # 1. 健康检查,期望返回HTTP 200
  2. curl -s -o /dev/null -w "%{http_code}\n" http://127.0.0.1:8000/healthz
  3. # 2. 功能请求,期望返回向量维度与模型配置一致
  4. curl -s -X POST http://127.0.0.1:8000/embed \
  5. -H "Content-Type: application/json" \
  6. -d '{"text":"服务部署验收样例"}'
  7. # 3. 局域网连通性,在另一台主机执行
  8. curl -s -o /dev/null -w "%{http_code}\n" http://192.168.1.10:8000/healthz
  9. # 4. 日志检查,过去30分钟不应出现ERROR
  10. journalctl -u ai-svc --since "30 min ago" | grep -c ERROR

功能请求的返回值应与模型的输出维度一致。如果维度不匹配,通常是模型路径或版本配置错误。

八、推理基准测试

基准测试的核心指标包括:

  1. 吞吐:每秒完成的请求数或处理的文本数。
  2. 延迟:P50、P95、P99的响应时间。
  3. 稳定性:并发下的错误率,包括超时和5xx响应。

准备固定的请求样本,例如payload.json保存1000条固定长度的文本。使用HTTP压测工具逐级加压:

  1. # 预热:先发送200个请求,结果不计入统计
  2. hey -n 200 -c 4 -m POST -T application/json -D payload.json http://127.0.0.1:8000/embed > /dev/null
  3. # 正式测试:并发数逐级递增,每档至少运行3次取中位数
  4. for c in 1 2 4 8; do
  5. hey -n 2000 -c $c -m POST -T application/json -D payload.json http://127.0.0.1:8000/embed
  6. done

每轮测试中同时记录温度、频率和功耗。Linux上可使用sensors读取温度,使用turbostat读取频率和功耗(部分平台需要root权限)。Windows上可以使用HWiNFO等工具。若需要比较不同功耗档位,必须记录每次测试时的实际档位,并在相同系统版本、相同散热条件和相同后台负载下测试,否则数据不可比。

九、验收标准

以下阈值为示例,应以业务需求和压测基线为准:

  • 健康检查连续10次返回200。
  • 并发8时错误率低于0.1%。
  • 并发8时P95延迟不超过业务约定值,例如200毫秒。
  • 连续运行1小时,内存占用无持续增长。
  • 日志中无ERROR和重复的WARNING。

同一版本的基线数据应保存下来。后续每次部署后,用相同的样本和参数复测,偏差超过10%时先排查再上线。

十、常见问题排查

现象 检查命令或日志关键字 判定与处理
服务启动失败 journalctl -u ai-svc -n 100 中的ImportError、OSError 核对requirements.lock与Python版本,确认模型路径存在
端口被占用 `ss -lntp \ grep 8000` 修改LISTEN_PORT或停止占用进程
局域网无法访问 sudo ufw status,ss -lntp 查看绑定地址 确认绑定地址不是127.0.0.1,并放行来源网段
吞吐远低于基线 检查OMP_NUM_THREADS,top中CPU占用 线程数与物理核心数不匹配时调整并复测
加速器未生效 ort.get_available_providers() 输出 缺少对应Provider时检查驱动与框架版本
延迟抖动大 sensors、turbostat 的温度与频率曲线 温度持续升高时检查散热,频率下降时检查功耗设置
接口偶发超时 日志中的timeout、连接相关错误 调整并发与连接池参数,客户端增加有限次数的重试
内存持续增长 ps -o rss= -p <PID> 每10分钟采样一次 检查请求缓存是否无上限,必要时设置缓存上限

十一、回滚方案

升级前保留上一个版本的目录、锁定文件和配置备份:

  1. sudo cp /etc/ai-svc/app.env /etc/ai-svc/app.env.bak.$(date +%Y%m%d%H%M)

出现以下情况时执行回滚:5xx错误率在5分钟内超过1%,P95延迟比基线高出50%以上,或服务反复重启。回滚步骤如下:

  1. sudo systemctl stop ai-svc
  2. sudo ln -sfn /opt/ai-svc/releases/v0.9.0 /opt/ai-svc/current
  3. sudo cp /etc/ai-svc/app.env.bak.<时间戳> /etc/ai-svc/app.env
  4. sudo systemctl start ai-svc
  5. curl -s -o /dev/null -w "%{http_code}\n" http://127.0.0.1:8000/healthz

回滚只切换程序版本和配置,不会恢复数据。涉及模型文件迁移或数据格式变更时,应在升级前备份数据目录,并在测试环境验证回滚路径。删除旧版本目录前,需要先确认新版本已稳定运行一段时间。

十二、运维监控

建议采集以下指标:CPU占用率、内存、磁盘使用率、温度、功耗、接口延迟和错误率。采集工具可以选择Prometheus配合node_exporter,或使用定时脚本写入日志。

示例告警阈值:CPU持续10分钟高于90%,内存使用率高于85%,接口错误率高于0.5%,P95延迟超过验收标准。这些阈值需要根据业务压测结果调整,不能直接照搬。

十三、上线检查清单

  1. 版本与依赖已记录,锁定文件已生成。
  2. 推理设备已确认,加速器状态与预期一致。
  3. 环境文件权限为600,密钥未写入代码仓库。
  4. 服务由systemd托管,开机自启已配置。
  5. 防火墙仅放行必要网段和端口。
  6. 健康检查、功能请求和局域网连通性均通过。
  7. 基准测试结果已与基线比较,偏差在可接受范围内。
  8. 回滚版本和配置备份已就绪。

以上清单可作为验收模板。上线前应结合实际模型、硬件和业务负载,补充具体的版本号、阈值和测试数据。