简介:本文说明如何在高性能主机上部署AI推理服务,并用推理指标完成验收。内容包括版本锁定、加速器确认、服务启动、健康检查、推理基准测试、常见故障排查和回滚步骤。读者可按这些步骤搭建可复现的部署环境,并判断服务是否达标。
本文适用于在本地或局域网主机上部署文本向量(embedding)、图像分类等轻量推理服务的开发者和运维人员。示例以Linux服务器和Python服务为主。Windows环境可以使用相同的验证思路,命令需要替换为对应工具。
本文的验收对象是AI推理服务本身。渲染、视频编码、光线追踪等整机跑分只能说明硬件的通用性能,不能代替推理服务的验收。文中的数值均为示例,上线前需要用自己的业务数据校准。
部署前先确认以下信息,并记录到部署单中。
| 项目 | 检查方法 | 示例记录 |
|---|---|---|
| 操作系统 | cat /etc/os-release |
Ubuntu 22.04 LTS |
| 内核与驱动 | uname -r,厂商驱动工具 |
按厂商文档记录版本 |
| Python | python3 --version |
3.11.x |
| 推理框架 | pip show onnxruntime |
1.18.x |
| CPU核心数 | lscpu,查看 Core(s) per socket 等字段 |
物理核心数记为N |
| 内存 | free -h |
模型体积的2到3倍以上 |
| 存储 | df -h /data |
模型与日志单独挂载 |
模型体积与内存的关系只是经验规则。实际需求应以模型加载后的内存占用为准,可以在服务启动后用ps -o rss= -p <PID>读取常驻内存。
部署前要确认服务实际使用的执行设备。CPU、NPU、GPU的适用边界不同:
以ONNX Runtime为例,可以列出当前可用的执行后端:
import onnxruntime as ortprint(ort.get_available_providers())
如果输出中只有CPUExecutionProvider,服务将全部在CPU上运行。如果需要其他加速器,必须确认对应的Provider出现在列表中,并在服务配置中显式指定。加速器不可用时,服务应退回CPU并在日志中记录,不能静默降级。
创建独立的运行目录和专用账号,遵循最小权限原则:
sudo useradd --system --no-create-home --shell /usr/sbin/nologin ai-svcsudo mkdir -p /opt/ai-svc/releases /etc/ai-svc /data/models /var/log/ai-svcsudo chown -R ai-svc:ai-svc /opt/ai-svc /data/models /var/log/ai-svc
创建虚拟环境并安装依赖。首次安装时在干净环境中确定版本,之后固化为锁定文件:
sudo -u ai-svc python3 -m venv /opt/ai-svc/releases/v1.0.0/venvsudo -u ai-svc /opt/ai-svc/releases/v1.0.0/venv/bin/pip install -r requirements.txtsudo -u ai-svc /opt/ai-svc/releases/v1.0.0/venv/bin/pip freeze > /opt/ai-svc/releases/v1.0.0/requirements.lock
后续部署使用requirements.lock安装,保证开发、测试和生产环境的依赖版本一致。
密钥和端口等环境相关参数放在环境文件中,不写入代码仓库:
sudo tee /etc/ai-svc/app.env > /dev/null <<'EOF'MODEL_PATH=/data/models/embed-smallLISTEN_HOST=192.168.1.10LISTEN_PORT=8000OMP_NUM_THREADS=4LOG_LEVEL=INFOEOFsudo chmod 600 /etc/ai-svc/app.envsudo chown ai-svc:ai-svc /etc/ai-svc/app.env
OMP_NUM_THREADS建议设为物理核心数,而不是逻辑线程数。在混合架构处理器上,性能核与能效核的数量需要分别确认。线程数设置后应通过基准测试验证,不能只凭经验设定。
先在前台启动,观察日志后再切换为常驻服务:
cd /opt/ai-svc/releases/v1.0.0sudo -u ai-svc sh -c 'set -a; . /etc/ai-svc/app.env; set +a; ./venv/bin/uvicorn app.main:app --host "$LISTEN_HOST" --port "$LISTEN_PORT" --workers 1'
确认日志中出现服务就绪信息,且没有ERROR级别记录。之后使用systemd托管服务:
# /etc/systemd/system/ai-svc.service[Unit]Description=AI inference serviceAfter=network-online.target[Service]User=ai-svcEnvironmentFile=/etc/ai-svc/app.envWorkingDirectory=/opt/ai-svc/currentExecStart=/opt/ai-svc/current/venv/bin/uvicorn app.main:app --host ${LISTEN_HOST} --port ${LISTEN_PORT} --workers 1Restart=on-failureRestartSec=5[Install]WantedBy=multi-user.target
sudo ln -sfn /opt/ai-svc/releases/v1.0.0 /opt/ai-svc/currentsudo systemctl daemon-reloadsudo systemctl enable --now ai-svcsystemctl status ai-svc --no-pager
--workers 1适用于单模型常驻、线程数由框架控制的场景。多进程会重复加载模型并占用更多内存,需要在压测后再决定是否增加。
局域网访问需要放行端口,并限定来源网段。先查看已有规则,避免覆盖现有策略:
sudo ufw status verbosesudo ufw allow from 192.168.1.0/24 to any port 8000 proto tcpsudo ufw status numbered
如果服务只需要本机调用,将LISTEN_HOST设为127.0.0.1,不开放防火墙端口。绑定到0.0.0.0会监听所有网卡,应避免。
服务启动后依次检查:
# 1. 健康检查,期望返回HTTP 200curl -s -o /dev/null -w "%{http_code}\n" http://127.0.0.1:8000/healthz# 2. 功能请求,期望返回向量维度与模型配置一致curl -s -X POST http://127.0.0.1:8000/embed \-H "Content-Type: application/json" \-d '{"text":"服务部署验收样例"}'# 3. 局域网连通性,在另一台主机执行curl -s -o /dev/null -w "%{http_code}\n" http://192.168.1.10:8000/healthz# 4. 日志检查,过去30分钟不应出现ERRORjournalctl -u ai-svc --since "30 min ago" | grep -c ERROR
功能请求的返回值应与模型的输出维度一致。如果维度不匹配,通常是模型路径或版本配置错误。
基准测试的核心指标包括:
准备固定的请求样本,例如payload.json保存1000条固定长度的文本。使用HTTP压测工具逐级加压:
# 预热:先发送200个请求,结果不计入统计hey -n 200 -c 4 -m POST -T application/json -D payload.json http://127.0.0.1:8000/embed > /dev/null# 正式测试:并发数逐级递增,每档至少运行3次取中位数for c in 1 2 4 8; dohey -n 2000 -c $c -m POST -T application/json -D payload.json http://127.0.0.1:8000/embeddone
每轮测试中同时记录温度、频率和功耗。Linux上可使用sensors读取温度,使用turbostat读取频率和功耗(部分平台需要root权限)。Windows上可以使用HWiNFO等工具。若需要比较不同功耗档位,必须记录每次测试时的实际档位,并在相同系统版本、相同散热条件和相同后台负载下测试,否则数据不可比。
以下阈值为示例,应以业务需求和压测基线为准:
同一版本的基线数据应保存下来。后续每次部署后,用相同的样本和参数复测,偏差超过10%时先排查再上线。
| 现象 | 检查命令或日志关键字 | 判定与处理 | |
|---|---|---|---|
| 服务启动失败 | journalctl -u ai-svc -n 100 中的ImportError、OSError |
核对requirements.lock与Python版本,确认模型路径存在 |
|
| 端口被占用 | `ss -lntp \ | grep 8000` | 修改LISTEN_PORT或停止占用进程 |
| 局域网无法访问 | sudo ufw status,ss -lntp 查看绑定地址 |
确认绑定地址不是127.0.0.1,并放行来源网段 | |
| 吞吐远低于基线 | 检查OMP_NUM_THREADS,top中CPU占用 |
线程数与物理核心数不匹配时调整并复测 | |
| 加速器未生效 | ort.get_available_providers() 输出 |
缺少对应Provider时检查驱动与框架版本 | |
| 延迟抖动大 | sensors、turbostat 的温度与频率曲线 |
温度持续升高时检查散热,频率下降时检查功耗设置 | |
| 接口偶发超时 | 日志中的timeout、连接相关错误 | 调整并发与连接池参数,客户端增加有限次数的重试 | |
| 内存持续增长 | ps -o rss= -p <PID> 每10分钟采样一次 |
检查请求缓存是否无上限,必要时设置缓存上限 |
升级前保留上一个版本的目录、锁定文件和配置备份:
sudo cp /etc/ai-svc/app.env /etc/ai-svc/app.env.bak.$(date +%Y%m%d%H%M)
出现以下情况时执行回滚:5xx错误率在5分钟内超过1%,P95延迟比基线高出50%以上,或服务反复重启。回滚步骤如下:
sudo systemctl stop ai-svcsudo ln -sfn /opt/ai-svc/releases/v0.9.0 /opt/ai-svc/currentsudo cp /etc/ai-svc/app.env.bak.<时间戳> /etc/ai-svc/app.envsudo systemctl start ai-svccurl -s -o /dev/null -w "%{http_code}\n" http://127.0.0.1:8000/healthz
回滚只切换程序版本和配置,不会恢复数据。涉及模型文件迁移或数据格式变更时,应在升级前备份数据目录,并在测试环境验证回滚路径。删除旧版本目录前,需要先确认新版本已稳定运行一段时间。
建议采集以下指标:CPU占用率、内存、磁盘使用率、温度、功耗、接口延迟和错误率。采集工具可以选择Prometheus配合node_exporter,或使用定时脚本写入日志。
示例告警阈值:CPU持续10分钟高于90%,内存使用率高于85%,接口错误率高于0.5%,P95延迟超过验收标准。这些阈值需要根据业务压测结果调整,不能直接照搬。
以上清单可作为验收模板。上线前应结合实际模型、硬件和业务负载,补充具体的版本号、阈值和测试数据。