简介:本文面向开发者、运维人员和技术负责人,说明如何把开源数字人视频生成模型部署为可访问的推理服务。读者按步骤完成环境检查、模型校验、容器启动、接口验证和结果检查,并掌握鉴权配置、版本回滚与显存实测方法。
本文说明如何在单机或少量GPU服务器上部署推理服务。服务接收一张参考人像和一段音频,返回口型与语音同步的说话视频。
文中的镜像名、端口、接口路径和启动参数均为占位写法,例如 <image>:<tag>、/v1/tasks。实际部署时,请以模型发布方的官方文档为准替换这些内容。本文不提供性能数据,显存、耗时和并发上限需要在自己的硬件上实测。
操作前请确认三件事:你拥有目标服务器的root或sudo权限;服务器已接入内网或可控的公网入口;你已取得模型的使用许可。
开始安装前,逐项核对下表。任一项不满足时,先解决再继续。
| 检查项 | 建议标准 | 核对方法 |
|---|---|---|
| 操作系统 | 主流Linux发行版,内核版本在发布方支持范围内 | cat /etc/os-release |
| GPU驱动 | 与模型依赖的CUDA版本匹配 | 见第二节 |
| 磁盘空间 | 模型目录、输出目录各预留权重大小的2倍以上 | df -h /data |
| 内存 | 不低于发布方文档要求,并预留余量 | free -g |
| 网络端口 | 服务端口仅对网关或内网开放 | ss -lntp |
| 许可证 | 已确认允许目标用途,包括商业用途 | 人工核对 |
| 参考素材授权 | 所用人像和声音已取得本人授权 | 人工核对 |
nvidia-smi --query-gpu=name,driver_version,memory.total,memory.used --format=csv
输出应显示GPU型号、驱动版本和显存总量。若命令报错,先安装与GPU匹配的驱动,并重启服务器。
推荐使用容器部署,让开发、测试和生产环境保持一致。以Ubuntu或Debian为例:
sudo apt-get updatesudo apt-get install -y docker.iosudo apt-get install -y nvidia-container-toolkitsudo nvidia-ctk runtime configure --runtime=dockersudo systemctl restart docker
验证容器能否访问GPU:
docker run --rm --gpus all <cuda-base-image> nvidia-smi
输出应与宿主机的GPU列表一致。若失败,检查宿主机驱动版本与容器内CUDA版本是否兼容。
服务进程不应以root身份运行。容器内进程的UID和GID必须与宿主机上读取模型目录的账号一致,否则容器会读不到模型文件。因此不要直接套用固定的 1000:1000,而要先确认该数值是否已被占用。
# 无输出表示该UID和GID未被占用getent passwd 2000getent group 2000sudo groupadd --system -g 2000 avatarsudo useradd --system -u 2000 -g 2000 --no-create-home --shell /usr/sbin/nologin avatarid avatar
若 avatar 账号已存在,直接执行 id avatar 查看现有值,不要重复创建。记下 id -u avatar 和 id -g avatar 的输出,后续启动容器时的 --user 参数必须与之一致。下文示例假设为 2000:2000,实际操作时请替换为你的数值。
sudo mkdir -p /data/models /data/inputs /data/outputs /etc/avatar-infersudo chown -R avatar:avatar /data/inputs /data/outputssudo chmod 750 /data/inputs /data/outputs
模型目录只需读取权限:
sudo chown -R root:avatar /data/modelssudo chmod -R 750 /data/models
下载模型后,在模型目录生成校验文件,并保存到版本记录中:
cd /data/models/<model-name>find . -type f ! -name SHA256SUMS -print0 | xargs -0 sha256sum > SHA256SUMS
使用 -print0 和 xargs -0 可以正确处理文件名中含有空格的情况。若发布方已提供 SHA256SUMS