简介:本文面向本地部署的开发者和运维人员,以单张专业显卡为例,讲解驱动与框架检查、模型目录放置、节点工作流搭建、参数分档设置、结果验证和常见故障排查。读完后,你可以在本机生成带立体声的视频文件,全程不调用在线接口,数据不出本地。
读完本文,你能在一台配备专业显卡的工作站上运行音视频同步生成工作流。输入一段文字描述,就能得到一个同时包含画面和立体声的视频文件。全部计算在本地显卡完成。
本文包含四个可核对的结果:
本文基于以下假设,使用前请先核对:
<模型名>。这些信息必须从模型发布方的官方文档获取,本文不提供猜测的文件名。本文面向两类读者。开发者需要理解推理流程并调试工作流。运维人员需要在工作站上部署模型,并保证环境稳定。
读者需要会使用命令行,并了解“加载权重、执行推理、输出结果”的基本概念。本文不讲从零安装操作系统,也不讲高并发在线服务的容量规划。
显存容量是首要门槛。模型官方文档标注的最低显存如果高于你的显卡,本文的步骤无法完成。磁盘剩余空间至少应为模型权重体积的两倍,以便保存输出文件和日志。
在终端执行以下命令,查看显卡型号、驱动版本和显存总量:
nvidia-sminvidia-smi --query-gpu=name,driver_version,memory.total --format=csv
如果命令报错,说明驱动没有加载。常见原因是驱动未安装、内核更新后模块未重新编译,或系统开启了安全启动且未签名驱动模块。
记录驱动版本号。后续框架版本需要与它匹配,框架官网的安装选择器会给出对应的安装命令。
安装与驱动支持的 CUDA 版本对应的 PyTorch。安装完成后,运行以下脚本:
import torchprint("torch版本:", torch.__version__)print("CUDA可用:", torch.cuda.is_available())if torch.cuda.is_available():print("设备名称:", torch.cuda.get_device_name(0))print("显存总量(GB):", round(torch.cuda.get_device_properties(0).total_memory / 1024**3, 2))a = torch.randn(4096, 4096, device="cuda:0", dtype=torch.float16)b = a @ aprint("矩阵运算结果形状:", tuple(b.shape))else:raise SystemExit("未检测到可用的CUDA设备,请检查驱动与框架版本")
如果 CUDA可用 为 False,先回到第一步排查驱动。如果设备可见但矩阵运算报错,通常是框架版本与 CUDA 版本不匹配。
获取工具代码,按其依赖说明安装运行环境。以 ComfyUI 为例,启动命令如下:
python main.py --listen 127.0.0.1 --port 8188
在浏览器打开 http://127.0.0.1:8188,确认界面正常加载。
只监听本机地址时,外部无法访问推理服务。如果需要局域网访问,应放在带身份认证的反向代理之后,避免未授权用户占用显卡。
升级工具或自定义节点前,先备份工作流文件和节点列表:
cp -r ./user/default/workflows ./backup/workflows_$(date +%Y%m%d)
以 ComfyUI 的目录约定为例,文件应放在如下位置:
ComfyUI/└── models/├── diffusion_models/ <扩散模型主权重>.safetensors├── text_encoders/ <文本编码组件>.safetensors├── vae/ <视频解码组件>.safetensors└── audio_vae/ <音频解码组件>.safetensors
放置后,用发布方提供的校验值核对文件完整性:
sha256sum models/diffusion_models/<扩散模型主权重>.safetensors
输出的哈希值必须与官方文档一致。不一致时,重新下载文件。
加载节点的精度设置要与权重一致。如果权重是半精度,节点选择全精度会报错,反之则可能占用更多显存。
在工具界面新建工作流,按以下顺序添加节点并连接:
视频解码和音频解码必须同时接入扩散采样的输出。只接一个,生成文件会缺少画面或声音。
提示词应同时描述画面、动作和声音。下面是一条示例:
雨夜的街道,一辆红色出租车缓慢驶过积水路面,溅起水花。远处传来雷声,车辆鸣笛声从左侧逐渐移向右侧。
参数按三个档位设置。首次运行请先使用低档。
| 参数 | 低档(首次运行) | 中档 | 高档 |
|---|---|---|---|
| 分辨率(宽×高) | 512×288 | 864×480 | 按模型文档上限设置 |
| 帧率 | 24 | 24 | 24 |
| 时长(秒) | 3 | 5 | 按需设置 |
| 帧数 | 72 | 120 | 时长×帧率 |
| 采样步数 | 20 | 25 | 按模型文档推荐值 |
| 随机种子 | 固定整数 | 固定整数 | 固定整数 |
| 音频采样率 | 32000 | 32000 | 32000 |
| 声道数 | 2 | 2 | 2 |
| 计算精度 | 半精度 | 半精度 | 按权重精度设置 |
帧数需要符合模型的要求,有些模型要求帧数为特定数值加一。以模型文档为准,不符合时调整时长或帧率。
每次只修改一项参数,并记录变化。这样才能判断哪一项影响了显存占用、耗时和质量。
点击执行,同时在另一个终端查看显存占用:
watch -n 2 nvidia-smi
显存峰值通常出现在扩散采样阶段。每次运行记录提示词、参数、耗时和显存峰值,以便后续对比。耗时取决于显卡型号、驱动版本、参数和系统负载,请以自己环境的多次测试结果为准。
如果进程长时间无响应,先看控制台日志。确认没有进展后,再查找残留进程:
nvidia-smi --query-compute-apps=pid,process_name,used_memory --format=csv
确认 PID 属于推理进程后,再执行 kill <PID>。不要在未确认状态下反复重启,否则残留进程会继续占用显存。
出现 CUDA out of memory 时,按以下顺序调整,每次只改一项:
文件检查。用 ffprobe 查看输出文件的流信息:
ffprobe -v error -show_entries stream=codec_type,codec_name,width,height,nb_frames,sample_rate,channels -of default=nw=1 output.mp4
核对以下项目:
nb_frames 与帧数一致。同步检查。分别读取音视频时长:
ffprobe -v error -show_entries format=duration -of default=nw=1 output.mp4
音频和视频时长相差较大时,检查空白潜变量中的时长与帧率是否一致。
人工检查。用常见播放器播放文件,确认画面连续,声音与画面动作基本对应,没有明显的爆音或静音段。
| 现象 | 可能原因 | 处理方法 |
|---|---|---|
nvidia-smi 报错 |
驱动未加载或与内核不兼容 | 重新安装驱动,检查安全启动设置 |
| 框架显示 CUDA 不可用 | 框架版本与 CUDA 版本不匹配 | 按框 |