简介:本教程面向12GB显存显卡开发者,提供可复现流程:驱动检查、PyTorch与CUDA安装、ComfyUI工作流、量化模型目录、生成参数、显存验收和排错。完成后可判断OOM风险、许可合规,并降低显存占用与生成失败率。
本教程面向具备独立显卡的开发者或 AI 爱好者,目标是在消费级显卡上完成开源 AI 视频生成模型的本地部署。推荐硬件为 12GB 显存的 NVIDIA 显卡,例如 RTX 3060 12GB、RTX 4070 12GB 等。支持系统包括 Windows 10/11 64 位、Ubuntu 20.04/22.04。若使用 AMD 显卡,需要 ROCm 环境且生态兼容度通常低于 NVIDIA,命令和排障方式会有差异;核显、集显或 8GB 以下显存显卡不建议按本教程运行完整视频生成流程。
建议配置:
开始修改驱动、虚拟环境、模型目录前,建议先备份重要配置。若你 previously 安装过旧驱动或旧版 CUDA,记录当前版本,避免升级后无法回退。
所有步骤的前提是系统能够正确识别显卡,并且驱动版本足够新。若显卡未被识别,后续安装深度学习框架、加载模型都会失败。
在终端执行:
nvidia-smi
示例输出可能包含以下字段:
Wed May 10 08:30:00 2026+-----------------------------------------------------------------------------+| NVIDIA-SMI 535.104 Driver Version: 535.104 CUDA Version: 12.2 ||-------------------------------+----------------------+------------------+| GPU 0000:01:00.0 | N/A | N/A || | 512MiB / 12288MiB |+-----------------------------------------------------------------------------+
判读标准:
Driver Version:记录驱动版本,建议 535 及以上;CUDA Version:显示系统当前可兼容的最高 CUDA 版本;12288MiB 或接近 12GB:说明显存约 12GB;Memory-Usage 中已用显存应尽量低于 2GiB,表示当前没有大型程序占用显存。如果提示 nvidia-smi: command not found,说明驱动未安装或不在 PATH 中。可先查看推荐驱动:
sudo ubuntu-drivers devicessudo ubuntu-drivers autoinstallsudo reboot
重启后再次执行 nvidia-smi。不要同时混装多个来源不明的驱动包。
Windows 可通过两种方式查看显卡:
nvidia-smi
任务管理器中应查看以下字段:
如果任务管理器只显示基础显示适配器,说明驱动未正常安装。
rocm-smirocm-smi --showmeminfo vram
本教程后续以 NVIDIA + PyTorch 为主。若使用 AMD,需要确认 ComfyUI、PyTorch 和量化模型加载节点均支持 ROCm,否则会退回 CPU 或加载失败。
不建议直接往系统全局 Python 中安装深度学习依赖,避免污染系统环境。推荐使用 venv 或 conda。
python3 --versionpython3 -m venv ai-videosource ai-video/bin/activatepython -m pip install --upgrade pip
激活后命令行前缀通常会变成 (ai-video)。
py -3.11 -m venv ai-video.\ai-video\Scripts\Activate.ps1python -m pip install --upgrade pip
如果 PowerShell 提示无法执行脚本,可先查看执行策略:
Get-ExecutionPolicySet-ExecutionPolicy RemoteSigned -Scope CurrentUser
conda create -n ai-video python=3.11 -yconda activate ai-videopython -m pip install --upgrade pip
国内网络下,PyPI 默认源可能较慢,可临时指定镜像:
python -m pip install xxx -i https://mirrors.aliyun.com/pypi/simple/
或写入当前环境配置:
python -m pip config set global.index-url https://mirrors.aliyun.com/pypi/simple/
镜像源只影响下载速度,不改变软件本身。若公司内网或学校网络限制外部源,应使用内部镜像或代理。
AI 视频模型通常依赖深度学习框架。本教程采用 PyTorch 与 ComfyUI 的组合:PyTorch 负责 GPU 计算,ComfyUI 负责节点式工作流和界面操作。
推荐组合:
PyTorch 官方 whl 包通常已包含对应 CUDA 和 cuDNN 运行库。若自行编译自定义算子,则还需单独配置 CUDA Toolkit 与 cuDNN。
CUDA 12.1:
python -m pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121
CUDA 11.8:
python -m pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
CUDA 12.1:
python -m pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121
CUDA 11.8:
python -m pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
python -c "import torch; print('torch:', torch.__version__); print('cuda:', torch.cuda.is_available()); print('gpu:', torch.cuda.get_device_name(0) if torch.cuda.is_available() else 'none')"
期望输出类似:
torch: 2.2.1+cu121cuda: Truegpu: NVIDIA GeForce RTX 3060
如果 cuda: False,优先排查:
nvidia-smi 是否正常运行;ComfyUI 是常见的节点式 Stable Diffusion / 视频生成工作流前端。相比纯命令行,它更利于可视化调整节点、查看中间参数和保存工作流 JSON。
git clone https://github.com/comfyanonymous/ComfyUI.gitcd ComfyUIpython -m pip install -r requirements.txt
启动:
python main.py --listen 127.0.0.1 --port 8188
浏览器打开:
http://127.0.0.1:8188
若显存紧张,可尝试低显存启动参数,具体参数以当前版本帮助信息为准:
python main.py --listen 127.0.0.1 --port 8188 --lowvram
首次启动时不要急着加载大模型。可以先确认界面能打开,节点能加载,再放入模型文件。
视频生成模型通常由多个组件组成:
12GB 显存环境不建议直接加载完整 FP16 大模型。更稳妥的方式是选择量化模型。
常见量化格式与适用场景:
| 量化格式 | 说明 | 显存压力 | 画质影响 | 适用建议 |
|---|---|---|---|---|
| FP16 / BF16 | 原始半精度或脑浮点 | 高 | 最低 | 12GB 显卡跑大模型容易 OOM |
| FP8 | 8 位浮点量化 | 中低 | 较小 | 适合追求画质与显存平衡 |
| INT8 | 8 位整数量化 | 中低 | 较小 | 稳定性较好 |
| INT4 / GGUF Q4 | 4 位量化 | 低 | 可能轻微下降 | 12GB 显存优先选择 |
对于 1.3B 到 2B 级别视频模型,12GB 显卡通常可以优先尝试:
GGUF Q4_K_MFP8INT8如果生成 1080p 或长视频,应进一步降低分辨率、帧数或改用云 GPU。
不同模型命名不同,但目录规范应遵守 ComfyUI 的约定。以文本生成视频模型为例,可参考以下目录:
ComfyUI/├── models/│ ├── diffusion_models/│ │ └── video-1.3b-Q4_K_M.gguf│ ├── text_encoders/│ │ └── text-encoder-Q5_K_M.gguf│ └── vae/│ └── video-vae.safetensors└── output/
如果模型是 checkpoints 格式,也可以放在:
ComfyUI/models/checkpoints/
但若使用 GGUF 加载器,通常应放在:
ComfyUI/models/diffusion_models/
或:
ComfyUI/models/unet/
以实际加载器节点显示为准。
以下为估算值,实际以模型卡为准:
| 组件 | FP16 常见大小 | 量化后参考大小 |
|---|---|---|
| 1.3B 主模型 | 2.6GB 左右 | 0.9GB - 1.5GB |
| 2B 主模型 | 4GB 左右 | 1.5GB - 2.5GB |
| 大型文本编码器 | 5GB 以上 | 2GB - 4GB |
| VAE | 0.3GB - 0.8GB | 通常不变或轻微变化 |
推荐使用 Hugging Face 官方 CLI:
python -m pip install "huggingface_hub[cli]"huggingface-cli download REPO_ID --include "*.gguf" --local-dir models/diffusion_models
下载后应校验文件完整性:
sha256sum models/diffusion_models/*.gguf
将输出与模型卡、官方发布页或可信镜像提供的校验值对比。若校验值不一致,不要继续使用。
在下载任何开源模型前,必须阅读模型卡中的许可条款。重点检查:
如果模型许可写有 research only、non-commercial 或类似限制,则不应直接用于商业产品。对于企业内部项目,还应确认数据来源是否合法,避免使用来源不明的二次转发权重。
在 ComfyUI 中,可以加载官方模板、社区模板,或手动连接节点。一个典型文生视频流程包含:
首次运行建议从低参数开始:
| 参数 | 推荐值 | 说明 |
|---|---|---|
| 分辨率 | 512 x 480 | 小显存先降低分辨率 |
| 帧数 | 33 或 49 | 帧数越多显存和耗时越高 |
| 采样步数 | 16 - 20 | 先少步数跑通流程 |
| CFG | 5.0 - 6.0 | 过高可能增加计算压力 |
| Batch size | 1 | 12GB 不建议批量生成 |
| VAE 解码 | Tiled / 分块 | 显著降低解码阶段显存 |
如果出现显存不足,可依次降低:
在 ComfyUI 页面中点击 Queue Prompt。首次运行会加载模型到显存,等待时间较长属于正常现象。运行过程中可观察:
nvidia-smi;CUDA out of memory;输出文件默认通常位于:
ComfyUI/output/
部署成功不能只看“能打开界面”,还需要确认 GPU 计算、显存占用和输出结果均正常。
查看 PyTorch 状态:
python -c "import torch; print(torch.cuda.is_available(), torch.cuda.get_device_name(0))"
查看输出文件:
ls -lh output/
查看视频信息:
ffprobe -v error -show_entries format=duration:stream=width,height -of default=noprint_wrappers=1 output/video.mp4
抽取首帧检查画面:
ffmpeg -y -i output/video.mp4 -frames:v 1 output/check.png
运行时可用以下方式观察显存:
nvidia-smi
重点记录:
GPU-Util;Memory-Usage;如果生成期间显存接近 12GB 并出现卡顿,建议降低分辨率、帧数或开启低显存模式。
| 现象 | 常见原因 | 日志或检查点 | 修复动作 |
|---|---|---|---|
| 显存溢出 OOM | 模型过大、分辨率过高、帧数过多 | CUDA out of memory |
换 Q4/GGUF 量化模型,降低分辨率、帧数、batch,开启分块解码 |
| 生成速度极慢 | 使用 CPU、显存不足、步数过高 | 日志显示 cpu 或低 GPU 利用率 |
确认 GPU 可用,降低步数和分辨率,关闭占用显存的程序 |
| 无法识别 GPU | 驱动缺失、安装 CPU 版框架 | cuda: False |
重装 GPU 版 PyTorch,核对驱动版本 |
| 模型加载报错 | 目录错误、文件缺失、节点不匹配 | missing model、invalid file |
检查目录、校验 sha256、更新 ComfyUI 和自定义节点 |
| 下载失败 | 网络受限、源不可达 | connection timeout、403 |
更换镜像、使用断点续传、确认许可与访问权限 |
| 画面崩坏 | 量化过狠、VAE 不匹配 | 首帧异常、闪烁、色块 | 换更高精度量化,检查 VAE 和模型版本匹配 |
| 视频无法播放 | 编码格式不支持 | ffprobe 报错 | 用播放器检查,或重新导出为常见编码 |
models 目录清单和自定义节点版本;wan-1.3b-q4-512x480-49f-v1.json。本地部署通常不产生 API 调用费用,但仍有硬件、电力、时间和维护成本。如果本地显存不足,可以考虑云端 GPU 实例,但需评估:
通常更适合 1.3B 到 2B 级别、支持量化加载的模型。14B 或更大模型在 12GB 显卡上通常难以稳定本地运行,除非使用极 aggressive 量化、CPU offload 或降低分辨率到不可用程度。
可依次尝试:
先确认日志中确实使用 GPU。然后降低采样步数、分辨率和帧数。若仍慢,检查是否使用 CPU 版 PyTorch、是否发生显存交换,或是否加载了过大的文本编码器。
会有影响,但影响程度取决于量化方式。通常 FP8、INT8 对画质影响较小;Q4/INT4 显存优势更明显,但可能出现细节下降、闪烁或纹理异常。建议先用保守参数测试,再决定量化等级。