简介:ComfyUI 的图生视频工作流看着复杂,实际卡点集中在三处:模型缺失、节点连线、显存不足。本文以官方示例为主线拆解四个 Step 的完整操作,给出模型存放路径、显存参考值与降参思路,并附上部署、预览与本地化技巧,帮你一次跑通第一条视频生成流水线。
ComfyUI 值得学,但真正的门槛不在于”会不会”,而在于你能不能把一条工作流独立跑通,并改成自己的生产流程。它的核心是把整个生成过程拆成一个个独立节点——加载模型、写提示词、采样、解码、保存,节点之间用连线组成完整的数据通路。上手前建议先备好资源:本地有独显机器即可,若想省掉环境配置的麻烦,也可以用云端的 ComfyUI 模板一键部署,选卡启动就能进 WebUI。至于工作流里那些可调用的云端模型,我一般先在百度智能云词元所这类大模型 API 服务平台上对比能力与成本,再决定哪些环节放本地、哪些交给云端。
官方”快速开始”里的 1.2 图生视频,是一条典型的多图输入 → 视频合成链路。它的定位是教学样例,不是效果最优方案。所以第一遍的目标只有一个:让节点全部变绿、能出片。参数调优、模型替换、镜头控制,都放到第二遍再说。
打开工作流后,右上角会直接告诉你缺什么。示例中提示”缺少模型(6)”,意思是六个模型占位节点没有对应权重文件。这是新手最常遇到的第一个报错,也是最容易被误判成”软件坏了”的情况——实际上 ComfyUI 只是老老实实报告依赖缺失。
侧边栏通常带有下载链接,直接复制用下载工具或 wget 拉取即可。但要注意两点:
models/checkpoints,不存在该目录就手动创建,然后重启 ComfyUI 或刷新工作台页面。如果你机器上已经有模型、不想重复下载,可以走”外挂路径”的方式:把 ComfyUI 根目录下的 extra_model_paths.yaml.example 重命名为 extra_model_paths.yaml,在文件里把路径指向你现有的模型库,重启后即可生效。这一招在多盘位、多工作流共存的机器上尤其省事。
模型放好后刷新页面,节点提示消失,说明依赖已经对齐。
Step 1:准备输入图片。 示例给的图片链接在浏览器中 Ctrl + 左键打开,右键另存为,然后分别上传到工作流中的 4 个 Load Image 节点。这里的关键是 顺序 ,四张图决定视频的时序变化,别随手打乱。
Step 2:加入视频合成节点。 双击画布空白处,输入 Create Video 并选中,把它拖入画布,然后按提示完成连线,最后把帧率 fps 设为 16。fps 直接决定成片时长与观感:同样 81 帧,16 fps 约 5 秒,调高则更快更顿。
Step 3:接上输出节点。 从 Create Video 的输出端口按住鼠标往画布空白处拖,松开后在搜索框里选 Save Video。建议先把节点拖进来再连线,比对着连线提示找节点更直观。
Step 4:运行。 点执行,然后观察显存与耗时。
画布操作上有几个高频动作值得先记住:拖动画布或按住空格键移动鼠标平移视图,滚轮缩放,想彻底重来就点菜单里的”加载默认值”。
示例工作流里有一个容易被忽略的注释节点,内容大致是:
Testing on RTX 4090 24GB- Size: 640×640- Frame count: 81- VRAM usage: 84%- Duration: 557s
这行注释的价值很高——它给了你一个 可对照的基线 :24 GB 显存、640×640 分辨率、81 帧,占用约 84% 显存,耗时约 557 秒。默认参数是为低显存用户压过的,如果你的机器低于这个水位,中途 OOM 几乎是必然的。
按优先级尝试这几种降载方式:
| 手段 | 调整方向 | 代价 |
|---|---|---|
| 降分辨率 | 640×640 → 512×512 或更低 | 画面细节减少 |
| 减帧数 | 81 帧 → 49 / 33 帧 | 视频变短 |
| 分批生成 | 分段跑再拼接 | 段间可能有跳变 |
| 启动参数 | 低显存模式(如 --lowvram) |
速度变慢 |
| 换量化/轻量权重 | 用 fp8 或社区轻量版 | 需自行验证效果 |
一个实用习惯:先用最小参数(低分辨率 + 少帧数)跑通全流程,确认链路无误后再逐级加档。这样出问题时你能明确知道是哪一个参数越界,而不是每次都在黑箱里试。
用预览代替保存。 第一次生成前,可以右键删除 Save Image 节点,双击画布输入 preview 添加 PreviewImage,再把 VAE Decode 的 IMAGE 输出连到它的 images 输入。这样出图直接显示在画布上,不落盘,调试阶段能省掉大量无效文件。
切中文界面。 登录 WebUI 后默认是英文,打开 ComfyUI 的 Settings,在 language 选项里切换即可。节点名称中文化后,对照教程连线的出错率会明显下降。
另外,核心节点清单、快捷键和官方示例都能在 ComfyUI 官方文档 查到,遇到不认识的节点先查文档,比盲猜输入输出端口高效得多。
跑通示例只是起点。真正落地时你会遇到新问题:不同任务要用不同底模,不同模型的价格和效果差异很大,多个服务要分别对接鉴权和调用逻辑。这时候把选型和接入集中管理会更省心——词元所提供的模型发现与选型、价格与性能对比、多模型统一 API 接入以及调用管理能力,正好对应这一段工程化的工作:先在平台上横向比较候选模型的能力与成本,确定方案后再通过统一接口接入业务,后续的调用情况也能集中查看。
回到最初的问题:”谁会 ComfyUI”其实不是重点。ComfyUI 的学习曲线陡,但陡峭的部分集中在前两次成功运行——模型放对位置、连线连对方向、参数压在显存线以内。这三件事跨过去,剩下的都是查文档和试参数的手艺活。