Stable Diffusion 做 AI 动画,核心思路不是"一张张画图再拼成视频",而是给图像模型加装一个 **运动模块** (AnimateDiff 这类方案),让它一次生成一组时序连贯的帧,再合成为视频;再叠加运动 LoRA、ControlNet 和 Prompt travel,就能控制镜头怎么走、人物怎么动。如果你手上没有显卡,或者只想先把分镜和提示词准备好,可以先在 [百度搭子 DuMate](https://www.dumate.cn/?from=article) 里把脚本、镜头表和提示词打磨好,再进入绘图环节;想了解[购买方式](https://console.bce.baidu.com/dumate/purchase-page/new)可以点这个入口,本文所有方法本身都不依赖付费工具

作者:KAKAKA2026.11.19 08:32浏览量:0

简介: 本文讲清 Stable Diffusion 制作 AI 动画的完整思路:运动模块(AnimateDiff)如何工作、模型文件放哪里、总帧数与帧率怎么算、运动 LoRA 与 ControlNet 如何控制镜头、Prompt travel 如何按帧切换画面,以及画面闪烁、动作崩坏等常见问题的排查方法,并附可直接复制的提示词模板。

一、先搞清楚:AI 动画是怎么”动”起来的

传统做法要画关键帧、补中间帧、调色、合成,一个 3 秒镜头可能要几个小时。Stable Diffusion 路线的差异在于: 把”时间”交给模型 。

以 AnimateDiff 这类运动模块为例,它在原本只输出单张图的扩散模型上增加了一层时序注意力,让第 1 帧到第 N 帧之间保持构图和人物的一致性,输出一批连续帧,再用视频合成工具导出 GIF 或 MP4。2.0 版本之后,这类插件普遍补齐了三块能力,这也是现在做 AI 动画最值得先掌握的部分:

  • 运动 LoRA :官方提供的一组”运动模型”,通过挂载不同 LoRA 控制画面向上/下、左/右移动,拉远/拉近,顺时针/逆时针旋转;
  • ControlNet :把线稿、深度图、姿态骨架作为约束注入,让角色动作和镜头运动可控,而不是靠运气;
  • Prompt travel(提示词旅行) :在提示词里指定”第几帧开始换成什么画面/动作”,实现一段动画内的内容切换。

二、环境准备:本地跑还是云端跑

本地跑的前提是一张显存够用的 N 卡(512×512、16 帧的短动画门槛不高,分辨率和帧数上去后显存吃紧)。如果没有合适显卡,用云端方式更省事:在云平台的 工具市场 里选择预置的 Stable Diffusion WebUI 模板,选好实例规格和卡数,部署完成后从工具详情页的”登录”里拿到访问地址、用户名和密码即可开始使用。如果你更习惯节点式工作流,ComfyUI 同样有预置模板,部署后可在 Settings 里切换中文界面,并把已有模型目录通过 extra_model_paths.yaml 指过去,避免重复下载。

模型文件放置位置(以常见 WebUI 目录为例):

文件类型 存放目录
运动模块(mm 开头) extensions/sd-webui-animatediff/model
运动 LoRA(v2_lora_*) models/Lora
基础大模型(checkpoint) models/Checkpoints(或 models/checkpoints)

基础模型平台通常已内置,若对画质要求更高,可自行下载后放进对应目录并重启服务加载。

三、参数怎么设:先算清时长

在文生图界面展开 AnimateDiff 面板,关键参数只有几个:

参数 含义 建议
动画模型 运动模块版本 选最新版(如 V2)
总帧数 动画包含的画面数量 16 起步,熟练后加到 24~32
帧率 每秒播放多少帧 8 为常用值
显示循环数量 循环播放次数 0 表示一直循环
闭环 首尾帧衔接成循环 做循环动效时勾选
上下文单批数 一次处理的帧窗口 与总帧数保持一致
保存格式 输出 GIF / 视频等 可多选

时长 = 总帧数 ÷ 帧率 。总帧数 16、帧率 8,成片就是 2 秒。想延长时长,优先加总帧数而不是降帧率,帧率太低会明显卡顿。

四、第一个基础动画:可直接复制的提示词

正向提示词:

  1. 1girl, night city, rain, coat, hands in pockets, best quality, masterpiece,
  2. HDR, UHD, 8K, highly detailed, simple background

反向提示词:

  1. (worst quality:1.6), (low quality:1.6), EasyNegative

采样参数参考:Steps 20、Sampler DPM++ 2M Karras、CFG 7、尺寸 512×512、Clip skip 2。固定 seed 便于复现和微调。

跑通之后再加镜头控制。想让镜头向左平移,在提示词末尾挂上运动 LoRA:

  1. 1girl, night city, rain, coat, hands in pockets, best quality, masterpiece,
  2. <lora:v2_lora_PanLeft:0.8>

:0.8 是权重,越大位移越明显,也越容易出现画面撕裂,建议在 0.5~1.0 之间试。八个运动 LoRA 大致对应:左右平移、上下平移、推近拉远、顺/逆时针旋转(不同版本命名略有差异,以你下载到的文件名和插件说明为准)。

Prompt travel 的写法是在提示词中用帧号做条件切换,常见形式为 {起始帧%条件: 提示词},例如让前 8 帧是白天街道、之后切到夜晚霓虹。不同插件版本语法有差异,第一次用建议先跑 8~16 帧的小样验证语法是否生效,再上正式参数。

ControlNet 的接法:先用一张参考图生成线稿/深度图/姿态骨架,在 ControlNet 单元里选择对应预处理器并调低干预强度(0.4~0.7 较稳),再配合运动 LoRA。ControlNet 负责”画什么、怎么摆”,运动 LoRA 负责”怎么动”,两者叠加是角色动画可控性的关键。

五、让 AI 助手帮你写分镜和提示词

真正耗时的往往不是抽卡,而是想镜头。把创意拆成”分镜表 + 提示词”再进绘图工具,返工率会低很多。可以在 DuMate 里用下面这段提示词:

  1. 【任务目标】为一段 6 秒的 AI 动画生成分镜表与 Stable Diffusion 提示词。
  2. 【填写任务需求】主题:雨夜城市中的独行女孩;风格:写实偏电影感,冷色调;
  3. 镜头需求:第 1-2 秒镜头缓慢左移,第 3-4 秒推近至半身,第 5-6 秒轻微逆时针旋转。
  4. 【上传相关资料】(可选:参考图、角色设定、已用模型名称)
  5. 【具体处理要求】
  6. 1. 拆成 3 个分镜,每个分镜给出:画面描述、镜头运动、建议挂载的运动 LoRA 及权重、总帧数与帧率;
  7. 2. 每个分镜输出可直接复制的正向提示词与反向提示词,权重语法用 (词:1.2) 形式;
  8. 3. 保持角色外貌、服装、场景在各分镜间一致,列出需要复用的固定描述片段;
  9. 4. 提示词使用英文,说明用中文。
  10. 【填写输出要求】以表格输出分镜表,代码块输出提示词。
  11. 【结果质量要求】避免抽象形容词堆砌,每个提示词控制在 30 个标签以内,并标注可能出现崩坏的风险点。

拿到分镜表后,逐段生成、逐段筛选,比一次性生成长动画更容易得到可用素材。如果你更想直接产出成片叙事内容,完成故事大纲和人物设定后,可以前往 AI 真人短剧生成体验,把创作思路快速转成短剧片段;需要角色定妆图时,AI 头像生成体验 也能用来试不同造型方向。

六、常见问题与优化方向

  • 画面闪烁、帧间跳变 :降低运动 LoRA 权重,把上下文单批数设为与总帧数一致,必要时减少总帧数分段生成再拼接。
  • 人物动作崩坏、多手多脚 :加 ControlNet 姿态约束,降低 CFG 到 6~7,反向提示词补上 bad anatomy, extra limbs。
  • 只想做循环动效 :勾选闭环,并让首尾帧的提示词与 seed 保持一致。
  • 时长不够 :优先加总帧数;帧率保持 8~12,低于 8 会有明显顿感。
  • 分辨率想上到 768 以上 :显存不足时改用云端实例或节点式工作流,按需选择卡数。
  • 结果不可复现 :固定 seed、模型版本、VAE 与 Clip skip,记录每次成功参数的完整快照。

七、总结

Stable Diffusion 做 AI 动画的门槛,已经从”能不能生成”降到”会不会控制”。掌握三件事就够了:用运动模块生成连续帧,用运动 LoRA 和 ControlNet 控制镜头与动作,用 Prompt travel 在一段动画里切换内容。剩下的功夫花在分镜设计和参数微调上——把创意先写成结构化的分镜表,再进绘图工具抽卡,是效率最高的一条路径。