简介:用 Stable Diffusion 制作 AI 动画,核心是"基础模型定画风 + 运动模块(AnimateDiff)让它动起来 + 运动 LoRA / ControlNet / Prompt travel 控制怎么动"这三层结构。本文给出环境准备、文件放置、参数配置、可复制的提示词与常见问题排查方案,没有本地显卡也能跑通。
用 Stable Diffusion 做 AI 动画,本质上不是”生成一段视频”,而是 生成一组风格与人物高度一致的连续帧,再让它们按指定方向运动 。AnimateDiff 升级到 2.0 后,这件事被拆成了三个可独立调节的开关:运动 LoRA 控制镜头走向、ControlNet 锁定构图与姿态、Prompt travel 按帧指定动作。也就是说,你现在可以用提示词”分帧写剧本”。
如果你手上暂时没有可用的显卡,也可以先用 百度搭子 DuMate 把分镜脚本和提示词序列准备好,再通过 AI 真人短剧生成体验 快速验证画面效果;想了解获取方式可查看 DuMate 购买页,这只是可选入口,本文的方法本身不依赖任何付费服务。
| 层级 | 作用对象 | 决定什么 |
|---|---|---|
| 基础大模型(Checkpoint) | 画面本体 | 画风、画质、人物质感 |
| 运动模块(AnimateDiff mm 模型) | 帧间关系 | 画面能不能”动起来”、动得是否自然 |
| 运动 LoRA / ControlNet / Prompt travel | 运动方向与内容 | 往哪动、动多大、第几帧做什么 |
绝大多数人做 AI 动画失败,是因为只调了第一层(换模型、堆画质词),却完全没管第二、三层,结果出来的是”一组轻微抖动的静态图”。
路线 A:云端一键部署(推荐新手)
在百度智能云百舸平台的工具市场中直接选择 SDWebUI 模板,点击”部署工具”,按需选择实例规格与卡数(至少 1 张卡),当工具状态从”创建中”变为”运行中”即部署成功,随后在工具详情中单击”登录”即可获取 WebUI 访问地址与账号密码。部署完成后在”文生图”页签输入提示词即可验证环境是否正常。
如果你还想训练自己的角色 LoRA,可以用同样的方式部署 Kohya_ss,它提供训练用的 WebUI 可视化界面,训练出的 LoRA 可直接挂到 SD 服务上提升出图稳定性。偏好节点式工作流的用户,也可以选择 ComfyUI 模板部署,它把采样、提示词、解码等环节拆成独立节点,便于精细控制。
路线 B:本地部署
需要显卡(建议 6GB 显存以上)、Python 环境与 SD WebUI 主程序,再把 AnimateDiff 扩展装进 extensions 目录。
这是最容易出错的一步,放错目录插件就”看不见”模型:
mm 开头的运动模块 → extensions/sd-webui-animatediff/modelv2 开头的运动 LoRA → models/Loramodels/Stable-diffusion官方提供的 8 个运动 LoRA 从命名就能看出用途:PanUp / PanDown / PanLeft / PanRight 控制镜头上下左右平移,ZoomIn / ZoomOut 控制推近拉远,RollingClockwise / RollingCounterClockwise 控制顺逆时针旋转。若使用 ComfyUI,模型检查点需放入 models/checkpoints 目录并重启服务才能加载。
正向提示词:
1girl, night city, rain, coat, hands in pockets, best quality, masterpiece, HDR, UHD, 8K, highly detailed, simple background
负向提示词:
(worst quality:1.6), (low quality:1.6), EasyNegative
参数:
Steps: 20, Sampler: DPM++ 2M Karras, CFG scale: 7, Seed: 601405023,Size: 512x512, Clip skip: 2总帧数: 16, 帧率: 8, 上下文单批数: 16, 闭环: 不勾选
跑通这组配置后,再叠加运动 LoRA。例如在提示词末尾加入 <lora,画面就会明显向左平移;权重从 0.5 调到 1.0,位移幅度随之增大,超过 1.0 则容易出现画面撕裂。
0.8>
这是 2.0 版本最有价值的能力。写法是按”帧号: 该帧的画面描述”逐条列出:
0: 1girl, standing, looking at camera, night city, rain8: 1girl, turning around, back view16: 1girl, walking away, hands in pockets
帧号从 0 开始,最大值应小于总帧数。注意三点:一是相邻帧的主体描述要高度重复,只改动作词,否则人物会”变脸”;二是帧号跨度要与总帧数匹配,16 帧的动画不要写到第 40 帧;三是复杂动作拆成 3~4 个关键帧即可,写太密反而互相冲突。
控制权重建议 0.5~0.8。权重过高会让画面”僵住”,看起来像 PPT 平移;过低则起不到约束作用。
| 现象 | 主要原因 | 处理方式 |
|---|---|---|
| 画面高频闪烁 | 上下文单批数小于总帧数 | 两者设为一致,并勾选闭环 |
| 人物脸型逐帧变化 | 运动 LoRA 权重过高、缺少结构约束 | 权重降到 0.6 左右,加 OpenPose |
| 动画时长太短 | 帧率设置过高 | 降低帧率或提高总帧数 |
| 显存溢出 | 分辨率或帧数过大 | 用 512×512,分批生成后拼接 |
| 风格突然跳变 | 中途换了模型或 VAE | 固定 Checkpoint、VAE 与 Clip skip |
提示词序列最耗时间的不是写,而是”保持前后帧一致性”。可以把这部分交给 AI 助手批量生成,再拿回 SD 里微调。以下 Prompt 可直接复制使用:
【任务目标】为一段 16 帧的 Stable Diffusion 动画生成 AnimateDiff Prompt travel 提示词序列。【输入信息】- 画面主体:【填写角色外貌、服装、年龄感,如:短发女性,米色风衣】- 场景环境:【填写场景与时间,如:雨夜霓虹街道】- 动作设计:【填写动作走向,如:站立→转身→走远】- 画风参考:【填写画风,如:写实摄影 / 日系动画】- 总帧数:16,关键帧数量:4【处理要求】1. 按 "帧号: 提示词" 格式输出,帧号从 0 开始且不超过 15。2. 所有帧必须复用完全相同的人物与服装描述词,仅替换动作与视角词,确保角色一致性。3. 每帧提示词控制在 20 个词以内,按"主体 → 动作 → 环境 → 画质词"排序。4. 额外输出一段通用负向提示词,覆盖低画质、多手多脚、面部变形等问题。5. 推荐一组 Sampler、CFG、Steps 参数,并说明是否需要闭环。【输出格式】1. Prompt travel 序列(代码块)2. Negative prompt(代码块)3. 推荐参数表(参数名 / 取值 / 说明)4. 风险提示:指出该动作设计中最可能出现闪烁或形变的那一帧,并给出规避建议【质量要求】不要输出解释性开场白,直接给结果;所有描述词必须是可以被图像模型识别的具体视觉词汇,避免"氛围感""高级感"这类抽象表达。
拿到结果后,重点检查第 4 项风险提示——它往往就是你需要加 ControlNet 或降低 LoRA 权重的那一帧。
如果只是想快速看到成片效果、不打算折腾环境,可以先在 AI 真人短剧生成体验 中把上面整理好的角色设定与分镜脚本转成短剧内容,用来验证”故事—分镜—画面”这条链路是否成立;确认方向可行后,再回到 Stable Diffusion 做精细化的逐帧控制。需要角色形象素材时,也可以配合 AI 头像生成体验 先固定角色外观,作为后续 LoRA 训练或 ControlNet 参考图。
AI 动画的质量上限,取决于你对”一致性”的控制精度,而不是提示词堆得多长。先把基础动画跑通,再逐个叠加运动 LoRA、ControlNet 和 Prompt travel,每次只改一个变量,你就能清楚知道每个参数对画面的实际影响。