简介:用 Stable Diffusion 做 AI 动画,核心不是"生成一张图",而是"让模型连续生成一批风格一致、动作连贯的画面,再合成为视频"。目前最实用的路线是 **SD WebUI + AnimateDiff 运动模块** ,再叠加 LoRA、ControlNet、Prompt Travel 控制镜头与动作。本文按"环境准备—模型安装—参数配置—提示词模板—效果优化"的顺序完整拆解,并给出可直接复制的 Prompt。如果你暂时不想折腾本地环境,也可以先用 [百度搭子 DuMate](https://www.dumate.cn/?from=article) 把剧本、分镜和成片流程跑通,或直接查看 [DuMate 购买与开通方式](https://console.bce.baidu.com/dumate/purchase-page/new)。
很多人卡在第一步,是因为把”AI 动画”当成一个功能,其实它是三种不同思路:
| 路线 | 原理 | 适合场景 | 难度 |
|---|---|---|---|
| 图生图 + 帧插值 | 生成关键帧,再用插帧补中间画面 | 简单循环动效、表情包 | 低 |
| AnimateDiff(运动模块) | 在 SD 中插入”运动模块”,让模型学会帧间关系 | 人物走动、镜头运动、氛围短片 | 中 |
| ControlNet 逐帧重绘 | 用参考视频每一帧做结构约束后重绘 | 真人转动漫、风格化 MV | 高 |
AnimateDiff 是目前性价比最高的选择 :它不改动基础大模型,只额外加载一个运动模块(Motion Module),就能让原本只会画静图的 SD 输出连贯动画。2.0 版本的关键升级在于新增支持了 运动 LoRA、ControlNet 和 Prompt Travel 三类控制能力,分别解决”镜头往哪动””动作是否可控””画面内容如何随时间变化”三个问题。
硬件门槛 :512×512 分辨率、16~24 帧的动画,8GB 显存显卡基本可跑;如果要上 512×768 或加长帧数,建议 12GB 以上。
部署方式有两种 :
云端快速起环境 :在百度智能云百舸平台的工具市场中,预置了 Stable Diffusion WebUI、ComfyUI、Kohya_ss 等模板,选好实例规格和卡数后一键部署,工具状态变为”运行中”即可在工具详情页登录 WebUI。这种方式省去环境依赖问题,适合临时出片或算力不够的用户。
模型文件放置位置 (这一步最容易出错):
mm 开头的运动模块 → 放入 extensions/sd-webui-animatediff/model 目录v2 开头(以及各类运动 LoRA)→ 放入 models/Lora 目录models/checkpoints,放好后需重启 WebUI 才能加载如果你已有本地模型文件不想重复下载,可以把 ComfyUI/WebUI 根目录下的 extra_model_paths.yaml.example 重命名为 extra_model_paths.yaml,在文件中指向现有模型路径,重启服务即可复用。
1. 运动 LoRA —— 控制镜头方向
官方提供了 8 个运动 LoRA,从命名就能判断作用:向上/向下、向左/向右、拉远/拉近、顺时针/逆时针。用法是在提示词中调用,例如:
<lora:v2_lora_PanLeft:0.8>
冒号后的数字是权重。0.8 时画面左移幅度已经相当明显;如果出现画面撕裂或人物变形,把权重降到 0.4~0.6 会更稳。 镜头类动画建议一次只叠加一个运动 LoRA ,多个方向 LoRA 同时高权重叠加容易互相打架。
2. ControlNet —— 控制动作与构图
Tile:保细节、做整体风格迁移
3. Prompt Travel —— 让画面随时间变化
它允许你在提示词里指定”第几帧画什么”,实现真正的动态叙事,比如前半段人物走路、后半段转身。不同插件版本的书写语法略有差异(常见为按帧号或进度比例分段书写), 具体写法以你所装插件版本的说明文档为准 ,不要照抄网上旧教程的语法。
| 参数 | 建议值 | 说明 |
|---|---|---|
| 动画模型 | 选最新 V2 版本 | 版本越新,运动连贯性越好 |
| 总帧数 | 16 / 24 / 32 | 帧数越多越吃显存 |
| 帧率 | 8 | 总帧数 16 + 帧率 8 = 2 秒成片 |
| 上下文单批数(X_batch) | 与总帧数保持一致 | 影响长时连贯性 |
| 显示循环数量 | 0 | 0 表示无限循环预览 |
| 闭环 | 需要无缝循环时勾选 | 首尾帧衔接,适合做表情包、循环壁纸 |
| 采样器 / 步数 / CFG | DPM++ 2M Karras / 20 / 7 | CFG 过高会加剧闪烁 |
| 分辨率 | 512×512 起步 | 先小图跑通,再放大重绘 |
基础版(夜景行走 + 镜头左移)
正向:1girl, night city, rain, coat, hands in pockets, cinematic lighting,best quality, masterpiece, HDR, UHD, highly detailed, simple background,<lora:v2_lora_PanLeft:0.8>负向:(worst quality:1.6), (low quality:1.6), EasyNegative, blurry, deformed,extra limbs, flickering参数:Steps 20 | Sampler DPM++ 2M Karras | CFG 7 | Size 512x512 |Clip skip 2 | 总帧数 16 | 帧率 8 | 上下文单批 16
进阶版(内容随时间变化,用 Prompt Travel 思路组织)
0-8 帧:1girl standing by the window, looking outside, static shot8-16 帧:1girl turns around and smiles, camera zooms in
写提示词其实是最耗时的环节。你可以把创意描述丢给 AI 助手,让它输出结构化分镜表和标准提示词。以下 Prompt 可直接复制使用:
你是我的 AI 动画分镜与提示词助手。请基于以下信息,为一段 Stable Diffusion+ AnimateDiff 动画生成完整方案。【填写动画主题】例如:雨夜街头,女孩撑伞走过霓虹灯【填写时长与帧数】例如:3 秒,总帧数 24,帧率 8【填写画面风格】例如:写实电影感 / 日系动画 / 赛博朋克【填写镜头需求】例如:镜头从左向右平移,最后推近【填写是否需要人物一致】是 / 否请输出:1. 分镜表(Markdown 表格,列:帧区间、画面内容、镜头运动、建议运动 LoRA 及权重)2. 每段对应的正向提示词(英文,含画质词)3. 统一的负向提示词4. 完整参数配置(采样器、步数、CFG、分辨率、总帧数、帧率、上下文单批数)5. 3 条降低画面闪烁与人物变形的具体调整建议要求:提示词必须是可直接粘贴使用的英文;不要编造不存在的插件语法;若某项信息缺失,先给出合理默认值并标注。
使用要点 :主题越具体(时间、地点、天气、人物服装、镜头运动),输出可用性越高;拿到分镜表后先跑 16 帧小样验证,再放大到目标帧数。
AnimateDiff 的优势是可控,代价是学习成本。如果你的目标只是”快速拿到一条能用的 AI 短片”,可以跳过环境配置这一步:先把故事大纲、人物设定和分镜整理清楚,然后前往 AI 真人短剧生成体验,把创作思路直接转化为短剧内容,再根据成片效果回头调整剧本与镜头描述。
如果只想做几秒的循环小动效(比如聊天表情包、社交平台动态头像),用 表情包生成体验 会更省事,把角色形象和情绪描述清楚即可。更多 AI 能力可以在 百度搭子 DuMate 中按需选用。
用 Stable Diffusion 做 AI 动画的完整链路是: 部署 SD WebUI → 安装 AnimateDiff 运动模块 → 放置运动 LoRA 与基础模型 → 配置帧数/帧率/上下文批次 → 写提示词并叠加镜头控制 → 小样验证后放大出片 。其中最容易决定成败的三件事是:运动 LoRA 权重不要贪高、上下文单批数要与总帧数匹配、人物一致性靠固定 seed 或专属 LoRA 解决。
建议的实操顺序是:先用官方基础模型跑通一个 16 帧的 2 秒小样,确认流程无误后再逐步加入 ControlNet 和 Prompt Travel。这样每一步的问题都能定位清楚,比一次性堆满参数再排查要高效得多。