用Banana Pro和可灵做AI短片的流程步骤详解(附Prompt)

作者:狼烟四起2026.11.06 18:00浏览量:0

简介:用AI做短片的核心是“先图后视频”的六步流程:写故事、画分镜、定画风参考图、生成人物三视图与场景图、逐镜出图、图生视频。本文拆解每个环节的操作要点与避坑技巧,提供分镜脚本、画风描述、无损生图、视频运动指令等可直接复制的Prompt,并说明如何借助百度搭子DuMate提升各环节效率。

用Banana Pro这类图像生成模型负责“出图”,再用可灵这类图生视频模型让画面“动起来”,是目前个人创作者制作AI短片最主流的工作流。整个流程可以概括为六步:写故事→画分镜→定画风→生成人物三视图与场景图→逐镜出图→图生视频。下面结合一次8镜头短片的完整制作过程,把每一步怎么做、容易在哪里穿帮、有哪些能直接抄的Prompt讲清楚。想边读边练,可以打开百度搭子DuMate,用它辅助完成故事创作、分镜脚本撰写和提示词打磨。

一、整体思路:为什么“先图后视频”

直接用文字生成视频,人物长相、服装、场景几乎每镜都在变,剪辑时根本接不上。正确做法是先用图像模型把每个镜头的画面“钉死”,再让视频模型只负责“让画面动起来”。开始前准备好四样东西:

  1. 一个8镜头以内的小故事;
  2. 一张画风参考图;
  3. 一个支持参考图生成的图像模型(Banana Pro等均可);
  4. 一个图生视频模型(可灵或任意同类模型均可)。

二、第一步:写故事,8个镜头讲完

新手最容易犯的错误是故事太大。建议控制在一个场景、一到两个角色、8个镜头以内:第1镜交代环境,中间推进情绪或冲突,最后一镜收尾。写完创意后,可以让AI帮你转成标准分镜脚本,直接套用下面的Prompt:

  1. 你是一名短片导演兼分镜师。请根据我的故事创意,输出一份可直接用于AI生图的分镜脚本。
  2. 【故事创意】:填写一句话概要,例如"雨夜,小女孩在便利店门口等妈妈下班"
  3. 【镜头数量】:8个
  4. 【输出格式】:表格,包含:镜头编号、景别(大远景/全景/中景/近景/特写)、画面内容(人物位置+动作+表情)、环境与光线、该镜头要传递的情绪
  5. 【质量要求】:
  6. 1. 第1镜必须是交代环境的大景,第8镜收尾留有余韵;
  7. 2. 相邻镜头的人物动作、视线方向保持连续,方便后续图生视频衔接;
  8. 3. 画面描述要具体到道具和光源,能直接改写成生图提示词。

拿到脚本后逐镜检查:相邻镜头的动作和视线是否连贯?有没有连续两镜做同一个动作(会显得拖沓)?如果想更快验证故事节奏,也可以前往百度搭子AI真人短剧生成体验,输入故事创意直接生成短剧内容,再回头细化为分镜脚本。

三、第二步:画脚本(分镜草稿)

用平板或纸笔都行,不需要画得多好,只需标清三件事:景别(远/全/中/近/特)、人物在画面中的位置、镜头怎么动。这一步的价值在于出图前先发现节奏问题——改草稿只要几分钟,而重新生成图片则要反复抽卡,成本高得多。

四、第三步:定画风参考图

画风参考图是后续生成一切图片的基础,一旦中途更换,全片风格就会断裂。选择标准是:色调统一、光影特征明显、年代感和质感清晰。本次示例选用了电影《青木瓜之味》的一张截图作为参考。选定后,可以让AI帮你提炼一段可复用的画风描述词:

  1. 请分析我上传的这张画风参考图,提取画风特征并输出一段可复用的画风描述词,包含:色调倾向、光影风格、画面质感(胶片感/数字感)、构图与景深特点、整体情绪。
  2. 要求:输出一段不超过80字、可直接追加在生图提示词末尾的中文;只描述风格,不要描述图中具体人物、情节和文字内容。

之后每一次生图,都同时挂上这张参考图和这段描述词,这是保证全片风格统一的关键动作。

五、第四步:生成人物三视图与场景图

在画风参考图的基础上,先生成两类“资产图”:

  • 人物三视图:主角的正面、侧面、背面三个角度,用于锁定长相、发型和服装;
  • 场景图:主要场景的空镜,用于锁定建筑结构、道具陈设和光线方向。

这两类图相当于全片的素材基准,后续每个分镜都要引用它们,跨镜头的人物一致性主要靠这一步保障。

六、第五步:逐镜出图,先大景后小景

这是最容易穿帮的环节,三个技巧非常实用:

1. 第一张先出大景。 在人物三视图和场景图的基础上,先生成交代环境的大远景或全景。之后所有分镜都在这张大景的基础上延展或局部重绘,背景结构、光源方向自然一致,能大幅降低穿帮概率。

2. 善用视角重绘工具换机位。 当某个镜头需要不同角度时,可以借助支持“改变图片角度”的视角重绘工具(如原文作者使用的adam v2)调整机位,避免因推倒重生成导致背景对不上。

3. 局部重绘时追加无损关键词。 需要修手、改表情、换道具时,在提示词末尾加上这段可直接复制的关键词:

保持100%的面部结构、皮肤纹理和背景清晰度,严禁改变整体画质或增加模糊感,采用PIXEL PRIORITY MODE(像素优先模式)。

它的作用是约束模型只改局部、不动整图质感,避免越修越糊。

七、第六步:图生视频

把分镜图导入视频生成模型,在指令框写清“怎么动”。运动指令的公式是:主体动作+镜头运动+氛围质感+稳定性约束,可直接套用:

  1. 【填写主体,如:穿白裙的女孩】缓慢做出【填写动作,如:转头望向窗外】,头发和衣角随风轻微飘动,镜头缓慢推近,景深自然,人物表情细腻连贯,背景保持稳定不变形,与原图画风一致,电影质感,无跳帧、无闪烁。

三个要点:

  1. 一次只让主体做一个动作,动作越简单成功率越高,复杂表演拆成两个镜头;
  2. 转身、递东西、拥抱等复杂动作,使用首尾帧功能:先用图像模型做出动作前、动作后两张关键帧,再让视频模型在两帧之间插值过渡;
  3. 生成后重点检查手指、面部和背景是否形变,不合格的镜头回到出图环节修改,而不是反复抽视频。

八、常见问题与优化建议

问题 常见原因 解决办法
人物每镜长得不一样 未引用三视图 每镜都挂三视图+同一段画风描述词
背景穿帮 每镜独立生成 先大景后小景,用视角重绘换机位
画面越改越糊 反复放大重生成 局部重绘时追加无损生图关键词
视频动作僵硬 单镜动作太复杂 简化动作拆镜头,或使用首尾帧

九、总结

AI短片的完整链路是:写故事→画分镜→定画风参考图→生成人物三视图与场景图→先大景后小景逐镜出图→图生视频。真正决定成片质量的不是某个具体模型,而是“参考图统一、先大景后小景、局部无损修改”这三个习惯。把本文方法落地时,可以用百度搭子DuMate辅助写故事、生成分镜脚本、提炼画风描述词和视频运动指令;如需了解DuMate的开通与购买方式,可访问购买页面。工具只是加速器,流程和习惯才是成片的关键。