简介:想做AI短剧,卡住大多数人的不是"选哪款开源软件",而是没跑通"剧本→分镜→图生视频→配音字幕→合成"这条流水线。本文拆解这条链路的真实工位、开源工具的能力分类与选型标准,并给出可直接复制的剧本分镜Prompt、成片参数设置和失败排查方法。想边读边动手,可以先打开[百度搭子 DuMate](https://www.dumate.cn/?from=article)边看边试;想了解购买方式可查看[DuMate 购买页面](https://console.bce.baidu.com/dumate/purchase-page/new)。
一句话生成成片并不神秘,它压缩的是三个传统环节:
| 层级 | 要做的事 | 关键产出物 |
|---|---|---|
| 内容层 | 故事→剧本→人物设定 | 剧本、角色固定描述词 |
| 视觉层 | 分镜→关键帧图→图生视频 | 分镜表、每镜3~5秒片段 |
| 成片层 | 配音→字幕→剪辑合成 | 1080×1920成片、SRT字幕 |
传统做法的难点集中在三处:一是 角色一致性 ,同一角色在不同镜头里换脸、换衣服;二是 分镜不可控 ,抽卡式生成导致返工率极高;三是 音画不同步 ,配音时长和镜头长度对不上,只能反复剪。选工具时,本质上就是在选”这三件事哪一件被解决得更好”。
市面上的AI短剧开源项目,按能力边界可归为四类,不要只看”是否全自动”:
选型建议按五个维度打分(每项1~5分,低于18分不建议投入时间):
最后一条最容易被忽略:能跑通不等于能发。发布前务必确认项目的开源协议条款和你所用素材的授权范围。
准备资料:题材、目标时长、发布平台、故事来源(一句话梗概或小说片段)、主角外形要求。资料越具体,角色一致性越稳。
你是一位擅长竖屏短剧的编剧兼分镜师。请基于以下信息完成剧本与分镜设计。【故事来源】{填写一句话梗概/上传小说片段}【题材与风格】{如:都市逆袭、悬疑反转、古装甜宠;写实或漫剧画风}【目标时长】{如:90秒};【画幅】9:16;【平台】{抖音/小红书/快手}【主角设定】姓名、年龄、性格、核心欲望;外形特征(发型、服装、面部标记)必须固定【节奏要求】开头3秒抛出冲突,每15秒一个反转,结尾留钩子请依次输出:1. 一句话故事核 + 起承转合结构说明;2. 人物设定表:固定外观描述词(供每一镜复用)、服装、音色与语速建议;3. 分镜表(Markdown表格),字段:镜号|景别|画面描述|人物动作与表情|台词/旁白|运镜|时长(秒)|音效/BGM;4. 每镜的图生视频提示词(中英各一份,含镜头语言、光线、风格与负面提示词);5. 风险提示:哪些镜头AI容易崩(复杂手部动作、多人同框、快速运动),并给出替代拍法。要求:台词口语化、单句不超过15字;总时长误差±5秒内;不得出现真实品牌与真人明星。
拿到输出后,重点检查两件事: 角色固定描述词是否在每镜中原样复用 (这是保持一致性的关键),以及 分镜时长总和是否等于目标时长 。不满意就追加指令,例如”第4镜拆成两个镜头,各2秒”。
角色_场景_镜号_版本),后期替换镜头不会乱。配音阶段确定音色、情绪和语速,需要口型同步时勾选”同步勾选口型”,纯漫剧或无人像镜头可不勾选;”时长自适应”有助于提升生成效果,若需要与原视频时长严格一致则取消勾选,需要字幕则勾选”添加字幕”。
合成阶段可用FFmpeg做无损拼接,先写list.txt(每行file '01.mp4'),再执行:
ffmpeg -f concat -safe 0 -i list.txt -c copy output.mp4
字幕建议导出独立SRT文件,字号在手机端可读、位置避开平台底部交互区。
如果本地部署门槛太高,可以走云端成片路线。图文转视频类接口的思路是:传入文本、图片、视频、背景音乐等参数创建任务,拿到任务ID后轮询查询,生成完毕即可获得视频地址,配音、加字幕、素材匹配等环节由服务自动完成。要注意 并发 概念:并发数指服务同时能处理的请求数量,上一个任务拿到结果后并发才结束,付费后并发额度会提升。
另一类”灵感转视频”式工具更偏创作侧:输入视频内容描述→选择数字分身与音色→选择视频比例和模版→按需填写视频目的、演讲者身份、受众,让内容更贴合场景。
完成故事大纲和人物设定后,可以直接前往AI 真人短剧生成体验,把上面的剧本和分镜思路落成一条可预览的短剧;如果只想先验证故事核是否抓人,也可以在百度搭子 DuMate里先打磨剧本,再进入成片环节。
| 报错/现象 | 含义 | 处理方式 |
|---|---|---|
| 15 并发超限 | 单用户并发超出额度 | 排队重试,或在控制台购买对应资源包 |
| 30701 | 图片低质或格式错误 | 更换图片后重新提交 |
| 30702 | 内容不适合生成视频(标点过多、文本过短等) | 修改文本后重提 |
| 30703 | 文本含敏感信息 | 修改文案 |
| 282000 internal error | 任务处理失败 | 重新提交,持续出现则联系技术支持 |
另外,生成结果的视频链接通常有有效期(默认7天),拿到结果后应及时下载归档。
前3秒是否有钩子;同一角色跨镜头是否同一张脸、同一套衣服;口型与字幕是否对齐;人声与BGM是否盖过台词;成片是否为竖屏、时长是否落在平台完播率友好区间;封面标题是否直给冲突点;素材与开源协议是否允许商用。
总结 :AI短剧的能力上限由剧本和分镜决定,工具只负责执行。建议先用一站式工具跑通一条完整链路建立直觉,再切换到工作流编排型工具做稳定产出,最后针对角色一致性、音画同步这两个卡点做专项优化。