简介:AI漫剧的制作,本质是"大模型写剧本分镜 + 文生图画关键帧 + 图生视频让画面动起来 + 语音合成配音 + 剪辑工具做音画同步"这一条流水线。本文拆解每个环节用什么能力、按什么顺序做、一致性怎么保、卡住了怎么调,并附可直接复制的分镜 Prompt。想直接上手试整条链路,可从[百度搭子 DuMate](https://www.dumate.cn/?from=article)开始,它把剧本、图像、视频等环节收在同一个入口里;具体获取方式见[购买页面](https://console.bce.baidu.com/dumate/purchase-page/new),不买也能先用免费体验入口试手。
拆开看,一部AI漫剧只依赖五类能力:
| 环节 | 用的能力 | 关键产出 |
|---|---|---|
| 剧本 | 大语言模型 | 故事大纲、集数结构、台词 |
| 分镜 | 大语言模型(多模态理解更佳) | 镜号、景别、时长、画面描述 |
| 关键帧 | 文生图模型 | 角色三视图、场景图、构图稿 |
| 动态化 | 图生视频 / 首尾帧模型 | 3~5秒可用镜头素材 |
| 声音与包装 | 语音合成 + 剪辑工具 | 配音、字幕、音效、封面标题 |
这些能力今天大多以云服务 API 或一站式平台的形式提供,不必自己训练模型。文生图这类基础能力已经相当成熟,只需一句话描述就能生成不限定风格的图像,还支持输入参考图做风格迁移,适合先出角色定妆稿和场景概念图。到了合成阶段,图文转视频类服务可以直接吃进文本、图片、视频、背景音乐等素材,自动完成配音、加字幕、素材匹配,输出成片链接。
行业里公认的痛点集中在三处:角色的服化道、妆造跨镜头难以统一,直接破坏叙事连贯性;角色表情僵硬、眼神空洞;场景过度”完美”反而带来审美疲劳。更现实的问题是效率——即便有AI辅助,单部短剧的制作周期仍普遍在15天以上,根因是文生图、图生视频、音画同步、动画渲染分散在不同工具里,创作者要反复切换平台、适配不同模型,加上”抽卡”成功率不确定,碎片化操作严重拖累交付。
漫剧(漫画风、动画风)在这件事上有天然优势也有天然劣势。优势是风格化本身允许夸张,观众对非写实的宽容度更高;劣势是平涂、赛璐璐这类风格对线条粗细和色块边界极其敏感,人物换个发际线、衣服褶皱走向一变,观众立刻能察觉。所以漫剧的成败,八成押在”设定管理”上,而不是”生成质量”上。
第1步:定剧本结构。 漫剧多为1~3分钟竖屏,建议单集只承载一个冲突点:开场3秒抛钩子,中段一次反转,结尾留悬念。先把小说或梗概压成”一句话主线 + 三次转折”,再拆集。
第2步:做角色设定表。 这是全流程最重要的一份文档,必须包含:姓名年龄、五官特征、发型发色、瞳色、服装编号(如”主角-常服A””主角-战损B”)、配色色卡(给出具体描述而非色号,如”藏青为主、暗金滚边”)。同一角色所有镜头复用同一段描述文字,不要临场改写。
第3步:写分镜脚本。 用表格管理,列包括镜号、景别、时长、画面描述、台词、音效、备注。专业级制作对分镜密度要求很高,密集段落可以做到平均1秒一个分镜,这对生图的稳定性和批量出图能力都是硬考验。
第4步:出关键帧。 先用文生图跑角色三视图定稿,再以定稿图作为参考图生成各镜头首帧,用参考图能力锁定风格与人物特征。技巧是先低分辨率快速试构图,构图通过后再放大重出,能显著减少无效”抽卡”。
第5步:图生视频。 优先用首尾帧功能控制起止画面,动作幅度大的镜头拆成两个短镜头,比硬要一个长镜头稳定得多。多主体参考能力可以让同一画面里的多个角色各自保持设定一致。
第6步:配音与音效。 语音合成已能覆盖多语种音色,也支持多语言翻译配音,适合做海外版分发;相关的语音、视觉综合技术也已广泛用于播报类场景。建议先出配音音轨,再按音轨长度反推每个镜头时长,音画同步会轻松很多。
第7步:合成与包装。 用剪辑工具或成片服务把素材、配音、字幕、BGM 合到一起,自动字幕和素材匹配能省掉大量手工活。标题和封面文案可以交给模型批量生成,让它基于内容产出多个贴合主题的标题候选,再人工挑选。注意部分成片服务对并发任务数有限制,付费后并发才会提升,排期时要算进去。
把下面这段整体复制,替换占位内容即可:
你是一位资深漫剧导演兼分镜师。请把以下内容转换为可直接用于AI出图的分镜脚本。【故事梗概】{填写你的故事主线,100~300字}【目标风格】{填写画风,如:日系赛璐璐动画风,平涂上色,冷色调,线条干净}【角色设定】- 角色A:{年龄/五官/发型发色/瞳色/服装编号/配色描述}- 角色B:{同上}【单集时长】{如90秒} 【画幅】9:16竖屏请输出一张Markdown表格,列为:镜号 | 景别 | 时长(秒) | 画面描述 | 角色与服装编号 | 台词/旁白 | 音效/BGM | 转场方式要求:1. 总时长严格等于【单集时长】,单镜头不超过4秒;2. 每个镜头的"画面描述"必须写成可直接用于文生图的完整提示词,包含主体、动作、表情、镜头角度、光线、背景、画风后缀;3. 同一角色在所有镜头中复用完全一致的服装编号与配色描述,不得自行更换;4. 开场3秒内必须出现钩子镜头,结尾留悬念;5. 表格后再附一份"角色一致性检查清单",列出容易走形的部位(发型、瞳色、服装纹样等)及对应校验方法。【输出质量要求】画面描述具体可执行,避免"很美""氛围感强"这类无法落地的形容词。
拿到分镜表后,逐行把”画面描述”喂给文生图,出图满意再进图生视频。如果发现角色走形,不要改提示词碰运气,回到第2步把设定描述写得更死(增加”左右对称发缝””领口为三层结构”这类可验证细节),再重新出图。
准备好故事梗概和角色设定后,可以前往AI真人短剧生成体验,把上面的分镜表内容贴进去,看看AI会给出怎样的镜头与画面;如果只想先验证角色形象和画面风格,也可以先用文生图能力出几张定妆稿,再决定是否投入完整制作。更多串联剧本、图像、视频的自动化玩法,可在百度搭子 DuMate里继续探索。
一句话总结:AI漫剧不是靠某一个”神器”,而是靠”设定表 + 分镜表 + 参考图”这三份文档把整条流水线锁死。工具会持续迭代,多模态视频模型对主体特征、道具细节和场景设定的记忆与一致性控制能力也在快速增强,但把需求描述清楚、把一致性规则写下来这件事,始终是人的活儿。