简介:本教程讲解如何搭建多模态创作Agent工作台,把AIGC模型能力用于创作意图解析、任务拆解、素材管理、Skills编排、镜头预览和成片交付。读者将掌握可执行的Skill契约、产物示例、验收表、排错方法与风险控制,把生成能力转化为可控、可复现、可规模化的内容生产力。
多模态创作Agent工作台(Harness)解决的核心问题,是让AIGC能力不再停留在“生成一段素材”的层面,而是进入完整的内容生产流程。你可以把Harness理解为承载层:底层多模态模型负责生成像素、语音或视频片段,Harness负责理解用户意图、拆解任务、组织素材、调用Skills、控制流程并交付结果。
通过这套工作台,你可以完成以下工作:
适合希望将生成式能力引入生产流程的开发者、运维人员、技术负责人,以及需要规模化生产商业短视频、科普动画、营销素材的企业用户。
这套工作台适合那些“模型能力很强,但难以高效、可控地用于实际商业生产”的场景。常见包括:
需要说明的是,本流程强调通用能力与可配置编排,不依赖特定厂商的专有工具。若平台不具备3D镜头预览能力,相关步骤可以跳过,改用二维分镜、首帧比对等方式校验机位与构图。
在开始搭建前,建议确认以下条件:
整体产物流向可以概括为:
创作意图JSON → 拆解计划 → 素材清单 → pipeline产物 → 导出配置
先把模糊需求整理成结构化创作意图。意图越清晰,后续拆解越稳定。至少需要明确五要素:目标受众、核心信息、时长/画幅、风格基调、交付格式。
{"audience": "18-30岁女性","core_message": "补水保湿卖点","duration": "30s","aspect_ratio": "9:16","style": "清新明亮","output": "mp4竖屏","references": ["asset_ref_tone_01"]}
其中,references可用于关联品牌素材、色调参考图或历史成片。
让Agent根据意图生成执行计划,例如:生成脚本 → 设计分镜 → 生成画面 → 剪辑 → 导出。每个子任务都应定义输入、输出、验收标准和失败处理。
拆解计划表示例:
| 步骤 | 输入 | 输出 | 验收标准 | 失败处理 |
|---|---|---|---|---|
| script_writer | intent | script | 包含核心卖点,时长合理 | 重试一次,仍失败则人工改写 |
| storyboard | script | shots | 每个镜头有画面描述和时长 | 回到脚本修正 |
| frame_gen | shots, assets | frames | 首帧符合风格与构图 | 重新选择参考图 |
| video_gen | frames | clips | 画面稳定,无明显穿模 | 局部重生成 |
| compose | clips, audio | final_video | 音画同步,规格正确 | 回到导出配置 |
素材不是简单堆在目录里,而要能被Agent稳定引用。建议为素材建立标签、版本和命名规范。
| 素材类型 | 标签 | 命名示例 | 用途 |
|---|---|---|---|
| 商品主图 | product_main | sku_1001_product_main_v01.jpg | 画面条件输入 |
| 品牌logo | logo | brand_a_logo_v03.png | 片头或角标 |
| 参考色调 | reference_tone | warm_light_v02.png | 风格控制 |
| 旁白音频 | voiceover | script_v04_vo_cn_v01.mp3 | 音频合成 |
| 成片版本 | final_video | campaign_a_9x16_v05.mp4 | 交付与回溯 |
命名可采用:
{对象标识}_{素材类型}_{版本}_{尺寸或语言}.{扩展名}
这样在生成时,Agent可以通过asset_refs稳定引用素材,而不是依赖模糊描述。
Skills是Agent可调用的专用能力,例如脚本生成、图像生成、视频生成、语音合成、字幕合成、剪辑合成等。Agent的价值不在于替代所有Skill,而在于编排它们完成端到端任务。
先定义核心变量:
intent:步骤一生成的结构化创作意图;script:脚本Skill输出,包含标题、卖点、镜头文本;shots:分镜Skill输出,包含镜头时长、机位、构图、素材引用;assets:步骤三整理的素材列表,包含素材ID、类型、地址、标签、版本。pipeline示例:
pipeline = [{ "skill": "script_writer", "in": "intent", "out": "script" },{ "skill": "storyboard", "in": "script", "out": "shots" },{ "skill": "frame_gen", "in": ["shots", "assets"], "out": "frames" },{ "skill": "video_gen", "in": "frames", "out": "clips" },{ "skill": "compose", "in": ["clips", "audio"], "out": "final_video" }]
为了让流程可执行,每个Skill至少应有一个输入输出契约。下面的JSON示例展示了storyboard Skill的最小契约:
{"name": "storyboard","input": {"schema": {"type": "object","required": ["script"],"properties": {"script": {"type": "object","required": ["scenes"],"properties": {"scenes": {"type": "array","items": { "type": "object" }}}}}}},"output": {"schema": {"type": "object","required": ["shots"],"properties": {"shots": {"type": "array","items": {"type": "object","required": ["shot_id", "duration"],"properties": {"shot_id": { "type": "string" },"duration": { "type": "number" },"camera": { "type": "string" },"composition": { "type": "string" },"asset_refs": {"type": "array","items": { "type": "string" }}}}}}}},"timeout_seconds": 120,"retry": {"max_attempts": 2,"backoff_seconds": 5},"on_failure": "mark_step_failed_and_keep_previous_outputs"}
通过契约,你可以知道每个Skill需要什么、输出什么、超时如何处理、失败后是否保留中间产物。这是后续自动化重跑和批量生产的基础。
按pipeline逐环节生成脚本、分镜、画面和音频。生成式内容很少一次完美,因此建议建立“生成—评估—修改”的小闭环。例如:
保留中间产物版本很重要,可以避免局部问题导致整条链路重跑。
本步骤依赖3D镜头预览能力。若所用平台不具备3D导演台,可跳过本步骤,改用二维分镜加首帧比对的方式校验机位与构图。
3D预览的价值在于在渲染前检查镜头运动、机位、构图和转场是否连贯。对于空间关系复杂的镜头,预览可以帮助你尽早发现运动轨迹、遮挡、穿模等问题,减少无效渲染。
如果具备该能力,建议先在预览中确认镜头节奏与运动轨迹,再进入正式渲染。如果不具备,则至少完成以下检查:
最终视频需要按目标渠道的画幅、码率、编码格式导出,并写回存储或分发系统。导出前建议进行一次整体验收,包括:
此外,在导出或批量重跑前,应备份原始素材与关键中间产物,避免误覆盖或任务失败造成数据丢失。
配置重点包括:
验收表可以参考:
| 检查项 | 通过标准 | 不通过处理 |
|---|---|---|
| 产物完整性 | 脚本、分镜、画面、音频、成片均存在 | 重跑缺失Skill |
| 意图符合度 | 命中核心信息与目标受众 | 回到意图配置或脚本 |
| 镜头连贯性 | 运镜与转场自然 | 调整分镜或重新预览 |
| 规格一致性 | 画幅、时长、编码符合渠道 | 修改导出配置 |
| 可复现性 | 相同输入能得到相近结果 | 检查随机种子与Skill版本 |
成本估算可以采用简单口径:
调用量 ≈ 镜头数 × 单镜头平均生成时长 × 预计重试次数
实际生产时,应根据不同Skill的调用方式进一步细化。
这部分只保留新增的优化方向,避免与前面的配置和步骤重复:
intent_v1、storyboard_v3、frame_take02等命名,保留最近若干个版本和最终交付版本,便于回溯。asset_id + version + tags管理,避免引用混乱。本文围绕多模态创作Agent工作台,讲解了从创作意图结构化、任务拆解、素材组织、Skills编排,到生成编辑、镜头预览(可选)与成片交付的完整流程。核心思路是让Harness承担规划与编排,让模型专注生成,从而把多模态能力转化为可控、可复现、可扩展的商业内容生产力。
用开源模型能不能做?
可以。关键不是绑定某个模型,而是保证模型接口可被Skill契约调用,并能稳定输入素材、输出结果。
3D导演台必须具备吗?
不是必须。若平台不具备3D镜头预览能力,可以用二维分镜、首帧比对和镜头清单校验代替。
如何控制生成成本?
可按镜头数、单镜头时长和重试次数估算调用量,同时为高频调用设置配额上限,并优先复用已有素材。
失败如何重跑?
根据Skill日志定位失败环节。如果输入有效,只重跑失败步骤;如果输入错误,则回到上一步修正后继续。
如何避免素材被误覆盖?
在批量重跑或导出前备份原始素材与关键中间产物,并对正式交付目录设置只读或版本保护。