双模型同发场景下的 AI 视频工作流搭建教程

一、教程目标

本教程要帮助读者完成一件具体的事：当同一时间窗口内出现两个能力侧重点不同的大模型（一个偏通用推理与多模态理解，一个偏中文长文本与结构化写作）时，如何搭建一条可复用、可迁移、可验证的”创意视频生成”工作流，把别人的创意方案低成本地迁移到自己的素材上，并稳定产出成片。

适合阅读本教程的人群包括：

• 需要快速验证多模型组合效果的开发者；
• 负责内容生产链路的技术负责人；
• 希望用 Agent 化方式调度多个模型能力的运维与平台工程人员；
• 对”提示词迁移””角色化助手””多模型编排”感兴趣的企业用户。

阅读本教程不需要你精通视频剪辑，但需要具备基础的 API 调用概念、了解提示词工程的基本写法，并能使用一个支持”具名角色机器人”配置的 Agent 调度工具。

二、适用场景

本教程描述的工作流适用于以下几类业务场景：

1. 创意迁移场景：看到他人公开的提示词方案，希望把其中的构图、动作、叙事节奏迁移到自己的页面素材上，但不想逐字手改提示词。
2. 多模型协同场景：一个模型负责理解与改写提示词，另一个模型负责生成图像/视频素材，二者通过统一的调度层衔接。
3. 批量内容生产场景：需要把同一套”拆解—改写—生成—校验”流程复用到多个账号主页、多张展示卡片上。
4. 快速原型验证场景：在模型刚发布、能力边界尚不清晰时，用最小成本跑通端到端链路，再决定是否投入工程化。

三、前置准备

在开始实施之前，请确认具备以下条件：

• 账号与权限：至少具备两个模型的 API 调用权限，以及一个支持角色化助手配置的调度工具的访问权限。
• 素材准备：一张待改造的页面截图或结构化页面描述（含头像位置、文字区块、课程/产品封面等元素），以及一份希望呈现的成片时长与画幅要求。
• 提示词素材：一份可参考的公开提示词方案（用于迁移），或自建的基线提示词模板。
• 基础环境：可发起 HTTP 请求的运行环境，能保存中间产物（改写后的提示词、生成的图片、视频片段）。
• 基础知识：了解提示词中的角色设定、结构化分镜描述、负面约束等常见写法；了解图像/视频生成任务通常是异步的，需要轮询或回调获取结果。

需要特别说明的是：不同模型的接口形态、参数命名、计费方式各不相同，本教程只给出通用的编排思路与示意性伪代码，具体参数请以对应模型的官方文档为准。

四、实施步骤

步骤 1：明确两个模型的职责边界

做什么：在动手之前，先为两个模型分配明确职责。建议的划分方式是：

• 模型 A（通用推理/多模态理解型）：负责”读懂”参考提示词与目标页面素材，输出结构化的改写指令，包括元素位置映射、动作序列、文字区块的保留与撕除策略。
• 模型 B（中文长文本/结构化写作型）：负责把结构化指令扩写成符合目标模型输入规范的分镜提示词，并补齐叙事细节与风格约束。

为什么这么做：两个模型同窗口发布时，最容易犯的错误是”什么都让一个模型干”。职责不清会导致提示词在模型之间来回传递时信息衰减，且难以定位问题出在哪个环节。

注意什么：职责划分要写成显式的输入输出契约，例如”模型 A 输出 JSON，字段包含 element_map、action_sequence、text_keep、text_remove”。

步骤 2：建立提示词迁移的映射表

做什么：把参考方案中的元素与自己的素材逐项对应，形成一张映射表。典型字段包括：

{
  "avatar_position": "参考: 左上角圆形 -> 目标: 左上角圆形",
  "text_blocks": ["姓名", "单位", "课程封面标题", "课程封面副标题"],
  "action_sequence": ["头像框内角色走出", "逐条撕下文字", "贴上手写便签"],
  "style_constraints": ["卡通形象", "幽默感", "手写便签质感"]
}

为什么这么做：映射表是把”别人的提示词”变成”自己的提示词”的中间层。有了它，你不需要逐字阅读原提示词，只需要让模型 A 基于映射表生成改写指令。

注意什么：映射表要覆盖”位置、内容、动作、风格”四类信息；对于目标素材中不存在的元素，要显式标记为 skip，避免模型臆造。

步骤 3：配置角色化调度助手

做什么：在支持具名角色机器人的调度工具中，配置一个专职助手，为其设定系统提示词，明确它只做三件事：调用模型 A 做改写、调用模型 B 做扩写、把结果提交给生成任务。

为什么这么做：角色化助手把”多模型串联”固化成一个可复用的入口，后续每次迁移只需替换映射表，不必重新编排调用链。这正是把”手工改提示词”变成”调度一次助手”的关键。

注意什么：系统提示词中要写清楚失败重试策略、输出格式校验规则，以及”不得修改映射表中未列出的元素”这类硬约束。

步骤 4：串联改写—扩写—生成三段链路

做什么：按以下顺序执行，每一步都落盘保存中间结果：

1. 把参考提示词、映射表、目标素材描述一起交给模型 A，得到结构化改写 JSON；
2. 把 JSON 交给模型 B，得到最终分镜提示词；
3. 把分镜提示词提交给图像/视频生成能力，得到素材片段；
4. 按分镜顺序拼接片段，输出成片。

示意性伪代码如下：

mapping = load_mapping("mapping.json")
rewrite = call_model_a(reference_prompt, mapping, target_asset_desc)
assert validate_schema(rewrite, required=["element_map","action_sequence"])
storyboard = call_model_b(rewrite, style="cartoon, humorous, handwritten notes")
clips = []
for shot in storyboard.shots:
    clips.append(submit_generation(shot.prompt, duration=shot.duration))
video = concat(clips)
save(video, "output.mp4")

为什么这么做：分段落盘让你在任意一步出问题时可以单独重跑，而不必从头再来；这也让”哪个模型更好用”的问题变成可测量的对比——你可以固定一段，只替换另一段的模型，观察成片差异。

注意什么：生成任务通常是异步的，要处理超时与重试；拼接前要校验片段的分辨率、帧率、时长是否一致。

步骤 5：编写配置说明

做什么：为链路中的关键配置项写清楚含义与取值逻辑，至少包括：

• action_sequence：动作序列，按时间顺序排列，每项应包含起止时间与描述；
• text_keep / text_remove：文字区块的保留与撕除清单，决定成片中哪些信息被保留；
• style_constraints：风格约束，建议控制在 3～5 条，过多会互相冲突；
• duration_per_shot：单镜头时长，需与生成能力的最大时长限制对齐。

注意什么：不要凭空臆造参数名，配置项应来自你所使用能力的实际文档；对每个配置项标注”必填/选填”与”取值范围”。

五、结果验证

完成一次链路执行后，用以下方式判断是否成功：

1. 结构校验：模型 A 的输出能通过 JSON Schema 校验，必填字段齐全；
2. 语义校验：模型 B 的分镜提示词中，映射表里的每个动作都能找到对应镜头；
3. 产物校验：成片时长、画幅、帧率符合预期，头像框走出与文字撕除两个关键动作清晰可见；
4. 回归校验：用同一映射表再跑一次，输出应保持稳定，差异仅在生成模型的随机性范围内。

六、常见问题与排查

• 问题：改写后的提示词丢失了关键元素。
  原因多为映射表字段缺失或模型 A 的输出未做 schema 校验。排查方法是打印模型 A 的原始输出，逐字段对照映射表。

• 问题：成片中动作顺序错乱。
  检查 action_sequence 是否带时间戳；若模型 B 在扩写时重排了顺序，应在系统提示词中禁止其修改顺序。

• 问题：多次运行结果差异过大。
  生成类任务本身有随机性，建议固定随机种子（若能力支持），或把风格约束写得更具体以收敛结果。

• 问题：片段拼接处出现跳帧。
  多为各片段帧率不一致，应在提交生成任务时统一参数，并在拼接前做一次转码归一。

七、优化建议

• 性能：生成任务并行提交，按分镜粒度并发，缩短端到端时延；
• 稳定性：为每次调用加重试与超时，中间产物持久化，支持断点续跑；
• 可维护性：把映射表、系统提示词、配置项纳入版本管理，改动可追溯；
• 成本控制：先用低分辨率、短时长跑通链路，验证通过后再提升规格；
• 安全：对素材中的个人信息做脱敏处理，避免把敏感内容写入提示词日志。

八、总结

本教程围绕”双模型同发时如何搭建创意视频工作流”这一目标，给出了从职责划分、映射表构建、角色化助手配置，到链路串联、结果验证与异常排查的完整步骤。核心思路是：把”逐字改提示词”替换为”映射表 + 结构化改写 + 角色化调度”，从而让创意迁移变成可复用、可验证的工程流程。后续可以继续关注的方向包括：多模型对比的量化评测方法、生成链路的缓存复用策略，以及把该流程封装为内部平台服务的工程化实践。