简介:本文面向开发者与算法工程师,讲解视频生成模型从预训练走向后训练与对齐的完整路径,覆盖数据准备、隐性对齐、显性对齐、训练配置、评测验证与排查优化,帮助读者让生成视频更符合指令、物理与审美要求。
本教程要帮助读者完成的核心任务是:在已有视频生成模型的基础上,通过一套可复用的后训练与对齐流程,让模型输出的视频更符合人类指令、物理规律和审美偏好。
具体而言,读者完成本教程后,应当能够:
本教程适合以下读者:
视频生成模型通常已经具备基础生成能力,但直接上线往往会出现“模型会画,但不会拍”的问题。例如:
因此,后训练适合以下场景:
本教程默认读者已经拥有一个完成预训练的视频生成模型。此类模型通常采用扩散变换器结构,即结合扩散模型生成机制和 Transformer 建模能力的架构。
该模型应具备:
如果没有预训练模型,建议先完成基础模型准备,再进入后训练阶段。
后训练不是简单增加数据量,而是补充高质量、结构化、可评价的数据。建议准备三类数据:
视频数据建议包含以下字段:
视频生成模型训练通常比普通图像模型更消耗资源,需要准备:
如果使用云上资源,可在云服务控制台配置计算、存储、网络和监控能力,并通过统一账号权限管理训练任务。
评测不能只看“视频能不能生成”,而要看“视频是否满足人类预期”。建议至少准备以下评测维度:
视频生成模型在预训练阶段会学习大量视频数据,因此它能理解“画面之间应该怎样连接”“物体如何运动”“人物如何出现”。这给了模型一种视觉常识。
但网络视频数据往往包含大量低质量样本:
因此,预训练模型通常学到的是“平均网络视频长什么样”,而不是“高质量商业视频应该怎么拍”。
后训练是在预训练完成后,对模型进行的优化、适配或控制。它不要求从零重新训练模型,而是通过数据、训练策略和外部约束,让模型更符合具体业务要求。
后训练可以概括为一句话:
不推倒重建,只做精修。
后训练中,常见两条路线:
隐性对齐是通过训练数据、参数更新或偏好优化,让模型内部行为发生改变。例如:
隐性对齐的特点是:约束隐藏在模型内部,用户不可见,但会影响生成结果。
显性对齐是在生成链路外部加入显式规则或控制器。例如:
显性对齐的特点是:规则可见、可配置、可快速调整,适合生产环境。
在训练前,先定义模型要优化的方向。例如:
如果没有明确目标,训练容易变成“数据很多,但不知道是否变好”。目标越具体,数据筛选、训练策略和评测指标越清晰。
不要同时追求所有指标。后训练通常是分阶段进行的。建议先解决最影响业务体验的问题,再逐步扩展其他能力。
例如第一阶段可以先做:
第二阶段再做:
训练数据应围绕目标进行筛选。若目标是提升镜头稳定性,就应优先保留稳定镜头样本;若目标是提升产品展示质量,就应保留主体清晰、背景简洁、产品无遮挡的视频。
后训练不是让模型学习更多内容,而是让模型学习更正确的分布。低质量数据越多,模型越容易学到错误习惯。
建议建立数据筛选规则:
对于每个视频片段,建议补充文本描述。文本描述应包含:
偏好数据用于告诉模型“什么样的结果更好”。常见形式是对比数据:
单纯模仿数据容易让模型学习“普通样本”。偏好数据则可以让模型学习“更优质样本优先”的方向。
标注规则必须统一。否则不同标注人员对“好看”“自然”“符合指令”的理解不同,会引入噪声。
建议建立标注规范,例如:
评测集不能直接来自训练集。应从真实业务提示词中抽取样本,形成固定测试集合。
建议评测集覆盖:
评测集是判断后训练是否有效的依据。没有评测集,模型是否变好只能靠主观感受。
评测集要固定版本。每次训练后使用同一批提示词和同一批评分规则,才能比较效果变化。
隐性对齐的第一步通常是高质量微调。即使用筛选后的高质量视频和文本数据,对模型进行参数更新。
常见做法包括:
高质量微可以让模型逐渐适应新的数据分布,减少低质量网络视频带来的随意构图和粗糙运镜。
微调容易出现以下问题:
建议每次训练后都做回归评测,并与基线模型对比。
偏好优化用于进一步提升模型输出质量。基本流程是:
偏好优化能让模型不仅学会“生成视频”,还学会“生成更被认可的视频”。
偏好信号可能带来奖励攻击。例如模型可能学会生成高亮度、高饱和、强对比画面来迎合评分器,但实际审美并不好。因此需要结合人工评测和规则约束。
显性对齐适合在生产环境中快速提升稳定性。可以在生成链路中加入以下模块:
显性对齐可以在不改动模型权重的情况下提升输出可控性。对于业务上线而言,这种方式的响应更快、成本更低、风险更可控。
显性约束不能过多,否则可能导致生成结果呆板。建议将强约束用于高风险场景,将弱约束用于普通内容生成。
训练前应固定配置,便于复现和对比。建议记录:
视频生成实验成本高,如果没有实验管理,很容易无法判断效果变化来自数据、配置还是随机波动。
不建议一次性改动多个关键参数。例如同时调整数据质量、学习率、分辨率和训练步数,会导致无法判断收益来源。
以下伪代码仅用于说明通用流程,不依赖任何具体工具。
初始化基础模型加载训练数据加载评测数据for 每个训练阶段:加载当前阶段数据按业务目标过滤低质量样本for step in 训练步数:从训练集中采样一个 batch将文本与视频特征对齐计算扩散模型训练损失反向传播并更新参数记录日志与监控指标如果到达评测间隔:在固定评测集上生成视频计算自动指标保存人工抽检样本评估当前阶段效果如果效果提升:保存模型版本如果效果下降:回退到上一稳定版本
视频分辨率决定训练数据清晰度。更高分辨率通常能提升细节,但会增加显存和训练时间。
建议:
帧率影响视频流畅度。常见训练数据应接近目标输出帧率。若训练帧率与输出帧率差异过大,可能导致运动不自然。
后训练数据通常建议使用短视频片段。过长的视频会增加训练难度,也容易引入复杂转场和场景切换。
建议:
学习率决定模型更新幅度。后训练通常不建议使用过大学习率,否则容易破坏预训练能力。
通用原则:
可以设置质量阈值,例如:
阈值过高会导致数据不足,阈值过低会引入噪声。建议先做小样本验证,再逐步扩大数据规模。
可以检查:
自动指标适合快速筛选,但不能完全替代人工判断。
人工评测应围绕真实业务场景展开。建议每个提示词生成多个结果,由多人评分。
评分维度可包括:
后训练后必须做回归测试。原因是模型可能在某些场景提升,但在另一些场景退化。
建议对比:
生产环境不建议全量直接发布。可采用灰度策略:
可能原因:
排查建议:
可能原因:
排查建议:
可能原因:
排查建议:
可能原因:
排查建议:
可能原因:
排查建议:
可能原因:
排查建议:
视频生成链路通常比图像生成更重。可以从以下方面优化:
生产系统需要保证服务稳定。建议:
视频生成模型可能带来内容风险。建议:
视频生成成本较高,建议:
长期维护时,需要把流程配置化:
视频生成模型的预训练让模型拥有基本视觉常识,但真正面向业务时,模型还需要学会人类期待的表达方式:镜头要稳,动作要合理,主体要清楚,风格要可控,安全要有保障。
本教程给出了一套可落地的后训练与对齐方法:
对于希望让视频生成模型真正进入生产环境的团队而言,后训练不是一次性任务,而是持续迭代的工程过程。只有把数据质量、对齐策略、评测体系和上线监控结合起来,才能让模型从“能生成视频”逐步走向“能按人类的心意拍视频”。