视频生成模型：预训练与后训练的区别与选型指南

一、对比背景：同叫“训练”，实为两种工程

近两年，视频生成模型从技术演示逐步走向内容生产工具链，越来越多的团队开始面对一个现实问题：预算与算力有限时，资源应该投在预训练上，还是投在后训练上？这个决定会影响团队未来数月的研发重心、人员配置与成本结构，因此有必要先把两者的边界讲清楚。

目前主流的视频生成模型，其骨架大多采用扩散变换器（Diffusion Transformer，简称DiT）架构，它把扩散模型“从噪声逐步还原画面”的生成机制，与Transformer擅长长程依赖建模的结构优势结合在一起。无论预训练还是后训练，操作的都是同一个骨架，但它们解决问题的层次完全不同。混淆这两个层次，是很多技术选型失误的根源：有人指望用后训练去补基座常识的窟窿，有人则在预训练里反复烧卡去修一个本该靠微调解决的体验问题。

本文的对比对象正是这两个概念：视频生成模型的预训练（pre-training）与后训练（post-training）。下文将从目标、数据、成本、方法、边界、风险等维度逐一拆解，并给出条件化的选型建议。

二、对象定义：预训练与后训练分别是什么

2.1 预训练：建立“常识”

预训练指从随机初始化（或在已有权重上大规模续训）开始，将海量网络视频数据喂给模型，让它学会“什么样的画面组合在一起是合理的”，光线如何分布、人物如何运动、镜头如何衔接、物体如何遮挡。这一阶段的目标是让模型掌握广泛而笼统的视觉常识。

它的产出物是一个“什么都见过”的基座。但问题在于：网络视频数据里充斥着抖动的手持拍摄、随意的构图与粗糙的运镜，模型从中学到的是“平均水平的网络视频长什么样”，而不是“精确符合人类指令、物理规律与审美偏好的视频长什么样”。

2.2 后训练：补足“分寸”

后训练泛指在大规模预训练完成之后，一切不需要从零重新训练、但能够调整模型行为的优化、适配与控制手段。常见形态包括：基于精选数据的监督微调（SFT）、基于人类偏好的对齐训练、面向特定风格或指令格式的适配，以及以低秩适配（LoRA）为代表的参数高效微调等。

打个比方：一个博览群书的人识字量惊人、什么话题都能聊上几句，但让他按编辑部的体例写一篇符合栏目调性的稿件，他未必一次过关——他“认识字”，但未必“懂得如何按要求组织文字”。预训练负责让他识字，后训练负责教他按规矩行文。这个定义听起来有些绕，核心逻辑只有一条：不推倒重建，只做精修。

三、相同点：为什么两者常被混为一谈

1. 操作同一个模型骨架。 两者都作用于同一个DiT基座；后训练中的微调类方法本质上仍是梯度更新，与预训练共享同一套反向传播机制。
2. 最终目标一致。 都是为了让模型生成的视频更合理、更可用，只是分工处在能力链路的不同位置。
3. 都高度依赖数据质量。 预训练的“垃圾进垃圾出”体现为常识扭曲；后训练则体现为学到错误的偏好，且由于数据量小，单条坏样本的破坏力反而更集中。
4. 都需要配套评估体系。 没有评测集，预训练烧掉的算力和后训练调整的参数都无法判断是进步还是退步。

四、核心差异：从七个维度拆开看

4.1 训练目标：拟合“整体分布” vs 偏移到“目标分布”

预训练拟合的是海量数据的整体分布，追求覆盖面，模型要“都见过”。后训练做的是分布的筛选与偏移：把基座输出从“平均网络视频”拉向“符合人类指令与审美的那一小片区域”，追求“做对的”。一个求广、一个求精，方向差异直接决定了数据设计与训练方法的不同。

4.2 数据：规模换广度 vs 质量换精度

预训练动辄使用百万到亿级视频片段，可以在一定程度上容忍噪声与低质样本；后训练通常只用几千到几十万条经过人工筛选、精标甚至逐条审核的样本。前者的核心指标是覆盖度与多样性，后者的核心指标是正确性与一致性。同样一条抖动模糊的手机视频，在预训练集里是“真实世界的一部分”，在后训练集里就可能成为指向错误审美的负样本。

4.3 成本结构：重资产一次性投入 vs 轻量多轮迭代

预训练是典型的重资产行为：需要大规模GPU集群、数周级训练周期，且单次失败代价极高。后训练开销相对可控，可在数十至数百张卡、数小时到数天的尺度上完成一轮，支持“训练—评估—调整数据—再训练”的小步快跑。可以理解为：预训练买的是地基，后训练买的是装修，两者的预算节奏完全不同。

4.4 迭代频率与版本管理

预训练以大版本为单位推进，频率以月甚至年计；后训练可以按周甚至按天迭代，并可围绕不同场景并行派生多个分支版本。工程上，基座通常作为只读资产被冻结，后训练版本作为派生层存在，这直接影响团队的代码分支、模型仓库与发布流程设计。

4.5 技术手段

预训练阶段以扩散去噪（或流匹配）一类自监督目标为主，损失函数围绕“还原加噪后的画面”设计。后训练的工具箱则丰富得多：监督微调负责把高质量示范“灌”进模型；偏好对齐类方法（如基于人类反馈的强化学习、直接偏好优化等）利用“同一提示词下优质视频优于平庸视频”的成对信号，把模型往人类偏好方向拉；参数高效微调只训练少量附加参数，适合资源紧张或需要频繁切换场景的团队。

示意性伪代码如下（仅为流程说明，非真实接口）：

# 伪代码：视频生成基座的后训练典型流水线
base = load_dit_checkpoint("base_v1")           # 加载预训练基座（只读）
# 第一步：监督微调（SFT）
sft_data = load_curated_dataset(scale="万级", source="人工筛审")
model = finetune(base, sft_data, strategy="全参数或LoRA")
# 第二步：偏好对齐
pairs = load_preference_pairs()                 # (提示词, 优质视频, 平庸视频)
model = preference_align(model, pairs, method="RLHF/DPO类方法")
# 第三步：回归评估，防止“修分寸”丢“常识”
report = evaluate(model, ["指令遵循", "美学质量", "物理合理性", "时序一致性"])
assert report.no_regression("通用常识基准")

4.6 能力边界：决定下限 vs 决定体验

预训练决定了模型的能力下限与常识上限——基座没见过的物理现象、动作类型或场景，后训练基本无法无中生有。后训练决定的是“现有能力被用得多好”：同一个基座，后训练到位与否，在指令遵循率、画面精致度与风格稳定性上的差距可以被直观感知。常见误区是拿后训练去补预训练的缺口：如果模型系统性看不懂某类运动，堆再多偏好数据也只是让错误输出变得“更精致”。

4.7 风险画像：两种不同的失败方式

预训练的失败是常识性的，画面物理不合理、肢体扭曲、物体穿模；后训练的失败是对齐性的，过拟合小数据集导致风格单一、过度迎合偏好导致多样性塌缩、训练过度引发灾难性遗忘（把预训练学到的部分常识“洗掉”）。两类风险对应完全不同的治理手段：前者靠扩充数据覆盖与延长训练，后者靠回归测试与对齐强度控制。

五、对比表格

维度	预训练	后训练
核心目标	建立广泛视觉常识	对齐指令、审美与使用规范
数据规模	百万~亿级片段，容忍噪声	千~十万级样本，需人工筛审
算力开销	极高，集群级、周级周期	相对可控，卡级、天级周期
更新频率	低频大版本	高频小迭代，可多分支并行
典型方法	扩散去噪/流匹配自监督	监督微调、偏好对齐、参数高效微调
决定什么	能力下限与常识上限	可用性、体验与分寸感
典型风险	常识扭曲、成本失控	过拟合、多样性塌缩、灾难性遗忘
资产属性	只读基座，长期沉淀	派生版本，面向具体场景

六、典型场景：不同团队该把力气花在哪

1. 基础模型研发团队：全链路都要做。 预训练决定能力天花板，后训练决定发布版本的口碑。两者需要不同的分工，数据工程与大规模训练平台是前者的重头；评测体系与偏好数据管线是后者的重头。
2. 基于开源或基座模型做应用的团队：投入应集中在后训练。 选择一个常识过关的基座，把精力放在领域数据筛选、指令格式适配与偏好对齐上，通常是性价比最高的路径。
3. 有强烈风格与品牌规范诉求的内容团队：后训练是主战场。 用小规模、高一致性的数据把模型输出锁定在目标调性之内。
4. 遇到“基座根本不会”的领域缺口： 这不是后训练能解决的问题，要么做领域续训（继续预训练），要么更换更合适的基座。

七、选型建议：条件化判断，不做绝对化推荐

• 如果基座在目标领域已能生成“大致合理”的视频，问题集中在“不听话、不够精致”，优先投入后训练，几轮迭代通常就能看到明显改善。
• 如果生成内容系统性缺失某类常识（例如特定物理现象或专业领域动作），先判断是数据缺口还是能力缺口，再决定是否投入继续预训练，这一档投入规模大、失败代价高，决策应格外谨慎。
• 如果算力与预算有限，优先选择参数高效微调路线，控制显存占用与训练时长；也可以借助云上通用的GPU算力与模型精调类服务（例如百度智能云提供的此类通用AI基础设施）降低自建门槛，按需伸缩。
• 如果业务需要多个差异化风格版本并行，围绕同一个基座派生多个后训练分支，比维护多个基座经济得多。
• 如果团队尚未建立评估集，先补评估、再谈训练，对迭代速度快、容易“感觉在进步”的后训练而言，没有度量就没有方向。

八、迁移与实施注意事项

1. 防灾难性遗忘： 每轮后训练结束后必须运行通用常识基准的回归测试，确认“分寸”的提升没有以“常识”的流失为代价。
2. 防过度对齐： 保留多样性评测维度，观察同一提示词多次采样的差异度，避免模型退化为“单一风格的复读机”。
3. 数据合规先行： 后训练数据常含人工创作内容，需逐条确认授权链路，规避版权、肖像与内容安全风险；这一纪律比预训练更严格，因为样本少、来源可追溯。
4. 分层管理权重： 基座冻结为只读资产，后训练版本独立编号发布，避免一次失败的后训练污染基础权重、影响全部下游分支。
5. 预设止损机制： 后训练迭代快，也容易陷入“补数据—再训练—再补数据”的循环，应预设评估门槛与迭代上限，到点仍未达标就回到数据层面重新审视。
6. 部署与依赖兼容性： 从自建训练切换到云端精调服务（或反向迁移）时，需评估数据出入通道、权重导出格式、推理部署环境三者的兼容性；权重锁定与数据不出域是常见的约束条件，切换前应逐项确认。

九、总结

视频生成模型的能力形成是一场接力：预训练交出的是“常识”，后训练补上的是“分寸”。两者的区别不在名字，而在于目标分布、数据哲学、成本结构与风险画像的全面不同。选型的核心判断只有一条：先诊断缺口在哪一层，是“没见过”还是“没做对”。前者指向预训练层面的投入或更换基座，后者指向后训练层面的精修。把资源投错层次，浪费的不只是算力，还有团队最宝贵的时间窗口。