视频生成走向深水区：从短剧应用到智能跃迁

一、需求侧的火爆，掩盖不了供给侧的紧绷

AI视频生成正在加速商业化，短剧成为最热门的应用场景之一。行业数据显示，微短剧上线数量在短时间内出现数量级增长，其中AI参与制作的剧集占比极高。头部短剧平台的日活跃用户规模已达数亿级别，用户月人均单日使用时长超过150分钟，甚至高于多数月活过亿的社交与短视频应用。

这种需求侧的爆发传递了一个明确信号：视频生成技术已经跨过了“可用”的门槛，进入了大规模内容生产的实际流程。但火爆的另一面是持续攀升的算力消耗。行业里流传的一句调侃——“token消耗的一半来自短剧”——并非夸张，它精确描述了当前视频生成商业化的真实成本结构。

作为长期研究多模态模型与视频生成的开发者，于力军对这一阶段有清醒判断：视频生成已经完成“从零到一”的验证，接下来的核心命题是在画质、效率与规模化之间找到更好的平衡。短剧不是技术的目的地，它只是第一个足够大的试验场。

二、技术路线的三次权衡：从像素到词元

回顾视频生成的技术演进，可以清晰看到一条“表征方式”不断抽象化的主线。

第一代思路：直接建模像素。 早期方案沿用图像生成的扩散思路，在像素空间或隐空间逐帧去噪。这种方式直观，但计算开销随分辨率与帧数急剧膨胀，长视频的时序一致性也难以保证。

第二代思路：用离散视觉词元表示视觉信息。 以MAGVIT系列为代表的工作，将图像和视频量化为一串离散的视觉词元（visual token），再借助序列建模的方式来生成。这一思路的关键价值在于：它把视频生成问题转化成了与语言模型同构的序列建模问题，为多模态统一架构铺平了道路。

第三代思路：以语言模型为骨架生成视频。 VideoPoet等工作进一步将视频生成置于语言模型的框架之下，用自回归方式预测视觉词元序列。其优势是天然支持多模态输入输出、便于利用大规模预训练语言模型的先验知识；挑战则在于视觉词元的码本设计、序列长度控制以及生成质量与推理速度的权衡。

这三条路线并非简单的替代关系，而是在不同任务偏好下的不同取舍。于力军指出，不同任务偏好的训练方式并不相同，统一多模态模型仍有很长的路要走。这句话点出了当前工程实践中最容易被低估的难点：没有一种训练配方能同时适配所有模态与所有任务。

三、工程视角下的三个核心矛盾

站在开发者角度，视频生成系统的设计本质上是在解一组相互牵制的约束方程。以下三个矛盾最为突出。

3.1 画质与效率的矛盾

高画质要求更高的空间分辨率与更精细的时序建模，这直接推高单次推理的算力成本。短剧场景对“可看性”要求不低，但同时对单位内容成本极度敏感。实践中常见的做法包括：

• 分级生成策略：低分辨率生成整体运动结构，再对关键帧做超分与细节修复；
• 隐空间压缩：在低维隐空间完成扩散或自回归，仅在最终解码阶段还原像素；
• 缓存与复用：对静态背景、重复镜头做特征缓存，减少重复计算。

这些手段都能缓解矛盾，但每一项都引入新的调参维度，系统工程复杂度随之上升。

3.2 时序一致性与生成多样性的矛盾

视频不是独立帧的拼接，角色外观、场景光照、物体位置在时间轴上必须保持连贯。扩散模型逐帧独立采样容易产生闪烁与漂移；自回归模型则可能因误差累积导致长程漂移。常见的工程对策是引入显式的运动条件（光流、相机轨迹、姿态序列）作为中间控制信号，把“生成什么”与“怎么运动”解耦。

3.3 规模化与可控性的矛盾

当生成量从 demo 级别上升到每天数万条，可控性就成为刚性需求：需要稳定的风格一致性、可复现的随机种子管理、可审计的内容安全过滤，以及可回滚的模型版本策略。这已经超出模型本身，属于典型的生成流水线工程问题——任务编排、批处理调度、结果缓存、质量抽检缺一不可。

# 示意：分级生成流水线的伪代码结构
def generate_shot(prompt, duration, style_ref):
    # 1. 低分辨率结构生成（快速、低成本）
    coarse = model_lowres.sample(prompt, frames=duration, seed=stable_seed(prompt))
    # 2. 关键帧精修（受风格参考约束）
    keyframes = [refine(f, style_ref) for f in pick_keyframes(coarse)]
    # 3. 时序插帧与一致性校正
    refined = temporal_interpolate(coarse, keyframes)
    # 4. 超分与后处理
    return upscale(refined)

上述代码仅为结构示意，重点在于说明：视频生成的生产化不是单一模型的调用，而是一条多阶段、可编排、可监控的流水线。

四、统一多模态模型：方向明确，路径漫长

业界普遍将“统一多模态模型”视为下一阶段的重要方向——用一套架构同时处理文本、图像、视频甚至音频的输入与输出。其吸引力在于跨模态知识的迁移与更简洁的系统栈。但于力军的判断是，这条路仍然很长。

原因主要有三：

1. 模态间的数据分布差异巨大。 文本是离散符号，图像视频是连续高维信号，用同一套词元化方案兼顾两者，需要在码本粒度、序列长度、训练目标上做大量折中。
2. 训练目标难以统一。 理解任务偏好对比学习与判别式目标，生成任务偏好重构与似然目标，二者联合训练容易相互掣肘。
3. 评估体系缺失。 视频生成的质量评估至今没有公认的统一指标，画质、运动合理性、语义对齐、时序一致性需要分别度量，这给模型选型与迭代带来实际困难。

因此，务实的工程策略往往是“统一接口、分离骨干”：上层用统一的调度与数据协议，底层针对不同任务选用不同偏好的模型与训练配方。

五、更远的设想：从生成视频到观察世界

于力军最初研究视频生成时，怀着一个更远的设想：世界上存在海量的真实视频，如果模型能直接观察真实世界，能否借此实现更高级的智能？

这个设想的逻辑并不复杂。语言模型从文本语料中习得了语义与世界知识的压缩表示；视频作为对真实世界的高保真记录，包含物体持久性、因果顺序、物理交互等语言难以完整描述的信息。若能有效利用这些信号，模型对世界的表征能力有望更进一步。

但要落地，至少面临三道关卡：

• 表征效率：原始视频的信息冗余极高，如何学习到既紧凑又保留关键动态信息的表征，是核心难题；
• 学习目标：单纯的下一帧预测容易退化为纹理复制，需要设计能促使模型理解结构与因果的预训练任务；
• 数据治理：真实视频涉及隐私、版权与内容安全，规模化使用需要严格的合规与清洗流程。

这也解释了为什么“视频生成”与“从视频中学习”是两个相关但不等同的问题。前者追求可控的内容合成，后者追求对世界的理解——而后者，恰恰可能是通向更高级智能的关键一步。

六、给开发者的实践建议

结合上述分析，对于正在或计划将视频生成能力引入业务的团队，以下几点值得重视：

1. 先定义质量基线，再谈模型选型。 明确业务可接受的画质、时长、一致性阈值，避免陷入“指标好看但不可用”的陷阱。
2. 把流水线当一等公民。 调度、缓存、监控、回滚等工程能力，往往比换一个更强的模型更能决定最终的单位内容成本。
3. 为可控性预留接口。 运动条件、风格参考、种子管理应作为系统设计的组成部分，而非事后补丁。
4. 评估要分维度。 画质、时序一致性、语义对齐分别度量，避免单一综合分掩盖真实短板。
5. 关注算力成本的可预测性。 在规模化场景下，推理成本的方差往往比均值更值得管理。

视频生成的下一步，不是把短剧做得更多，而是让技术在画质、效率与规模化之间找到稳定的平衡点，并在此基础上，向观察真实世界、理解动态规律的方向继续演进。这既是工程问题，也是通往更高级智能的必经之路。