简介:本文按输入统一、条件构建、基础生成、高分辨率重建四个阶段拆解视频生成流程,列出每阶段的输入输出、关键参数和检查点。文中附显存不足、条件错位、画面模糊三类问题的排错思路,帮助开发者和算法工程师在问题出现的阶段及时定位,避免逐级返工。
本文面向需要把视频生成能力接入业务的开发者、算法工程师、运维人员和技术负责人。读完后,你可以搭建一条分阶段的推理链路,并在每个阶段检查中间结果,判断问题出在哪个环节。
本文给出通用流程、字段定义、伪代码和检查表。具体模型、框架和硬件需要替换为你自己的环境。文中的数值只是起始参考,必须以小样本实测结果为准。
适用场景包括以下几类:
如果只需要根据一句话生成粗略的动态画面,单阶段文生视频即可,不必搭建完整流程。下表比较两种方案。
| 维度 | 单阶段文生视频 | 多阶段条件视频生成 | 验收指标 | 回退动作 |
|---|---|---|---|---|
| 输入 | 以文本为主 | 文本加参考图像、参考视频,可选音频 | 输入字段校验全部通过 | 缺字段时退回文本生成 |
| 开发成本 | 低 | 高,需要维护多个阶段和中间产物 | 每个阶段有独立测试 | 只保留单阶段方案 |
| 推理耗时 | 较短 | 较长,阶段数量多 | 单次端到端耗时不超过预算,例如 3 分钟 | 降低分辨率或帧数 |
| 主要风险 | 细节不可控 | 任一阶段出错都会向后传递 | 每阶段检查表全部通过 | 回到上一个通过检查的阶段重跑 |
| 适合阶段 | 快速原型、草稿 | 需要一致性和可控性的落地项目 | 一致性指标达到目标值 | 一致性不达标时改用单阶段 |
所有阶段共享同一份请求结构。统一输入的目的是让每个阶段读取相同字段,避免在阶段之间重复解析,也便于在出错时回放原始请求。
| 字段 | 类型 | 必填 | 说明 | 约束与示例 | 默认值规则 |
|---|---|---|---|---|---|
| text | 字符串 | 是 | 文本描述,包含主体、动作、场景 | 非空,长度不超过模型上下文限制 | 无 |
| image | 图像路径或数组 | 否 | 参考图像,用于固定外观 | 格式为 PNG 或 JPEG,记录宽高 | 不传则不启用外观条件 |
| video | 视频路径 | 否 | 参考视频,用于镜头运动或动作 | 记录帧率、时长与分辨率 | 不传则不启用运动条件 |
| audio | 音频路径 | 否 | 声音或口型条件 | 仅在获得授权时填写,见 2.3 节 | 不传则不启用音频条件 |
| resolution | 整数二元组 | 是 | 目标输出分辨率,形如 [宽, 高] | 需与 VAE 的下采样倍数对齐,见 2.2 节 | 默认 [768, 432],以模型推荐值为准 |
| fps | 整数 | 是 | 目标帧率 | 与参考视频帧率一致,或明确写出重采样规则 | 默认与参考视频一致,无参考视频时取 24 |
| duration | 浮点数 | 是 | 输出时长,单位为秒 | 满足 duration × fps 取整后的帧数符合模型要求 | 默认 4.0 秒 |
| seed | 整数 | 否 | 随机种子,用于复现结果 | 非负整数 | 不传则随机生成,并写入日志 |
| steps | 整数 | 否 | 采样步数 | 起始参考 20 至 30 | 默认 25 |
| guidance | 浮点数 | 否 | 文本引导强度 | 起始参考 5.0 至 7.5 | 默认 6.0 |
VAE 会把像素空间压缩到潜空间。若目标分辨率不是下采样倍数 s 的整数倍,解码时会出现尺寸错误或边缘异常。对齐公式如下:
对齐后宽度 = ceil(宽度 / s) × s
对齐后高度 = ceil(高度 / s) × s
常见的空间下采样倍数为 8,部分模型为 16,具体以所用模型文档为准。例如,目标分辨率为 1000 × 562,s 为 16 时,对齐结果为 1008 × 576。错误示例是直接使用 1000 × 562 进入基础生成阶段,解码后画面右侧或底部会出现黑边或拉伸。
只有在下列条件全部满足时,才能把音频放入请求:
处理要求如下:原始音频只保留完成本次任务所需的时长,任务结束后删除中间特征;日志中不记录音频内容或可识别身份的特征,只记录文件哈希和授权编号。
function validate_request(req):assert req.text is non-empty stringassert req.resolution is [w, h] with positive integerss = model.vae_downsample_factorif req.resolution[0] % s != 0 or req.resolution[1] % s != 0:return ERROR("resolution not aligned to s=" + s)if req.audio is set and not req.audio_consent_id:return ERROR("audio requires consent id")if req.video is set:meta = read_video_meta(req.video)req.fps = req.fps or meta.fpsassert meta.duration >= req.durationif req.image is set:assert read_image_size(req.image) is not emptyreturn OK(req)
条件构建阶段把文本、参考图像和参考视频转换成模型可读的条件信号。这一阶段是最容易出现条件错位的地方,因此需要单独检查。
输入:经过校验的请求对象。
输出:文本嵌入、外观条件特征、运动条件特征、可选的区域遮罩。
关键参数:图像缩放策略(保持比例加填充,或直接拉伸)、参考帧采样间隔、条件强度(例如外观条件 0.6 至 0.9 的起始参考)、遮罩坐标系。
伪代码如下:
function build_conditions(req):text_emb = text_encoder(req.text)cond = {text: text_emb}if req.image:img = letterbox_resize(req.image, req.resolution)cond.appearance = image_encoder(img)cond.appearance_strength = 0.75if req.video:frames = sample_frames(req.video, interval=req.ref_interval, target_fps=req.fps)cond.motion = motion_encoder(frames)if req.mask:cond.mask = normalize_mask(req.mask, req.resolution)return cond
检查点如下:
基础生成阶段在低分辨率潜空间中完成去噪,产出时间连贯的基础视频。这一阶段决定了运动和构图,后续阶段只能在它的基础上修饰细节。
输入:条件字典、随机种子、采样步数、引导强度。
输出:基础视频,通常为低分辨率帧序列,以及可选的潜变量缓存。
关键参数:采样步数(起始参考 25)、引导强度(起始参考 6.0)、时间注意力窗口、潜空间分辨率。
伪代码如下:
function base_generate(cond, req):set_seed(req.seed)latents = sample_noise(shape=latent_shape(req))for t in scheduler.timesteps(req.steps):noise_pred = model(latents, t, cond, guidance=req.guidance)latents = scheduler.step(noise_pred, t, latents)base_video = vae.decode(latents)save_cache(latents, req.seed)return base_video
检查点如下:
高分辨率重建阶段把基础视频放大到目标分辨率,并补充细节。常见做法是对基础视频做插值放大后,再进行一次低强度去噪。
输入:基础视频、目标分辨率、去噪强度、分块参数。
输出:高分辨率视频。
关键参数:去噪强度(起始参考 0.2 至 0.4,过高会改变原有内容)、分块大小与重叠宽度(起始参考分块 512 像素、重叠 64 像素)。
伪代码如下:
function hires_refine(base_video, req):up = resize(base_video, req.resolution, method="bicubic")latents = vae.encode_tiled(up, tile=512, overlap=64)latents = add_noise(latents, strength=0.3)for t in scheduler.timesteps_from(strength=0.3):noise_pred = model(latents, t, cond=refine_cond)latents = scheduler.step(noise_pred, t, latents)return vae.decode_tiled(latents, tile=512, overlap=64)
检查点如下:
排错时先确定问题出在哪个阶段,然后只重跑该阶段及其后续阶段。下面三类问题是最常见的。
现象:运行中出现内存溢出错误,或者在 VAE 解码阶段突然中断。
常见原因包括:分辨率或帧数过大;使用 FP32 精度;一次性解码全部帧;批次大小大于 1。
处理步骤:
示例:某阶段在 1280 × 720、96 帧时溢出。把输出降到 768 × 432、48 帧,并开启分块解码后,峰值显存下降到原来的约三分之一。具体数字因模型和硬件而异,应以本地实测为准。
现象:生成人物与参考图不是同一人;运动方向与参考视频相反;动作发生的时间早于或晚于参考视频。
常见原因包括:参考视频帧率与目标帧率不一致,但没有写明重采样规则;图像缩放后裁剪错位;遮罩的坐标系混用;时间戳从第 0 帧与第 1 帧之间起算不一致。
处理步骤:
示例:参考视频为 30 fps,目标为 24 fps,但采样时直接取前 96 帧,导致运动比参考快约 25%。改为按时间戳插值采样后,运动速度恢复正常。
现象:生成的视频细节缺失,文字无法辨认,边缘发虚。
常见原因包括:基础视频直接放大,没有经过高分辨率重建;高分辨率阶段去噪强度过低;VAE 解码精度偏低;输出编码码率过低。
处理步骤:
示例:某次输出文字模糊,原因是视频编码码率设为过低值。提高码率后,文字清晰度明显改善,生成阶段无需改动。
| 阶段 | 检查项 | 通过标准 | 失败动作 |
|---|---|---|---|
| 输入统一 | 字段校验 | 所有必填字段存在,分辨率已对齐 | 返回错误,不进入后续阶段 |
| 输入统一 | 音频授权 | 授权编号存在且在有效期内 | 删除音频字段,退回无音频方案 |
| 条件构建 | 条件形状 | 所有条件张量形状符合模型要求 | 检查编码器输入尺寸 |
| 条件构建 | 参考帧对齐 | 采样帧数与时间戳符合目标帧率 | 重新采样并记录规则 |
| 基础生成 | 首帧相似度 | 达到预设阈值 | 调整外观条件强度后重跑本阶段 |
| 基础生成 | 时间稳定性 | 相邻帧差异在区间内 | 降低引导强度或增加步数 |
| 高分辨率重建 | 接缝与纹理 | 无明显接缝,细节清晰 | 降低去噪强度,调整分块重叠 |
| 全流程 | 显存峰值 | 不超过设备可用显存的 85% | 参照第六节的显存处理步骤 |
| 全流程 | 复现性 | 同一种子两次运行结果一致 | 检查随机源与精度设置 |
每次运行都应记录环境信息,便于问题复现。建议在输出目录中保存一份配置文件,内容包括模型版本、VAE 下采样倍数、框架版本、驱动版本、精度设置、随机种子和全部请求字段。依赖版本以所用框架的官方文档为准,本文不提供固定版本组合。
记录示例如下:
run_config:model_version: "<模型名称与版本>"vae_downsample: 8framework_version: "<框架版本>"precision: "fp16"seed: 12345resolution: [768, 432]fps: 24duration: 4.0audio_consent_id: null
按本文的顺序逐阶段搭建并检查,可以在问题出现时快速定位到具体阶段,减少逐级返工的成本。