大模型实践：多参考图与参考视频生成教程

一、教程目标

本教程帮助读者在三类定位不同的 AI 计算硬件上，依次跑通“多参考图生成图像”和“N 张参考图 + 1 段参考视频生成视频”两类多模态生成任务。三类硬件分别是：大内存统一算力平台（如 AGX Orin 一类的边缘计算模块、Spark 一类的高内存桌面计算设备）、24GB 级高性能独显平台和轻薄本独显平台。在此基础上，读者将掌握统一的测试方法，最终输出一份包含参考图数量梯度、资源占用、耗时与质量一致性的对比结论。

之所以把图像和视频放在同一条教程中，是因为二者共享同一套工程要素：

• 多条件输入的组织方式；
• 显存与内存的资源预算；
• 量化权重的加载方式；
• 生成质量的评价方法。

图像任务迭代快、成本低，适合先用于打通链路。视频任务资源消耗高，更适合在链路稳定后再展开。

读者完成本教程后，应能独立回答以下四个问题：

1. 当前硬件能否加载目标模型？应采用何种精度与显存策略？
2. 参考图数量增加到多少时，身份一致性、构图质量与推理耗时的拐点出现在哪里？
3. 指定时长与分辨率的视频生成任务，瓶颈在于显存容量、内存带宽还是算力？
4. 生成的视频能否通过身份一致性、时序一致性和可用性检查？

二、适用场景

场景一：多参考图生成图像。 给模型输入多张人物、服装或产品参考图，生成融合多元素的新图像。典型应用包括服装搭配、场景布置和产品效果图。

场景二：参考视频 + 参考图生成视频。 保留参考视频中的人物动作、运镜与背景变化，把视频中的人物替换为参考图中的人物。这类能力适用于影视广告预演和短视频内容制作。

场景三：多硬件对比与选型。 需要回答“哪类设备适合跑多大的模型、哪种部署方式性价比更高”。本教程的控制变量方法同样适用于其他多模态生成模型。

场景四：边缘与本地部署验证。 在算力有限、数据不便外传的环境中，评估统一内存平台能否独立承载生成任务。

使用边界。 替换真人形象前必须取得肖像权授权，并对生成内容进行规范标识。严禁将此类能力用于伪造他人身份、制作虚假信息或其他违法用途。

三、前置准备

3.1 三类硬件平台的特点

平台类别	内存/显存特征	主要优势	主要限制
高内存统一算力平台	CPU 与 GPU 共享大内存（如 128GB），无独立显存	可加载超大参数模型与高精度权重，可做高分辨率、长时长的生成；整机功耗低，适合边缘和本地部署	可用内存带宽低于高端独显，单步推理通常较慢
高性能独显平台	独立显存（如 24GB），显存带宽高	单步计算与视频生成速度快，生态成熟	模型、激活值与中间特征必须全部放入显存，容量是硬约束
轻薄本独显平台	显存较小（如 16GB），并与系统争用资源	便于随身携带，可做开发调试和小规模验证	对量化精度依赖高，高分辨率或多参考图时容易显存溢出

三类平台并非简单的“高低替代”关系：

• 独显平台受显存带宽影响大，分辨率越高，显存占用增长越快；
• 统一内存平台受内存带宽制约，更适合以容量换质量的场景。

后文用控制变量法逐一验证这些差异。

3.2 模型资产与精度选择

需要准备两类模型权重：

• 图像生成模型： 采用支持多参考图输入的版本，本教程以 int8 量化版本为主；
• 视频生成模型： 采用支持参考图与参考视频双条件的版本，并按 V3、V4 等版本分别建目录，便于对比。

精度选择遵循“先跑通、再提量、后调质”的顺序：

1. 显存充足的平台可用高精度权重建立质量基线；
2. 显存受限的平台使用 int8 量化权重；
3. 对比两者差异，判断量化造成的质量损失是否可接受。

3.3 软件环境

• GPU 驱动及配套的通用并行计算接口，版本需满足框架要求；
• 容器运行时，或使用独立的虚拟环境，用于隔离依赖；
• 与权重精度相匹配的深度学习框架；
• 支持多模态条件的通用推理框架；
• 基于节点图的可视化推理编排工具（本教程记录版本为 0.37），用于快速搭建并复现生成流程；
• 通用视频编解码工具，用于抽帧、拼接与时长校验；
• 通用图像处理库，用于尺寸统一与掩码生成。

3.4 数据准备

参考图要求：

• 覆盖 1 至 4 个数量梯度，分别对应单人物、多人物、多服装和多元素组合；
• 人物图需保证正脸清晰、光照均匀，并尽量统一分辨率与色彩空间；
• 每组输入使用固定编号，保证各平台测试结果可复现。

参考视频要求：

• 时长覆盖 5 秒基线，并准备 10 秒以上的样本用于压力测试；
• 帧率保持恒定；
• 人物主体完整、镜头运动适中，包含转身、走动等常见动作。

文本提示词： 准备统一模板，只改变与参考图数量相关的描述部分，避免提示词差异干扰对比结论。

四、实施步骤

步骤一：定义任务与验收标准

做什么： 写清输入、输出和判定依据，形成可执行的测试方案。本教程的基线配置如下：

任务	条件输入	输出规格
图像生成	1 至 4 张参考图 + 文本提示词	约 0.9 MP（如 1280×704）
视频生成	N 张参考图 + 1 段参考视频 + 文本提示词	5 秒，分辨率与参考视频对齐

为什么做： 参考图越多，可融合的信息越丰富，但身份混淆、特征稀释和显存占用的风险也越高。只有先定义数量梯度和判定标准，后续数据才具有可比性。

注意： 测试变量（分辨率、时长、采样步数、随机种子）要记录在案，并与变量（参考图数量、平台、模型版本）严格分开。

步骤二：搭建可复现的运行环境

做什么：

1. 按平台制作统一的基础镜像，固定驱动、计算接口和框架版本，并写入依赖锁文件；
2. 统一模型目录结构，区分高精度、int8 及不同模型版本；
3. 固定随机种子，关闭非确定性算子（如框架提供相应开关）。

为什么做： 跨平台对比的前提是“同一个实验”。版本漂移或随机性过大会让差异归因失真。

注意： 统一内存平台需要为系统预留内存，避免模型推理时被系统进程挤出内存而失败。

步骤三：加载并校验模型权重

做什么：

1. 记录每个权重文件的校验值，下载完成后逐一比对；
2. 通过最小推理脚本分别加载图像模型与视频模型；
3. 读取加载后的显存/内存占用。

为什么做： 模型仓库通常同时提供多种精度和多个版本的权重，错用会导致结果与预期不符。校验值是确认文件完整、来源一致的第一步。

注意： 加载占用只是基线。推理过程中的激活值和中间特征往往比权重本身更占空间。

步骤四：用单参考图打通图像生成链路

做什么： 以 1 张参考图和固定提示词生成单张图像，确认输出尺寸、色彩和主体符合预期。

为什么做： 这是整条链路的最小闭环。链路打通后，再增加参考图数量，就能把问题范围限定在“多条件融合”上，而不是同时排查环境、权重和逻辑问题。

注意： 记录这一步的耗时与显存占用，作为后续对比的基准值。

步骤五：执行多参考图数量梯度测试

做什么： 在每组配置下分别用 1、2、3、4 张参考图生成图像，记录以下数据：

• 单张耗时；
• 显存或内存峰值；
• 主体身份相似度；
• 画面是否出现元素丢失或构图崩坏。

为什么做： 多参考图推理的资源消耗与条件数量、条件分辨率密切相关。梯度测试能够找出以下拐点：

• 质量拐点：参考图增加到几张时，融合效果开始下降；
• 资源拐点：显存从哪个数量级开始不足。

注意： 若显存不足，可依次尝试：降低单次输入分辨率、启用显存或内存优化策略、改用 int8 量化、减少单次条件数量。

步骤六：构建“N 图 + 1 参考视频”的人物替换流程

做什么： 按以下步骤完成视频生成：

1. 预处理参考视频： 统一帧率与分辨率，必要时抽取关键帧；
2. 提取人物区域掩码： 在参考视频的每一帧中标记需要替换的人物区域；
3. 组织参考图： 按人物身份准备对应的参考图。多人物场景需明确每张参考图对应的人物，避免身份交叉；
4. 配置生成参数： 设置目标时长（基线 5 秒）、输出分辨率（与参考视频一致或等比缩放）、采样步数和随机种子；
5. 执行推理并导出视频。

为什么做：

• 参考视频提供运动、背景与光照信息，参考图提供人物身份特征，模型需要同时理解两类条件；
• 掩码决定了替换区域。掩码偏移或边缘粗糙会直接导致人物与背景“贴不上去”。

注意：

• 输出分辨率提高时，显存和内存占用通常呈非线性增长；
• 时长翻倍并不只是计算量翻倍，逐帧之间的特征缓存同样会增加占用。

步骤七：按统一矩阵采集对比数据

做什么： 以“平台 × 模型版本 × 参考图数量”组成测试矩阵，每个组合重复运行 3 次，取中位数。

建议采集字段：

字段	说明
平台与内存/显存	统一内存平台记录可用内存，独显平台记录显存容量
模型版本与精度	如 V3/V4、高精度或 int8
条件输入	参考图数量、视频时长与分辨率
加载耗时	模型从加载到就绪的时间
单步与端到端耗时	用于区分是计算慢还是数据搬运慢
显存/内存峰值	判断瓶颈类型
质量评分	身份相似度、构图完整度、时序一致性，各按 1～5 分主观打分
备注	是否发生显存溢出、降级或报错

为什么做： 只有结构化记录，才能判断差异来自硬件、模型版本还是输入条件，避免“感觉快一点”式的结论。

注意： 质量评分应由至少两名评估者独立打分后取平均，并提前约定评分细则。

步骤八：横向对比与瓶颈定位

做什么：

1. 固定模型与输入，只改变平台，比较耗时与资源占用；
2. 固定平台，比较 V3、V4 与不同精度的差异；
3. 固定平台与版本，比较参考图数量梯度；
4. 绘制耗时—资源占用曲线，定位拐点。

为什么做： 控制变量是归因的基础。常见结论模式如下：

• 独显平台显存充足时，单步速度通常占优；
• 显存不足时，需要降低分辨率、启用量化或拆分任务；
• 统一内存平台可以加载高精度权重，支持更大的分辨率或更长的视频，但推理速度往往受内存带宽制约。

注意： 不同平台的量化支持程度和算子实现不同，同一份 int8 权重未必能在所有平台直接运行。版本不兼容时需替换为对应平台的量化版本，并在报告中注明。

步骤九：输出结论与部署建议

做什么： 按以下格式输出测试报告：

• 各组合的对比表；
• 典型样例的对比图或对比视频；
• 推荐配置；
• 风险清单。

为什么做： 报告是技术选型和后续优化的依据，应做到结论可追溯、样本可复现、建议可落地。

注意： 推荐配置应同时给出“质量优先”和“速度优先”两套方案，并注明适用条件。

五、配置说明

配置项	含义	常见取值逻辑	风险提示
输出分辨率	生成画面的像素规模	基线约 0.9 MP；显存不足时等比下调	显存占用随分辨率快速上升
参考图数量	同时参与生成的条件图数量	从 1 张开始逐步增加，观察质量拐点	过多易导致身份混淆、特征稀释
采样步数	去噪迭代次数	步数越多细节越丰富，但耗时近似线性增加	显存紧张时步数过高易溢出
随机种子	控制生成随机性	对比测试时固定，探索方案时可变化	不固定则结果无法复现
条件强度	参考条件对生成结果的影响程度	人物一致性优先时适当提高	过高会削弱运动自由度与背景自然度
量化精度	权重数值精度	int8 用于显存受限场景，高精度用于质量基线	低精度可能损失细节
显存/内存优化	降低峰值占用的通用策略	显存不足时开启	可能增加耗时
视频时长与帧率	输出视频的长度与流畅度	基线 5 秒；长视频分段生成后拼接	时长增加会显著抬高资源峰值

具体参数名称与取值范围以所用模型和推理框架的官方说明为准，本文不虚构专有参数。

六、示例说明

以下为通用伪代码，用于说明执行顺序，不对应任何具体工具接口：

# 1. 环境与资产准备
load_driver_and_runtime()            # 初始化 GPU 运行时
model = load_model(model_dir, dtype="int8")  # 按需切换高精度 / int8
profile = start_memory_profile()     # 记录显存或内存峰值
# 2. 多参考图图像生成
for n_ref in [1, 2, 3, 4]:           # 参考图数量梯度
    refs = preprocess_images(ref_paths[:n_ref], size=(1280, 704))
    image = generate_image(model, prompt=prompt, reference_images=refs,
                           seed=FIXED_SEED)
    save_with_meta(image, meta={"ref_count": n_ref, "platform": PLATFORM})
# 3. N 图 + 1 参考视频生成
masks = extract_person_masks(video_path)          # 提取待替换人物区域
refs = preprocess_images(ref_paths, size=video_size)
video = generate_video(model, prompt=prompt,
                       reference_images=refs,
                       reference_video=video_path,
                       reference_masks=masks,
                       duration_seconds=5,
                       seed=FIXED_SEED)
save_video(video, "output.mp4")
# 4. 结果输出
report = summarize(profile, metrics)              # 耗时、内存峰值、质量评分

要点说明：

1. 图像和视频任务共用模型加载与显存监控代码，保证资源口径一致；
2. 每个样本都记录参考图数量与平台信息，便于后续按维度汇总；
3. 质量评分在生成完成后单独进行，与推理过程解耦，避免评估干扰计时。

七、结果验证

7.1 生成是否成功

• 图像： 输出文件可正常打开，分辨率与设定一致，无大面积色块或噪点；
• 视频： 可正常播放，时长误差在单帧范围内，帧率与设定一致，音画轨（如有）无错位；
• 资源： 显存或内存峰值低于可用上限，且预留 10%～20% 余量；
• 日志： 无异常报错，未出现精度回退等降级记录。

7.2 质量一致性检查

• 身份一致性： 将生成人物与参考图人物做正脸比对，五官比例、发型和肤色应无明显偏差；
• 时序一致性： 逐段检查视频，人物不应闪烁、跳变或出现肢体扭曲；
• 背景保持： 参考视频的背景和镜头运动应保持连贯；
• 边界质量： 人物与背景交界处无明显的掩码痕迹或重影。

7.3 对比结论判定

同一组输入在多个平台上的质量评分差异应在可接受范围内。若差异明显，需先确认是否由精度、算子实现差异或预处理差异导致，再下结论。

八、常见问题与排查

8.1 显存或内存溢出

• 现象： 加载成功，但生成过程中报资源不足或直接终止；
• 原因： 分辨率、时长或参考图数量过多，激活值和中间特征超出容量；
• 排查思路： 查看峰值占用的增长位置，按以下顺序调整：
  1. 降低分辨率；
  2. 减少采样步数；
  3. 使用 int8 量化；
  4. 开启显存优化策略；
  5. 将长视频分段生成。

8.2 生成人物与参考人物不像

• 原因： 参考图光照、角度差异大，人物在画面中占比过小，或提示词与参考图描述冲突；
• 排查思路：
  1. 换用正面清晰的参考图；
  2. 适当提高条件强度；
  3. 在提示词中补充关键外貌特征；
  4. 固定随机种子排除随机波动。

8.3 视频出现闪烁或形变

• 原因： 参考视频运动过快，掩码逐帧抖动，或输出分辨率与参考视频差异过大；
• 排查思路： 优先选择运动平缓的素材，平滑掩码边界，保持输出与参考视频分辨率一致。

8.4 多人物场景身份互换

• 原因： 参考图与人物掩码的对应关系不明确；
• 排查思路： 按人物分别提供参考图，并检查掩码是否覆盖了正确的目标人物。

8.5 量化模型结果异常

• 原因： 权重精度与平台算子实现不匹配，或不同量化版本的预处理方式不同；
• 排查思路： 核对模型版本与量化方式，必要时改用官方适配的版本，并用高精度结果作为对照。

8.6 速度明显低于预期

• 原因： 模型反复加载、数据预处理与推理未并行，或平台处于高负载状态；
• 排查思路：
  1. 检查是否有重复加载；
  2. 将预处理提前到批处理阶段；
  3. 查看温度与功耗是否触发降频；
  4. 统计单步耗时，判断是计算瓶颈还是数据搬运瓶颈。

九、优化建议

9.1 性能与资源

• 批量与缓存： 固定提示词和模型常驻内存，减少重复加载；多组参考图可批量推理；
• 分辨率策略： 先用低分辨率验证构图与身份，再用高分辨率精修；
• 统一内存平台调优： 尽量提高内存带宽利用率，避免与大型后台任务同时运行。

9.2 质量稳定

• 建立参考图准入规范，明确分辨率、光照与人物占比要求；
• 对同一输入多次生成，选择稳定性最高的一组参数组合；
• 为图像和视频分别沉淀“推荐参数模板”，减少重复调参。

9.3 可维护与可扩展

• 模型、代码、配置和数据分离管理，每个实验记录版本号；
• 测试脚本参数化，一条命令即可完成全矩阵测试；
• 将测试数据定期归档至对象存储，便于追溯和复用。

9.4 成本与云端扩展

• 本地设备适合验证与小规模生产；
• 大批量、长时长视频任务可按需使用百度智能云的高性能计算实例或容器平台弹性扩容，避免本地设备长期高负载；
• 若需对外提供服务，可通过通用的模型托管服务将推理能力封装为接口，并结合负载均衡、日志服务与监控告警保障稳定性；
• 模型文件较大时，建议借助对象存储做版本管理。

9.5 安全与合规

• 生成素材的来源与授权应留痕；
• 按相关法规要求对生成内容进行显式或隐式标识；
• 涉及人脸等敏感数据时做好访问控制与加密存储；
• 推理服务应设置调用频率与内容审核策略。

十、总结

本教程以“多参考图生成图像”和“N 图 + 1 参考视频生成视频”为两条主线，串联起多模态大模型在三类 AI 计算平台上的完整实践链路，涵盖环境搭建、权重加载、梯度测试、对比采集、验证与调优。

关键步骤可归纳为：

1. 定义任务与验收标准；
2. 构建可复现环境；
3. 用单参考图打通链路；
4. 按数量梯度扩展；
5. 结构化采集数据；
6. 控制变量对比；
7. 输出部署结论。

三类平台各有定位：独显平台胜在显存带宽与单步速度，统一内存平台胜在大容量与部署灵活性。读者应依据任务对分辨率、时长和质量的要求进行选型。

后续可继续关注以下方向：

• 视频生成模型的量化与加速；
• 长视频分段生成与一致性保持；
• 多人物、多场景下的条件融合方法；
• 云端推理资源的弹性调度与成本控制。