AI视频生成模型物理一致性评测教程

一、教程目标

本教程要帮助读者完成一件事：为一类视频生成模型搭建一套可复现、可量化、可回归的物理一致性评测流程。这里的“物理一致性”不是看画面像不像真实视频，而是看视频中的物体运动是否遵循基础物理规律，例如自由落体加速度是否稳定、单摆周期是否只与摆长和重力加速度相关、抛体轨迹是否满足运动学方程、碰撞前后动量与能量变化是否在合理范围内。

需要特别强调：画面质量高不等于物理计算正确。一个物体下落的视频可以每一帧都清晰锐利，但下落速度忽快忽慢；一个单摆可以阴影和反光都很真实，但周期与摆长没有稳定关系。如果这类模型被用于“先在内部模拟世界如何变化，再据此做决策”的下游任务，那么物理一致性不足会直接影响机器人决策、自动驾驶预判、工业仿真等场景的可靠性。因此，评测目标应从“看起来真实”升级为“测量关键物理量并判断误差是否可接受”。

本教程适合算法评测工程师、视频生成应用开发者、技术负责人以及需要评估模型可信度的企业用户阅读。读者不需要掌握复杂物理推导，但应具备基本的视频处理、数据统计和脚本化评测能力。

二、适用场景

本教程适用于以下场景：

1. 视频生成模型选型：在多个候选模型或不同版本之间比较物理一致性，而不是只比较画质和主观观感。
2. 模型迭代回归：每次模型升级后，用固定物理场景集验证关键指标没有退化。
3. 下游任务风险评估：为机器人决策、自动驾驶预判等任务提供模型可信度依据，判断是否适合接入或需要增加约束。
4. 评测体系搭建：将人工主观打分升级为“可测量物理量 + 人工抽检 + 视觉语言模型辅助筛选”的组合流程。

三、前置准备

在开始评测前，需要准备以下基础条件：

• 评测环境：能够批量读取生成视频、提取视频帧、记录时间戳和帧率，并保存中间轨迹数据。
• 存储与日志：准备对象存储或本地文件目录保存原始视频、预处理帧、轨迹文件、指标结果和评测日志。生产环境建议使用带版本管理的对象存储目录结构。
• 场景数据集：至少准备自由落体、单摆、抛体、斜面滑动、简单碰撞等基础场景。每个场景应固定相机位置、背景、光照、物体尺寸和初始条件。
• 标注与标定信息：需要知道像素与实际长度的比例、视频帧率、时间戳是否稳定，以及目标物体在画面中的初始位置和尺寸。
• 计算脚本：用于轨迹提取、平滑滤波、物理量拟合和误差统计。脚本应可重复执行，输入输出路径明确。
• 验收阈值：在评测前定义什么算通过。例如自由落体拟合加速度相对误差不超过设定阈值，单摆周期相对误差不超过设定阈值，重复实验方差不超过上限。阈值应结合业务风险设定，不能事后随意调整。
• 权限与流程：如果通过接口批量生成视频，需要具备调用权限、配额管理和失败重试机制；如果离线生成，需要记录模型版本、生成参数和随机种子。

四、实施步骤

步骤1：明确评测边界与验收标准

先确定评测范围，不要一开始就覆盖所有物理现象。建议从刚体运动开始，因为目标易跟踪、物理方程明确、误差容易解释。评测前写清楚：测哪些场景、每个场景采样多少条视频、每条视频多少帧、允许多大误差、由谁复核异常样本。

为什么先做这一步？因为物理一致性评测最怕“评价标准漂移”。如果先看视频再定阈值，容易受到画面质量干扰。正确做法是先定义可测量物理量和通过条件，再执行评测。

步骤2：设计受控物理场景

每个场景都应做到“可观测、可标定、可复现”。例如自由落体场景应使用简单背景、清晰目标标记、固定相机和稳定光照；单摆场景应保证摆线长度可测量、摆球无遮挡、相机平面与摆动平面尽量平行。提示词和初始条件要参数化，例如物体尺寸、初始高度、释放方式、相机距离等。

场景过于复杂会引入跟踪漂移和遮挡，导致无法判断误差来自模型物理错误还是评测管线错误。因此第一版评测集应保持简单，再逐步加入碰撞、摩擦、形变等复杂场景。

步骤3：批量生成并记录元数据

对每个场景使用多个随机种子、多个提示词变体和多个时长进行批量生成。每条视频至少记录：模型版本、生成参数、提示词、随机种子、分辨率、帧率、生成时间、场景编号和预期物理条件。元数据是后续复现和对比的基础，不能只保存视频文件。

如果生成服务存在随机性，应保证同一场景有足够样本量，并统计均值、方差和置信区间。单条视频表现好不能说明模型稳定；多条视频的波动范围更能反映物理一致性风险。

步骤4：视频预处理与轨迹提取

将视频解码为帧序列，依据标定信息把像素坐标转换为实际长度。对目标物体进行检测、分割或跟踪，得到每一帧的位置轨迹。随后进行适度平滑滤波，降低检测抖动，但不要过度平滑，否则会掩盖真实的加速度异常。

伪代码示意：

function extract_trajectory(video_path, pixel_to_meter, fps):
    frames = decode_video(video_path)
    positions_pixel = []
    for frame in frames:
        marker = detect_or_segment_target(frame)
        center = compute_center(marker)
        positions_pixel.append(center)
    positions_meter = positions_pixel * pixel_to_meter
    times = frame_index / fps
    smoothed = smooth(positions_meter, window_size)
    return times, smoothed

注意：必须检查帧率是否稳定、时间戳是否连续、视频是否经过插帧或变速处理。时间基准错误会直接导致速度和加速度计算错误。

步骤5：计算物理量并评估误差

不同场景选择不同物理量。自由落体可对高度时间序列拟合二次函数，估计重力加速度；单摆可检测周期并与理论周期比较；抛体可比较水平匀速与竖直加速；碰撞可计算碰撞前后速度和恢复系数。误差指标可使用平均绝对误差、均方根误差、相对误差和置信区间。

伪代码示意：

function evaluate_free_fall(times, positions, g):
    fit y = y0 + v0 * t + 0.5 * a * t^2
    relative_error = abs(a - g) / g
    residual = compute_fit_residual(times, positions, fitted_params)
    return relative_error, residual

配置阈值时建议分层：基础场景采用较严格阈值，复杂场景采用较宽松阈值；关键安全场景单独设门禁。阈值变更必须记录原因和版本。

步骤6：建立基线并进行人工抽检

基线可以包括真实拍摄视频、物理仿真合成视频或人工标注的关键帧。视觉语言模型可以用于初筛，例如快速找出明显异常的候选视频，但不宜作为唯一裁判。原因是视觉语言模型擅长物体识别和语义描述，对精确物理量判断可能存在短板；相关研究也提示，视觉语言模型在物理合理性判断上往往弱于普通物体识别任务。最终判定应依赖可测量指标和人工抽检。

步骤7：生成评测报告与回归门禁

报告至少包含：场景清单、样本量、模型版本、关键物理量分布、误差统计、失败案例截图或轨迹图、人工复核结论和与上一版本的对比。对于生产流程，可将关键场景指标接入回归门禁：当自由落体加速度误差、单摆周期误差或碰撞恢复系数异常超过阈值时，阻断模型发布或要求人工审批。

步骤8：结果验证

验证分三层：第一，管线验证，确认视频可解码、轨迹覆盖率足够、标定比例正确；第二，物理验证，确认拟合残差不过大、重复实验方差可控；第三，业务验证，确认评测结论能解释下游任务风险。若拟合残差很大，优先检查跟踪和标定，而不是直接判定模型物理错误。

五、常见问题与排查

1. 轨迹抖动明显：可能是检测框不稳定、运动模糊或压缩伪影。可增加高对比标记、提高生成分辨率或改进跟踪平滑策略。
2. 尺度标定错误：表现为加速度整体偏大或偏小。应使用已知尺寸参照物重新标定像素与实际长度比例。
3. 时间基准异常：帧率不稳或时间戳不连续会导致速度异常。应检查视频是否经过变速、插帧或重复帧处理。
4. 场景太复杂导致遮挡：先简化背景和运动路径，保证目标全程可见，再逐步增加复杂度。
5. 视觉语言模型评分与物理指标冲突：以物理测量为主，视觉语言模型只做初筛和异常提示。
6. 模型随机性大：增加随机种子和样本量，报告中给出分布和置信区间，避免用单条最佳样本下结论。

六、优化建议

建议从性能、稳定性和可维护性三方面优化评测体系。性能上，先小样本快速筛选，再对大样本精测，控制生成和计算成本；稳定性上，固定场景、标定流程和阈值版本，使用多随机种子和置信区间；可维护性上，将场景配置、指标计算和报告模板模块化，保存原始数据与中间结果，便于复查。安全与合规方面，避免使用敏感视频数据，评测日志中不要记录不必要的个人信息。

七、总结

本教程给出的核心方法是：不要只用“像不像”评价视频生成模型，而要用可测量物理量建立评测闭环。关键步骤包括定义验收标准、设计受控场景、批量生成并记录元数据、提取轨迹、计算物理误差、建立基线、人工抽检、生成报告和设置回归门禁。对于需要将视频生成模型作为“世界模拟器”使用的下游任务，这套流程可以帮助团队更早发现“画面真实但物理失真”的风险，并为模型选型、迭代和上线决策提供可验证依据。