AI能看懂视频里的物理吗？让大模型现形的测评

一、问题的起点：谁来给“物理合理性”打分

近两年，视频生成模型进入爆发期，主流产品不断刷新生成时长与画面质量，“以假乱真”的演示随处可见。但当演示结束、真正进入内容生产或行业应用时，一个更根本的问题浮出水面：生成的视频究竟符不符合物理规律？

这并非吹毛求疵。一段视频里杯子悬空不落、液体倒出后凭空消失、人物手臂反向弯折，任何一条都会瞬间摧毁真实感。更严重的是，在仿真、具身智能训练数据、数字孪生等场景中，违反物理的数据会直接污染下游任务。

判定手段上，人工逐帧审查显然不现实——一条几秒的视频就有上百帧，规模化评测的样本量动辄上千条，人审的成本与一致性都无法接受。于是行业普遍转向“以模型评模型”：请视觉语言模型（Vision-Language Model，VLM，即既能理解图像/视频、又能处理文本的多模态大模型）充当裁判，对生成视频打分、挑毛病。

这就引出一个被长期回避的质疑：如果裁判自己都看不懂物理，它打的分还有意义吗？

二、“色盲评委”困境：VLM的能力边界

一个恰当的类比是：请色盲人士担任美术比赛评委。他或许能头头是道地点评构图、线条与明暗关系，但让他判断“这幅画的色彩搭配是否协调”，就是强人所难。

VLM的处境与此类似。在语言理解与表层视觉识别上，这类模型确实表现强悍：认物体、读文字、描述场景、判断美学风格，都不在话下。但物理理解是另一回事——“水往低处流”“重物松手后会下落”“玻璃杯摔在地上会碎而塑料杯不会”，这些规律要求模型不仅看到画面内容，还要对下一帧、对尚未发生的因果链做出符合力学的推断。

关键在于：此前没有人系统性地测过VLM到底懂不懂这些。整个“模型评模型”的评价体系，实际上建立在一个未经验证的假设之上——“多模态大模型理解物理”。一旦这个假设不成立，所有依赖它产出的评分都会系统性失真：违反物理的生成结果被堂而皇之地判为合格，而真正的问题被淹没在漂亮的分数里。

三、现有评测体系的三个缺口

研究者复盘后发现，已有的物理测评方式普遍存在结构性残缺，至少体现在三方面：

其一，只测感知、不测推理。 部分基准聚焦“感知”层面——AI能否识别画面里有什么物体、物体之间是什么空间关系。但识别出“一个球”，和知道“这个球会因重力下落、撞墙后反弹角度受入射角约束”，是两回事。感知是理解的必要条件，绝非充分条件。

其二，语言先验漏洞。 许多测试题把物理情境翻译成了文字描述，模型完全可以靠训练语料里“背”下来的常识答题，根本不需要看视频。这测出的是记忆检索能力，不是视觉物理理解。

其三，维度割裂。 静态识别与动态预测、因果推断与反事实推理往往被拆散在不同的测试里，拼不出一张完整的“物理认知画像”，也就定位不了模型究竟在哪一层失守。

四、一套系统化的物理理解测评方案

要回答“AI能不能看懂视频里的物理”，需要一个把感知、预测、因果三层贯通的测评框架。以下是一套可直接落地的设计思路。

4.1 测评维度：给物理规律分层

• 第一层：静态物理感知。 识别材质（玻璃/塑料/布料）、推断重量与密度线索、判断遮挡与支撑关系——物体是“稳稳放在桌上”还是“悬空贴在桌沿”。
• 第二层：动态物理预测。 给定视频前段，判断后段走向：松手的物体会下落还是上浮？两车相撞后会各自弹开还是“穿模”？液体倾斜倒出后会沿什么路径流动？
• 第三层：因果与反事实推理。 追问“为什么”与“如果”：杯子碎掉的直接原因是什么？如果地面换成海绵，结果会怎么变？这一层最能区分“背常识”与“真理解”——反事实问题在纯语言语料中出现频率极低，模型很难靠记忆蒙混过关。

4.2 出题三原则

1. 视觉信息充分、语言提示最小化。 题干只做中性提问（“接下来最可能发生什么？”），不给任何物理线索，强迫模型从画面中提取依据。
2. 干扰项视觉等价。 错误选项与正确选项在语言风格、长度、具体程度上保持一致，防止模型靠选项的“措辞特征”而非物理正确性来作答。
3. 同题多皮肤。 同一物理规律用不同视觉外壳反复测试（换场景、换物体、换光照），观察正确率是否稳定——若换皮后骤降，说明模型学到的是表层模式匹配而非规律本身。

4.3 题目结构示例

用结构化格式描述一条测试用例，便于批量管理与自动化执行：

{
  "case_id": "dyn-gravity-017",
  "dimension": "dynamic_prediction",
  "physics_law": "free_fall",
  "video": "assets/clips/017.mp4",
  "question": "松手后，下一秒最可能发生什么？",
  "options": [
    "球体加速下落",
    "球体匀速缓慢飘起",
    "球体原地悬停不动"
  ],
  "answer": 0,
  "meta": { "object": "铁球", "scene": "室内桌面", "skin": "v3" }
}

五、工程落地：自动化评测流水线

方案设计再精巧，跑不起来就没有价值。一条可复用的流水线大致如下：

视频样本库（对象存储）
        │
        ▼
任务编排：批量抽帧 + 题目注入 ──► 被测VLM批量推理（容器平台弹性伸缩）
        │
        ▼
评分聚合：总准确率 / 分维度正确率 / 换皮肤一致率
        │
        ▼
失败样本回流 ──► 人工抽检校准 ──► 修正题目或补充数据

对应的调度伪代码：

for batch in dataset.iter_batches(size=64):
    prompts = [build_prompt(c) for c in batch]
    outputs = vlm_service.batch_generate(prompts)   # 批量推理
    for case, out in zip(batch, outputs):
        pred = parse_choice(out, case.options)
        metrics.update(case.dimension, case.physics_law,
                       correct=(pred == case.answer))
metrics.report(by=["dimension", "physics_law", "skin"])

几个工程要点值得强调：

• 存储与算力分离。 视频样本体积大，适合放在对象存储，推理节点按需拉取；评测任务本身是典型的离线批处理，用容器平台做弹性伸缩可显著压低单位评测成本。团队若已在使用百度智能云这类云平台，直接复用其对象存储、容器与批量计算类的通用服务即可，不必自建基础设施。
• 结果可复现。 固定随机种子、记录被测模型的版本号与解码参数，保证同一批样本在版本迭代之间可以做回归对比。
• 人审闭环。 对低置信度或跨模型分歧大的样本抽样送人工复核，持续校准自动评分的系统性偏差。

六、典型失效模式：模型是怎么“露馅”的

按这套框架跑下来，多模态大模型暴露的短板呈现出几种清晰模式：

1. 语言先验主导。 同一批题目换成纯文字描述后正确率反而更高——说明模型答对靠的是“背过的常识”，而非看懂画面。
2. 单帧捷径。 面对时序问题，模型倾向抓取某个关键帧做静态判断，忽略运动趋势，对速度、加速度、碰撞后行为的判断频频出错。
3. 换皮即失效。 同一条重力规律，从“铁球落地”换成“纸张飘落”，正确率明显波动，暴露出模型缺乏对“重力作用下的下落”的统一内部表征。
4. 错得很自信。 模型在错误答案上常给出高置信度，且极少主动表达不确定。这意味着它担任“评委”时，会理直气壮地把违反物理的生成结果判为合格——这才是最危险的地方。

七、给实践者的四条建议

其一，评委要“组合上岗”。 单一VLM当裁判风险过高，建议多模型交叉打分，分歧样本转人工；并把“物理合理性”从综合分中拆为独立维度，避免被美学分数稀释。

其二，区分可自动化与必须人审的维度。 美学、清晰度等表层维度可以放心交给模型；物理因果、时序一致性等深层维度，在评委通过物理认知体检之前，保留人工抽检通道。

其三，把评委考核前置。 在搭建“模型评模型”体系之前，先用前文的框架给评委本身做一次体检——先证明裁判不“色盲”，再让它评“色彩”。

其四，把评测资产沉淀为数据资产。 失败案例、换皮样本、反事实问题都是高质量的微调与对齐素材，可直接回流到训练管线，形成“评测—定位—改进—回归”的闭环。

八、结语

“AI能不能看懂视频里的物理”，表面是一个学术问题，实际是整个视频生成与多模态评测体系的地基问题。当行业习惯于让大模型给大模型打分时，很少有人追问裁判本身的资质。系统化的物理认知测评给出的答案是谨慎的：现阶段的VLM在语言与表层识别上足够强大，但在动态预测、因果与反事实推理上仍有明显缺口，且常常“错得很自信”。

对开发者而言，务实的选择不是抛弃自动评测——人审成本决定了这条路走不远——而是认清自动评测的能力边界，用分层维度、多评委交叉与人工抽检把它约束在可靠区间内。先把裁判考明白，再让裁判上场，这可能是当下最理性、也最可行的路径。