一、为什么“识别物体”不等于“理解世界”

过去十年，视觉模型的核心任务集中在分类、检测、分割与生成。评估方式也相对直接：给一张图片，让模型判断“这是什么”“目标在哪里”“属于哪一类”。这类指标能够反映模型的感知能力，却无法回答一个更基础的问题：模型是否理解画面中正在发生的物理过程。

设想两个场景：

• 场景 A：图片中有一个球，模型输出“球”。
• 场景 B：视频中一个球从桌面滚落，模型需要回答“落地大约需要多久”“落地瞬间速度是多少”。

场景 A 只需要模式匹配，场景 B 则要求模型从连续帧中提取运动状态，并依据物理规律进行推演。二者之间的差距，正是当前视觉系统从“看得见”走向“看得懂”的关键瓶颈。

传统评测更像选择题：模型只要在若干选项中挑出最可能的答案即可。但选择题存在一个天然缺陷——模型可以依靠训练数据中的统计先验作答，而不必真正分析输入内容。一个模型可能在“球会越掉越快”这类常识题上表现优异，却无法从一段具体视频中估算出实际的加速度。

二、物理评测的核心设计原则

要让评测真正反映物理理解能力，需要在任务设计上遵循几条原则。

2.1 答案必须依赖输入内容

如果问题的答案可以从常识中直接得到，那么评测就无法区分“分析”与“记忆”。例如问“球从高处落下是加速还是匀速”，这几乎是常识题。更有区分度的问法是：

• 给定这段视频，球在最后 0.5 秒内的平均速度是多少？
• 给定这段视频，小车在 2 秒到 4 秒之间的加速度方向如何？

这类问题的答案与具体视频强绑定，模型无法仅凭训练记忆作答。

2.2 任务需要多帧时序推理

物理量如速度、加速度、动量、碰撞前后的状态变化，本质上都是时序概念。单帧图像无法提供足够信息。因此评测应以视频或连续帧序列为输入，要求模型在时间维度上建立状态表示。

2.3 评估指标应可分解

一个好的物理评测不应只有一个总分，而应能拆解为多个维度：

• 状态提取：能否正确识别目标位置、姿态与运动方向
• 物理量估计：速度、加速度、时间等数值是否合理
• 规律应用：能否判断守恒关系、因果关系与边界条件
• 反事实推理：如果改变某个条件，结果会如何变化

这种分解有助于定位模型究竟卡在哪一层。

三、一个可落地的评测框架

下面给出一个简化但完整的评测框架，用于说明如何把物理理解拆成可执行任务。

3.1 数据组织

假设我们有一批带标注的视频片段，每个片段包含：

• 视频帧序列
• 目标轨迹标注（位置随时间变化）
• 物理量标注（速度、加速度、碰撞时间等）
• 问题与标准答案

可以用如下结构表示：

sample = {
    "video_frames": [...],          # 帧序列
    "trajectory": [...],            # 目标中心点坐标序列
    "physics_labels": {
        "velocity": [...],          # 每帧速度
        "acceleration": [...],      # 每帧加速度
        "collision_time": 1.23      # 碰撞发生时间
    },
    "question": "小球在最后 0.5 秒的平均速度是多少？",
    "answer": 2.4
}

3.2 评测流程

一个典型的评测流程可以分为四步：

1. 模型读取视频帧，输出对目标状态的内部表示
2. 模型根据问题提取相关时间段的状态变化
3. 模型依据物理关系进行计算或推断
4. 将输出与标注答案进行比对

用伪代码表示：

def evaluate_physics(model, dataset):
    results = []
    for sample in dataset:
        frames = sample["video_frames"]
        question = sample["question"]
        pred = model.answer(frames, question)
        gt = sample["answer"]
        results.append(compare(pred, gt))
    return aggregate(results)

3.3 关键指标

• 数值误差：预测物理量与真实值的相对误差
• 方向准确率：速度、加速度方向判断是否正确
• 时序一致性：预测轨迹是否在时间上连续且合理
• 反事实正确率：在条件改变后，模型输出是否符合物理规律

这些指标共同构成对物理理解能力的多维刻画。

四、常见误区与工程建议

在实际构建评测系统时，有几个容易被忽视的问题。

4.1 把评测做成“常识问答”

如果问题设计得过于依赖常识，模型即使不分析视频也能答对。建议在问题中强制引入视频特有的参数，例如具体时间区间、具体位置、具体速度值。

4.2 忽略标注噪声

物理量标注本身可能存在误差，尤其是从视频中估计轨迹时。如果标注误差与模型误差同一量级，评测结果就不可靠。建议对标注进行平滑与校准，并明确误差范围。

4.3 只关注最终答案

只比对最终数值，会掩盖模型在中间步骤上的问题。更合理的做法是同时评估中间状态，例如轨迹提取是否准确、速度估计是否合理。

4.4 缺乏反事实测试

真正理解物理规律的系统，应当能够回答“如果改变某个条件会怎样”。例如：

• 如果球的初始速度加倍，落地时间会如何变化？
• 如果地面摩擦系数增大，滑行距离会如何变化？

这类问题能有效区分“记忆模式”与“物理推理”。

五、从评测到能力建设

评测的最终目的不是打分，而是指导能力建设。如果评测发现模型在时序推理上薄弱，可以从以下方向改进：

• 引入显式的状态表示，而不是仅依赖全局池化特征
• 在训练中加入物理约束，例如速度与位移的关系
• 使用多帧对比学习，让模型关注时间上的变化
• 引入可微的物理模拟模块，使预测结果符合运动规律

这些方向并不绑定特定平台或工具，而是通用的技术思路。开发者可以基于常见深度学习框架自行实现。

六、结语

视觉模型的发展已经让“识别”变得相对成熟，但“理解”仍然是尚未解决的问题。物理评测提供了一条可操作的路径：通过设计依赖输入、涉及时序、可分解评估的任务，把模型从模式匹配推向规律推理。

对于开发者而言，这意味着在构建视觉系统时，不能只关注分类准确率，还要关注系统是否真正把握了画面中的物理过程。只有当模型能够稳定回答“速度是多少”“加速度方向如何”“接下来会发生什么”这类问题时，它才真正具备了在现实世界中落地的能力。