超长视频时间定位：如何让AI在小时级画面中精准捕捉秒级瞬间

一、问题不是“看懂”，而是“看不过来”

时间定位任务的定义很直接：给定一句自然语言描述，让模型在视频中找出对应片段的起止时间。例如输入“两只黑翅长脚鹬站在浅浅的绿色水波里”，输出应接近“152秒至158秒”。

这个任务在短视频场景下已经有不少可行方案。短视频通常只有几十秒到几分钟，模型可以把视频均匀采样成大量帧，逐帧进行视觉语言对齐。此时无论目标事件持续多久，都被充分覆盖，定位误差主要来自语义理解偏差，而不是观测盲区。

但把视频长度从几分钟扩展到一小时甚至九小时，问题性质就变了。目标事件可能只占整个时间轴的千分之一。比如平均长度76分钟的视频里，目标片段往往只有十几秒。若继续沿用“全程精读”，计算量将远超模型上下文与推理预算；若改用“稀疏采样快速扫描”，那些只持续几秒的瞬间很可能落在采样间隔之间，根本不会被模型看到。

论文中给出的数据很直观：用768帧均匀覆盖全程，平均交并比只有0.0392，命中率仅0.0233。也就是说，一百次查询里，直接均匀采样大概只能命中两三次。并非模型无法理解视频内容，而是它被“逼着用很低的观测密度去猜一个很小的目标”。

二、度量指标不能只看“对不对”

要理解时间定位的难点，必须回到指标口径。常用指标有两个：平均交并比与命中率。

假设真实片段是100秒到120秒，模型预测105秒到115秒。交集为10秒，并集为20秒，交并比是0.5。平均交并比即对所有查询取平均。这个指标同时惩罚“漏掉”和“多报”，适合衡量定位边界的整体质量。

命中率则以阈值为界，只关心预测是否“足够接近”。当阈值为0.5时，只要交并比不低于0.5就算命中，否则算未命中。

长视频场景下，两个指标会同时崩坏。原因一方面来自观测不到：目标片段被采样跳过；另一方面来自边界模糊：模型看到了大概区域，但无法精确压住起止时间。均匀采样方案的平均交并比低于0.04，说明多数预测与真实片段几乎不重合，不是“差一点”，而是“基本没看见”。

三、多轮搜索：方向正确，但工具僵化

业内早有研究尝试用“粗定位—细确认”的多轮搜索框架解决长视频定位问题。思路类似侦探破案：先快速翻阅卷宗找到可疑范围，再对可疑区域做精细核查。

这种思路本身合理。真正的问题不在流程，而在“观察工具”被提前固定。搜索过程中，模型每一轮能看到什么，取决于采样器如何切割视频。如果采样器始终是均匀切分，模型只是在“看更多帧”与“看更少帧”之间切换；如果采样器只做固定倍率的缩放，模型也无法根据线索调整观察粒度。

打个比方：警察给你一台相机去调查案件，但这台相机被固定对焦在五米外，无论你怀疑目标在远处还是近处，都只能拍同一种画面。此时限制侦查效率的，不是你的推理能力，而是相机本身。

长视频时间定位同样如此。工具的设计，决定了模型能获得什么证据。如果工具层不提供“可变观察方式”，多轮搜索本质上只是重复执行同一种观察，只是轮次变多而已。

四、证据驱动的动态观察

更合理的做法是让观察工具根据当前证据动态改变。模型在第一轮可能只获得全局稀疏线索，判断目标大致在视频后半段；下一轮就应允许模型在“后半段”这个局部窗口内提高采样密度；再下一轮，根据更细的线索继续缩小窗口并加密集采样。

这可以抽象为三个层次：

1. 搜索空间：当前轮次允许查看的时间范围；
2. 采样密度：在该范围内取多少帧；
3. 帧间分布：均匀分布，还是依据某些线索非均匀加密。

一个有效的系统需要让模型在每一轮根据已有线索更新这三者。比如模型发现关键物体在某一小段内出现频率较高，就应把下一轮搜索空间收敛到该段，同时把采样密度拉高。观察工具本身变成“可编程”的，而不是固定接口。

这种思路可以类比人类寻找录像中的镜头：先看目录与时间轴，找到几个候选区段；再对候选区段逐段快进；最后对最可能的几个点做逐帧确认。每一轮观察方式都不同，并且由上一轮获得的信息决定。

五、实现层面的关键约束

工程实现时，需要重点处理几个约束。

第一是上下文长度。大模型每一轮能接收的帧数有限。即使允许动态观察，也不能在单轮无限制堆帧。通常做法是控制每轮输入帧数上限，用“搜索轮次”换取“单轮观测规模”。

第二是证据保留。模型当前轮看到的内容，需要以某种压缩形式留存，避免下一轮完全失忆。可以将每轮检索到的候选片段、视觉特征摘要与时间戳组成结构化记录，作为后续推理的上下文。

第三是停止条件。判断何时可以给出最终定位。常见做法是设定最大轮次，或在候选片段变得足够短、置信度足够高时提前终止。

第四是评估一致性。不同轮次看到的分辨率、帧率、中心帧都可能不同，评估时必须统一到原始时间轴坐标，否则会出现系统性偏差。

示意性伪代码如下：

search_space = [(0, video_duration)]
for round_idx in range(max_rounds):
    evidence = observe(video, search_space, density_schedule)
    candidates = propose(instruction, evidence)
    search_space = refine(candidates, evidence)
    if stop_condition(search_space, candidates):
        break
return best_candidate

这段逻辑不依赖具体模型，强调的是“观察—提出—收敛”的循环结构。关键在于观察器每次接收的搜索空间与密度由上一轮结果决定，而不是固定配置。

六、从“准确率”到“单位预算收益”

做超长视频定位时，衡量方案优劣不只看最终准确率，还要看计算预算。均匀采样768帧的方案用了固定预算，却几乎没有命中能力；多轮搜索通过动态分配预算，让更多帧落在高价值时间区间。评价思路应从“固定预算下的最高分”转变为“单位预算下的收益曲线”。

例如，预算为500帧时，均匀方案可能只有3%命中率；多轮方案用同样500帧，却可能达到40%以上命中。这种对比才反映方法在真实系统中的价值——因为真实场景里，GPU成本、响应延迟与并发请求数都是硬约束。

七、局限与进一步方向

当前动态观察思路仍面临几类困难。事件语义抽象时，例如“一个人犹豫了一下”这种描述，很难映射为稳定的视觉特征，模型在第一轮的粗扫中可能无法形成有效线索。目标事件极短时，比如两秒内的动作，即使第二、三轮提高了采样密度，若搜索空间没有足够快收敛，仍然可能被跳过。多目标查询、跨场景查询以及画面中同时存在干扰事件时，证据建模也会变得更加复杂。

进一步工作可以围绕线索质量评估展开：不是每一条中间证据都值得继续追踪，模型需要判断“哪些候选值得投入更多预算”。此外，在粗定位阶段引入音视频双模态线索、字幕信息与场景切分先验，也有助于在同样帧数预算内提升召回能力。最终目标始终一致：让“看”的每一帧都尽可能靠近答案，而不是让模型盲目地看完整个视频。