超长视频时间定位：让AI学会“省着看

你有没有试过在一部两小时的电影里找某个一闪而过的镜头？朋友只给了一句模糊提示——“主角摸了下口袋的动作，大概在后半段”，你只能拖着进度条一寸寸扫过去。对人来说这已经够折磨了，对AI而言难度还要再上几个数量级：视频动辄一小时起步，有的甚至长达九小时，而目标事件可能只占整条时间轴的千分之一。

近期一项研究工作系统性地讨论了这个问题——超长视频的时间定位，并给出了一个看似朴素却切中要害的答案：让AI“省着点看”。省着看不是看得更快、更糙，而是重新设计AI“看”的方式。本文沿着这项工作的思路，把问题、方法与工程实践完整拆开来讲。

一、任务定义：一句话，换一段秒级区间

时间定位这个术语听起来学术，定义却非常朴素：给定一段视频和一句自然语言描述，模型需要输出该描述对应事件在视频中的起止时间。例如输入“两只黑翅长脚鹬站在浅浅的绿色水波里”，模型应回答“152秒到158秒”。

它与常见的视频问答不同：输出不是一段文字解释，而是精确的时间区间，本质上是“理解+检索+定位”三合一的任务。评测通常采用两个指标：

• 平均交并比（mIoU）：预测区间与真实区间的重叠程度，取值0到1，1为完全重合；
• 命中率（Recall@0.5）：预测区间与真实区间的交并比超过0.5才记为答对，统计整体答对比例。

阈值定得这么“严”是合理的：实际应用中用户要的是能直接跳转的时间戳，误差一旦超过事件长度的一半，定位结果基本不可用。

二、为什么“长”是本质性障碍：先算一笔账

当视频只有几分钟，视觉语言模型（VLM，即能同时理解图像/视频与文本、进行跨模态推理的通用大模型）可以把全片逐帧精读一遍。但视频长度上一个数量级后，两条路都走不通。

路一：全程精读。 一小时视频按常见帧率折算有十几万帧，即便经过视觉编码压缩，token规模也远超当前模型的上下文窗口，计算成本随时长线性爆炸，工程上不可行。

路二：均匀稀疏采样。 这是“硬看”方案的默认选择，而数字很能说明问题。该研究采用的超长视频评测集中，视频平均长度约76分钟，不少目标事件只有十几秒。用768帧均匀采样去覆盖全程，相当于平均每5到6秒才“看一眼”，摊到一个十几秒的事件上，最多被瞥到两三帧，甚至一帧都采不到。结果是：mIoU仅0.0392，Recall@0.5仅0.0233——每100次提问只能蒙对2到3次。

这不是模型“笨”，而是观测密度与事件尺度不匹配的必然结果。打个比方：在一本九百页的小说里，凭一句模糊描述找某页的某句话，却只被允许翻看其中几十页——如果这几十页还是均匀随机选的，命中率自然惨不忍睹。

更深一层的问题是：即便采样碰巧覆盖到事件，间隔数秒的孤立“点状”观测也无法支撑边界判定。定位要求知道事件从哪一秒开始、到哪一秒结束，而稀疏采样在点与点之间的信息永远缺失。

由此可以提炼出问题的本质：观测预算有限（帧数、token、计算量），候选空间巨大，解法必须回答“把有限的观看次数花在哪里”。

三、从“多轮搜索”到“工具决定证据”

3.1 既有范式：固定剧本的侦探

此前一类代表性思路是把问题交给智能体：让模型像侦探一样多轮搜索——先粗看定位大致区域，再细看确认。这类方案相比一次性采样已有明显进步，因为引入了“迭代”：每一轮观察结果会影响下一轮决策。

但该研究指出了一个此前被普遍忽略的结构性问题：在这些方案里，AI可用的“观察工具”是提前写死的——切几段、每段看几帧、片段取多长，全部是固定剧本。搜索流程可以迭代，观测手段却不能。

3.2 工具不只是手，还决定了眼睛能看见什么

打个比方：调查一桩案子，如果警方只配给你一台固定倍率的放大镜和一支手电筒，那么无论推理能力多强，你能获取的证据永远被这几件套的物理特性框死——看不清指纹级细节，也照不到天花板。反过来，如果允许你根据案情自己选择、甚至制作工具——查弹道就配望远镜，查文书就配显微镜——同样的推理能力就能撬动完全不同量级的信息。

对应到视频理解，每个工具本质上是一个“观测算子”，它定义了三个关键参数：

• 观测粒度：看的是场景级摘要、片段级描述，还是秒级细节；
• 观测范围：一次覆盖全片、半小时，还是几秒钟；
• 观测成本：消耗多少帧预算、多少token。

固定工具集等于把这三个参数全部锁死。而现实中，目标事件的时长、出现位置、视觉显著性在不同任务间差异巨大——找一个“贯穿全片的氛围”与找一个“两秒钟的转身”，需要截然不同的策略。固定算子必然在某些任务上信息不足，在另一些任务上预算浪费。这就是该研究的核心洞察：工具设计不是工程接口问题，而是决定证据空间的根本问题。

四、“省着看”的技术拆解：预算感知的动态观测

沿着这个洞察，“省着看”可以拆解为四个相互配合的机制。

4.1 分层观测：先看目录，再看章节，最后读句子

合理的预算分配来自分层结构。第一层用极低成本建立全局索引（场景切分+每个场景一两个关键帧的摘要），回答“片中哪些地方可能是答案”；第二层对候选区间提升采样密度，验证或排除假设；第三层只在最终候选的小区间内做密集观测与边界判定。三层是漏斗关系：候选数量递减、观测密度递增，预算始终花在刀刃上。

4.2 动态工具：让模型参与定义“怎么看”

与固定工具集不同，工具本身可以被参数化甚至动态构造：

• 参数化：同一种“片段细看”工具，窗口长度、抽帧密度由模型按当前假设动态指定——查两秒的转身就开小窗口、高密度采样；查一段对话就开大窗口、低密度采样；
• 组合调用：检索型工具（找相似画面）、摘要型工具（段落大意）、定位型工具（区间打分）按需串联；
• 构造新工具：必要时允许模型针对当前任务生成小段处理逻辑（如特定的帧筛选规则），交由执行环境运行。

工具空间一旦“活”起来，模型面对不同查询可以演化出不同的观测策略，而不是重复同一条流水线。

4.3 预算记账：让每次“看”都有成本意识

把帧数、token、调用次数当作显式预算记账，是“省着看”从口号变成机制的关键。每轮观测前，智能体评估：剩余预算还能支持几次细看？各候选区间的置信度有多高？据此决定本轮把预算投给谁、以什么密度投。这本质是一个序贯决策问题，与人类科研中“先做便宜实验、证据足够再上昂贵实验”的逻辑同构。

4.4 证据校验与兜底

再聪明的策略也会跑偏，因此需要两道保险：一是交叉校验，定位结论需至少两路独立观测（如全局摘要线索+局部密集确认）相互印证后才输出；二是兜底回退，当所有候选置信度低于阈值时，回落到更大范围的二次扫描，宁可多花预算，也不能静默失败。

一个示意性的流程骨架如下：

# 伪代码：预算感知的分级时间定位
def temporal_grounding(video, query, frame_budget=256):
    # 1. 低成本全局扫描：场景切分 + 稀疏关键帧摘要
    scenes = scene_detect(video)
    summary = vlm_summarize(sample_keyframes(scenes, k=1), query)
    # 2. 生成候选区间：按与查询的相关性排序
    candidates = rank_by_relevance(summary, query, top_k=5)
    # 3. 预算内动态分配：高置信候选多抽帧，低置信少抽帧
    plan = allocate_budget(candidates, frame_budget)
    # 4. 细粒度验证与边界判定，附交叉校验与兜底
    for seg, density in plan:
        result = vlm_locate(seg, query, density)
        if result.confirmed_by_global_evidence:
            return result.interval
    return fallback_coarse_scan(video, query)

五、如何科学评测这类系统

评价“省着看”是否真的成立，只看单一指标容易失真，建议关注三点：

1. 看严阈值与短事件子集：除Recall@0.5外，同时报告Recall@0.3等更严阈值，并按事件时长分桶统计——短事件才是观测策略真正的试金石；
2. 看精度-成本曲线：同等命中率下消耗的帧数与token量，才是“省着看”的直接证据，只报精度不报成本没有意义；
3. 看分布尾部：评测集的视频时长与事件时长分布要有足够长尾，避免被中等长度样本稀释，掩盖真实短板。

六、工程落地建议

即便不完整复现研究方法，以下实践也适用于任何超长视频检索类系统：

• 数据层：原始视频托管在对象存储，转码与抽帧交给媒体处理流水线，为每个视频预生成场景切分与关键帧索引（含向量索引），把“临时观测”变成“预先准备”；
• 模型层：粗筛用轻量多模态能力打分，精读才调用大参数模型，两级模型分档是成本控制的第一杠杆；
• 策略层：实现预算记账器，为每次模型调用登记帧数与token消耗，接近上限时自动降级（降低采样密度或缩小候选窗口）；
• 评估层：上线前用带时间标注的自建集做回归测试，重点盯短事件子集的命中率变化。

这些通用能力——对象存储、媒体处理、向量检索、大模型服务、监控告警——在主流云平台均有成熟的类目支撑，例如百度智能云即提供上述通用类目能力，开发者可以直接组合搭建原型，把精力集中在观测策略本身。

七、应用场景与展望

时间定位是大量视频应用的底层零件：媒体资产库里“找那个镜头”、会议录像里“找讨论预算的那一段”、监控回溯里“找某人出现的时段”、体育集锦的自动剪辑……它们的共同点都是“给一句话、还一段时间”。

再往远处看，“预算感知的动态观测”并不只属于视频：任何“在超长信息流中定位短暂证据”的任务——超长文档检索、日志排查、代码库溯源——都面临同样的资源分配问题。工具决定证据，预算决定策略，这两条原则很可能成为下一代智能体系统设计的通用范式。当AI必须在一小时的视频里找出十秒钟的瞬间，答案不是看得更多，而是看得更聪明。