LEAP方案：让AI在长视频中自主学习关键帧筛选

问题背景：长视频为何让多模态模型“消化不良”

全模态模型已经能够同时处理文本、图像与音频输入，在短视频问答、图像描述等任务上表现稳定。但一旦输入时长拉长，模型就会遇到一个硬性约束：上下文窗口有限。上下文窗口可以理解为模型单次推理能够容纳并关注的token总量，超出部分无法被有效处理。

以行业常见的规模估算，一小时的视频若按固定帧率抽帧并编码，大约消耗数万个token。当视频长度达到一小时以上，token消耗很容易逼近甚至超过模型窗口上限。此时若仍采用“均匀抽帧＋全量送入”的策略，结果要么是显存溢出，要么是被迫大幅降低采样率，导致关键片段被稀释。

更本质的矛盾在于：视频信息密度极不均匀。一段十分钟的监控录像，真正有事件的可能只有十几秒；一场技术分享，核心结论往往集中在少数几个幻灯片停留的片段。逐帧硬看的做法把计算资源均匀地摊在了大量低信息量的帧上，这是长视频理解成本高、准确率却上不去的根源。

三类传统方案的局限

在自适应选择思路出现之前，业界大致有三条技术路线，各有其代价。

其一，选择性保留。 先用一个轻量筛选器挑出候选片段，丢弃其余内容。问题在于筛选器的判断粒度往往偏粗：它可能基于帧间差异或简单的文本相关性打分，容易把真正关键但视觉变化平缓的片段漏掉。筛选一旦出错，后续模型再强也无法弥补信息缺失。

其二，信息压缩。 把整段视频的视觉与音频特征压缩成更紧凑的表示，再送入模型。压缩必然带来细节损失，音频中的语气转折、画面中一闪而过的动作，这类细粒度线索最容易在压缩过程中被抹平。对于需要精确时序定位的任务，压缩方案的误差会被放大。

其三，按需回查。 模型每收到一个新问题，就回到原始视频重新检索相关片段。这种方式灵活，但每次提问都要重跑耗时的媒体解码与特征提取流程，推理延迟高，难以支撑交互式场景。

三条路线的共同困境是：筛选、压缩、回查的决策都是静态的或外挂的，没有和下游任务目标联合优化。

LEAP的核心思路：把“看哪里”变成可学习策略

LEAP的基本主张是：让模型自己学会在长视频里划重点，而不是由人工规则或固定策略决定采样位置。具体来说，把关键帧选择建模为一个序列决策问题——模型在每一步决定是否采样当前时间片、是否跳过、是否回退，最终在token预算内拼装出一个信息量最大的子集送入理解模块。

这一建模带来两个直接好处。第一，采样策略与下游问答/描述任务联合训练，筛选目标不再是“看起来相关”，而是“对最终答案有用”。第二，预算约束被显式写入决策过程，模型学会在有限token下做取舍，而不是被动截断。

状态与动作设计

一个可落地的设计如下：将视频按固定时间片切分，每个时间片提取轻量特征（如帧级嵌入的均值、音频能量、场景变化分数）。策略网络的状态由当前时间片特征、已选帧的预算占用比例、以及问题文本的嵌入共同构成。动作空间包含三类：采样当前片、跳过当前片、以当前片为中心向前后扩展采样窗口。

# 示意性伪代码：策略网络单步决策
state = concat(frame_feat[t], budget_used_ratio, question_embed)
action_logits = policy_mlp(state)          # 三类动作
action = sample_from(action_logits)         # 训练时采样，推理时取argmax
if action == SAMPLE:
    selected_frames.append(t)
    budget_used_ratio += cost_per_frame
elif action == EXPAND:
    selected_frames.extend(range(t-1, t+2))

关键在于，策略网络本身很轻量，真正的重计算只发生在被选中的帧上。这使得整体推理成本与选中帧数成正比，而非与视频总长成正比。

奖励设计：让“选得准”可度量

强化学习能否奏效，取决于奖励信号是否对齐目标。一种常见做法是以下游任务的答案质量为主奖励：将选中帧送入理解模型生成答案，与参考答案计算匹配度，作为稀疏奖励。为缓解稀疏性，可加入两项辅助奖励：一是预算惩罚，鼓励在达到同等效果时使用更少token；二是覆盖度奖励，惩罚选帧在时间轴上过度集中，避免模型只盯着某一段。

需要强调的是，奖励中的匹配度计算应使用通用的文本相似度或任务准确率指标，不依赖特定产品的私有接口。工程实现上，可先在小规模数据上做监督预训练（用人工标注的关键帧作为动作标签），再用强化学习微调，降低冷启动难度。

与逐帧方案的对比：成本与精度的重新平衡

从计算量看，逐帧方案的成本随视频长度线性增长；LEAP类方案的成本由策略网络的开销加上选中帧的处理开销构成，前者与视频长度线性相关但系数极小，后者由预算上限封顶。因此在长视频场景下，总成本的增长曲线明显更平缓。

从精度看，逐帧方案并非总是更优：当窗口装不下全部帧时，均匀降采样会丢失时序细节，而自适应选择可以把有限的token集中在高信息密度区域。真正的风险在于策略学偏——如果奖励设计不当，模型可能学会“偷懒”，只选容易判断的片段。这需要通过覆盖度约束和充分的监督信号来对冲。

工程落地时有几个实践要点值得注意。第一，时间片粒度不宜过细，否则动作序列过长、训练不稳定；也不宜过粗，否则定位精度不足，通常可先在数秒级粒度上做实验。第二，策略网络与理解模型可以解耦训练，先固定理解模型训练策略，再联合微调，降低显存压力。第三，推理阶段应缓存已提取的轻量特征，避免重复解码原始媒体流。

# 示意性伪代码：预算约束下的推理循环
selected, used = [], 0
for t in range(num_segments):
    if used >= token_budget:
        break
    a = policy.act(feats[t], used / token_budget, q_emb)
    if a == SAMPLE and used + cost <= token_budget:
        selected.append(t); used += cost
answer = omni_model.generate(frames=selected, question=q)

适用边界与后续演进

需要客观指出，学习式关键帧选择并非万能。对于需要全局统计的任务（如“整段视频里出现了几次某物体”），任何子集采样都存在漏计风险，此时仍需与轻量全量特征聚合结合。对于极短视频，自适应策略的额外开销可能得不偿失，直接全量输入更简单。

从演进方向看，这条路线可以与层次化记忆结合：粗粒度策略决定“看哪段”，细粒度模块在段内做帧级定位；也可以与流式推理结合，在视频到达的同时在线决策，支撑实时场景。对开发者而言，值得优先验证的是奖励信号与业务指标的对齐程度——这往往比策略网络结构更决定最终效果。