简介:本文对比多模态大模型处理长视频时两种典型采样策略——少帧数配原始分辨率与多帧数配降低分辨率。在token预算相同的约束下,从时间信息密度、空间细节保留、计算开销、任务适配等维度展开分析,并给出场景化选型建议与工程注意事项,帮助技术选型者避免“省了token却赔上时间成本”的隐性代价。
多模态大模型处理视频时,输入并非连续的像素流,而是被离散化为token序列。一段几分钟的视频如果逐帧高分辨率送入模型,token数量会迅速超出上下文窗口,推理成本也随之飙升。因此工程实践中普遍采用“采样”策略:只取部分帧、控制每帧分辨率,把视频压缩成模型可承受的输入规模。
但采样带来一个两难问题:在token总预算固定的前提下,帧数与分辨率此消彼长。研究者在一类主流开源视觉语言模型上做了对比实验——在token预算完全相同的条件下,比较两种采样方式:
结论颇具反直觉色彩:方案B虽然保住了时间维度的信息密度,却往往在时间理解类任务上付出额外代价。换言之,你以为省下的是token,实际上可能正在“烧时间”——推理变慢、细节丢失、任务表现下滑。
方案A(少帧、高分辨率)的核心假设是:空间细节决定理解质量。当任务依赖画面中的文字、人脸、小物体、UI元素时,单帧的清晰度至关重要。它牺牲时间覆盖面,换取每一帧的信息完整性。
方案B(多帧、低分辨率)的核心假设是:时间连续性决定理解质量。当任务依赖动作序列、事件时序、节奏变化时,帧数越多,时间信息越完整。它牺牲单帧清晰度,换取时间轴上的高密度采样。
两种策略本质上是同一约束下的不同分配方式,共性包括:
方案A保留了完整的空间细节:画面中的文字(字幕、路牌、代码截图)、细小物体、精确的颜色与纹理都能被编码器有效捕捉。方案B则把空间信息压缩到极限,小字模糊、细粒度特征消失。
反过来,方案A的16帧可能只覆盖视频前几秒,事件的关键转折点大概率被跳过;方案B的256帧则能均匀覆盖全程,时序结构更完整。
这是原文标题强调的“隐藏账单”。视觉token数量虽然被预算锁定,但影响推理耗时的因素不止token数:
示意性的成本构成可以这样理解:
视频理解总耗时 ≈ 抽帧/预处理耗时+ 视觉编码耗时(与帧数强相关)+ LLM prefill耗时(与总token数相关)+ LLM解码耗时
方案B在第二项上的开销往往被低估。
方案A的退化是“离散跳变”——时间轴上出现大片盲区,模型只能基于稀疏采样做推断。方案B的退化是“全局模糊”——每一帧都不够清晰,模型看到的是256张“看不清的画面”。两种退化对下游任务的影响机制完全不同,不能简单用帧数或分辨率单一指标衡量。
| 维度 | 方案A:少帧+高分辨率 | 方案B:多帧+低分辨率 |
|---|---|---|
| token预算 | 相同 | 相同 |
| 空间细节 | 完整保留 | 显著退化 |
| 时间覆盖 | 稀疏,易漏关键事件 | 密集,时序完整 |
| 视觉编码开销 | 低 | 高(与帧数正相关) |
| 端到端延迟 | 较低 | 明显上升 |
| 画面文字/小目标 | 可有效读取 | 基本丢失 |
| 动作/时序任务 | 受盲区限制 | 受空间退化拖累 |
| 工程复杂度 | 低 | 抽帧与批处理更重 |
| 适用前提 | 内容静态、关键信息集中 | 内容动态且单帧信息冗余 |
少帧高分辨率与多帧低分辨率,是长视频理解在token预算约束下的两条分配路线:前者押注空间细节,后者押注时间密度。实验证据表明,帧数翻倍并不等于时间理解能力翻倍——低分辨率造成的空间退化,加上随帧数增长的编码与推理耗时,构成了一笔容易被忽视的“时间账单”。理性的做法是:明确任务对空间与时间信息的真实依赖,端到端度量成本,必要时采用粗筛加精读的分层采样,让每一分token预算都花在刀刃上。