简介

视频描述生成算子（整段视频路线）：抽帧后把整段帧序列（tchw 转成 bcthw）一次性喂给 Video-BLIP，生成 caption_num 条候选，再按 keep_candidate_mode 归约。生成参数默认为 num_beams=4、temperature=0.7、top_p=0.9、repetition_penalty=1.5、do_sample=True。

功能描述

• 模型侧在 video/_video_blip.py 里定义两个子类：VideoBlipVisionModel 把 (b, c, t, h, w) 摊成 (b*t, c, h, w) 过视觉塔再还原时间维；VideoBlipForConditionalGeneration 跳过 Blip2ForConditionalGeneration.__init__、直接调祖父类，才能把 vision_model 换成支持时间维的版本
• 加载后固定设置 processor.num_query_tokens=32 与 model.config.image_token_index=50265；早期 checkpoint 的 processor 配置里没有 num_query_tokens，而 transformers>=4.47 的 Blip2Processor.__call__ 会拿它去减 max_length，为 None 时直接抛 TypeError，算子初始化时会用 model.config.num_query_tokens 补齐
• 抽帧语义：all_keyframes 只解 I 帧；uniform 在 frame_num=1 时取中间帧、=2 时取首尾帧、>2 时含首尾均匀取；抽帧只用 PyAV，不走依赖 torchcodec 的解码路径
• max_frames 上限（默认 8）：Video-BLIP 一次吃整段帧序列，显存随帧数线性上涨，必须兜底；超限时按 uniform 语义抽稀
• caption_num 条候选是重复调 generate 得到的（do_sample=True 固定开启），每条候选把 batch_decode 出的文本用 ". " 拼接
• keep_candidate_mode 三种取值：random_any 随机留 1 条、similar_one_simhash 留与参考文本 simhash 汉明距离最近的 1 条、all 全部保留；参考文本作为可选第二列 reference_text 传入，缺失时退化为 random_any
• simhash 用自带的 64 位实现（window_size=2 的 shingle + 汉明距离），不引入 simhash-pybind；候选之间差异明显时选中结果稳定，极端相近的候选汉明距离容易并列，选中哪一条不保证唯一
• 行数恒定：不做样本增删与占位符回填
• 输入为 None、抽不到帧、或该行生成异常时返回空列表，异常只记日志不打断整列
• 权重只从 model_path/model_name 本地目录加载，初始化时校验目录存在，不联网下载、不做运行时 pip 安装

算子参数

输入

输出

参数

注意事项

• do_sample 在本算子里固定为 True，没有开关；因此同一视频多次运行的 caption 不完全可复现。
• 帧数直接决定显存：整段帧序列一次进视觉塔，max_frames 调大前先确认显存。
• 默认权重名里的 ego4d 指其在 Ego4D 第一人称视频上微调，素材域与之差距大时描述质量会下降，换权重需自行评估。
• 与「视频描述生成（抽帧）」的差别：本算子把帧序列作为一个整体输入，能利用帧间信息；后者逐帧生成再用 ". " 拼接。

调用示例

1from __future__ import annotations
2
3import os
4
5import daft
6from daft import col
7
8from daft.aihc.common.udf import aihc_udf
9from daft.aihc.functions.video.video_captioning_from_video import VideoCaptioningFromVideo
10
11os.environ.setdefault("BOS_ENDPOINT", "http://bj.bcebos.com")
12os.environ.setdefault("BOS_REGION", "bj")
13
14if __name__ == "__main__":
15    if os.getenv("DAFT_RUNNER", "native") == "ray":
16        import ray
17        ray.init(dashboard_host="0.0.0.0", ignore_reinit_error=True)
18        daft.set_runner_ray()
19    daft.set_execution_config(actor_udf_ready_timeout=6000, min_cpu_per_task=0)
20
21ds = daft.from_pydict({"video": ["bos://your-bucket/sample.mp4"]})
22    ds = ds.with_column(
23        "captions",
24        aihc_udf(
25            VideoCaptioningFromVideo,
26            construct_args={
27                "video_src_type": "video_url",
28                "model_path": "/path/to/models",
29                "model_name": "kpyu/video-blip-opt-2.7b-ego4d",
30                "dtype": "float16",
31                "frame_sampling_method": "uniform",
32                "frame_num": 4,
33                "caption_num": 1,
34                "max_new_tokens": 32,
35            },
36            num_cpus=1,
37            num_gpus=1,
38            concurrency=1,
39            batch_size=1,
40        )(col("video")),
41    )
42    ds.show()