简介

文本引导的视频目标分割算子：首帧用 YOLOE 按文本类别做开集检测，检测框作为提示交给 SAM2.1 在整段视频里传播，得到逐帧逐目标的分割掩码。掩码以 RLE 形式输出。

功能描述

• 首帧检测：YOLOE.set_classes(class_names, get_text_pe(class_names)) 后 predict(conf=yoloe_conf)，输出框（xyxy 取整）、类别 id、置信度
• 加载 YOLOE 文本提示编码前会临时 chdir 到权重所在目录：ultralytics 按相对路径找 mobileclip_blt.pt
• 整段传播：Sam2VideoProcessor.init_video_session + add_inputs_to_inference_session（首帧、全部框），先显式对首帧推理一次，再走 propagate_in_video_iterator 逐帧取掩码
• 目标 id 以 session.obj_ids 为准（add_inputs_to_inference_session 会消费掉传入的 obj_ids 列表）
• 掩码后处理 binarize=False，算子自己按 binarize_threshold 二值化（logit > 阈值为前景），再压成 RLE：rle_counts 是交替的 0/1 段长、约定从 0 段开始，首段为前景时补一个长度 0 的 0 段；段长之和等于 shape 的元素总数
• 掩码按 RLE 存储而不是把每帧每目标的位图全量入内存，避免长视频 OOM
• 算子内不做网络请求与安装，transformers 版本不足时只在 import 失败时报错要求升级镜像
• 权重全部从本地预置目录加载，不联网下载；SAM2 目录或 YOLOE 权重缺失时 __init__ 直接失败
• max_frames 截断：SAM2 会把帧全部载入内存，超过上限只处理前 N 帧
• 类别列为空时回落 default_class_names；两者都为空该行按错误处理
• 首帧检不到目标时返回空 segment_data，status 为 success: no object detected，cls_id_dict 仍带出 YOLOE 的类别表
• 单行异常只记日志并写 status 为 error: <信息>，不影响同批其它行
• CPU 环境下推理精度强制为 float32（dtype 只在 GPU 生效）

算子参数

输入

输出

输出为一个 struct 列，字段如下：

参数

注意事项

• 掩码是 RLE，不是位图：按 shape reshape 前先把 rle_counts 展开成 0/1 序列（首段是背景段，长度可能为 0）。校验方式是段长之和等于 shape 各维乘积。
• segment_data 的第一项来自对首帧的显式推理，其后各项来自 propagate_in_video_iterator 的产出，frame_index 取的是迭代序号而非 SAM2 返回的帧号。
• transformers 必须 >= 4.56（Sam2VideoModel / Sam2VideoProcessor 自该版本起是正式 API）。算子不会在运行时安装依赖，版本不足只报错。
• YOLOE 的文本提示依赖 mobileclip_blt.pt 与权重同目录，缺失时只打 warning，实际会在 get_text_pe 阶段失败。
• 长视频显存/内存占用由 max_frames 决定，SAM2 的 session 会持有全部帧，调大要同步评估显存。
• 是否用 GPU 由 aihc_udf 的 num_gpus 推导（基类按 num_gpus > 0 置 use_gpu），rank 只用于多卡取模选卡。

调用示例

1from __future__ import annotations
2
3import os
4
5import daft
6from daft import col
7
8from daft.aihc.common.udf import aihc_udf
9from daft.aihc.functions.video.video_object_segment import VideoObjectSegment
10
11os.environ.setdefault("BOS_ENDPOINT", "http://bj.bcebos.com")
12os.environ.setdefault("BOS_REGION", "bj")
13
14if __name__ == "__main__":
15    if os.getenv("DAFT_RUNNER", "native") == "ray":
16        import ray
17        ray.init(dashboard_host="0.0.0.0", ignore_reinit_error=True)
18        daft.set_runner_ray()
19    daft.set_execution_config(actor_udf_ready_timeout=6000, min_cpu_per_task=0)
20
21ds = daft.from_pydict(
22        {
23            "video": ["bos://your-bucket/sample.mp4"],
24            "classes": [["person", "cat", "dog", "car"]],
25        }
26    )
27    ds = ds.with_column(
28        "segment",
29        aihc_udf(
30            VideoObjectSegment,
31            construct_args={
32                "model_path": "/path/to/models",
33                "sam2_model_name": "facebook/sam2.1-hiera-tiny",
34                "yoloe_model_name": "yoloe/yoloe-11l-seg.pt",
35                "yoloe_conf": 0.25,
36                "max_frames": 30,
37            },
38            num_cpus=1,
39            num_gpus=1,
40            concurrency=1,
41            batch_size=1,
42        )(col("video"), col("classes")),
43    )
44    ds = ds.with_column("status", col("segment")["status"])
45    ds = ds.with_column("frame_count", col("segment")["frame_count"])
46    ds.show()