简介

VGGT 三维重建算子：对输入视频抽帧后一次性送入 VGGT-1B 前向，输出相机内外参、深度图与点云图。VGGT 权重与 vggt 源码必须离线预置，算子内不下载权重也不安装依赖。

功能描述

• 抽帧走 VideoFrameSampler 在内存里完成、不落盘：5 种抽帧模式与时间窗口参数原样透传，默认 by_count_uniform + count_k=3，另加 max_frames=32 兜底，VGGT 显存随帧数增长
• 预处理等价于 vggt load_and_preprocess_images 的 "crop" 模式：BGR 转 RGB，宽固定缩放到 518，高按比例缩到 14 的倍数（下限 14），高超过 518 时中心裁剪，再归一化到 [0,1]；同一视频内各帧尺寸一致，直接 stack 成 (S,3,H,W)
• 相机内外参由 pose_encoding_to_extri_intri 从模型输出的 pose_enc 解出；point_maps_from_unprojection 由 unproject_depth_map_to_point_map 用深度 + 内外参反投影得到，只有同时拿到 pose_enc 与 depth 时才会填
• 每个张量统一存成 {shape, data}（形状 + 一维 float32 展平数据），而不是多层嵌套 list，arrow 侧内存可控、还原方式明确
• 四个 if_output_* 开关只控制字段是否填值，关掉即为空张量 {"shape": [], "data": []}，不改变输出 schema
• point_tracks 本期不实现：点跟踪要求样本自带 query_points，AIHC 没有上游算子产出该字段
• 精度自适应：GPU 上 bfloat16 需要 compute capability >= 8，不满足自动回落 float16；无 GPU 时强制 float32 并打 warning（CPU 上极慢）。非 float32 时前向包在 torch.autocast("cuda", dtype=...) 里
• 抽不到帧或单个视频前向抛异常时，该行所有张量为空、status 记录原因（error: no frames / error: <异常信息>），不中断整列；每个视频处理完调 torch.cuda.empty_cache()
• 输入支持 video_url（含 BOS 路径）、video_base64、video_binary 三种形态，由 video_src_type 指定；后两者按 video_format 解析容器格式，整列抽帧失败时整列返回空帧

算子参数

输入

输出

输出为一个 struct 列，字段如下（tensor 均指 struct<shape: list<int32>, data: list<float32>>，data 是按行优先展平的 float32）：

参数

注意事项

• 权重缺失即失败：算子在 __init__ 里检查权重是否存在，缺失时直接 FileNotFoundError，运行期不会联网下载。
• vggt 源码不做运行时获取：算子不会下载或安装 vggt，已有源码目录可用 vggt_source_path 指过去；vggt 不可 import 时 from vggt.models.vggt import VGGT 会直接 ImportError。
• 按单卡独占起：显存与输出体积都随帧数、分辨率增长（深度 (1,S,H,W,1)、点云 (1,S,H,W,3)，518 宽下单帧就是 20 万像素量级）。测试与建议用法都是 num_gpus=1, concurrency=1, batch_size=1，靠 max_frames 控上限；point_maps_from_unprojection 除非下游确实要用，保持默认关闭。
• 该算子只用 PyTorch 前向，不需要自编 CUDA 扩展；Blackwell（sm_120）上已实测跑通，bf16 生效（cc=12 满足 >=8）。
• count_k 是上限而非保证值：短视频可能只抽到更少的帧，frame_count 以实际入参为准（实测 3 帧配置在短视频上抽到 2 帧）。
• CPU 上可以跑但极慢，算子会强制 float32 并打 warning，生产不要这么用。

调用示例

1from __future__ import annotations
2
3import os
4
5import daft
6from daft import col
7
8from daft.aihc.common.udf import aihc_udf
9from daft.aihc.functions.embodied.perception.vggt_reconstruct import VggtReconstruct
10
11if __name__ == "__main__":
12    if os.getenv("DAFT_RUNNER", "native") == "ray":
13        import ray
14        ray.init(dashboard_host="0.0.0.0", ignore_reinit_error=True)
15        daft.set_runner_ray()
16    daft.set_execution_config(actor_udf_ready_timeout=6000, min_cpu_per_task=0)
17
18ds = daft.from_pydict({"video": ["bos://your-bucket/sample.mp4"]})
19    ds = ds.with_column(
20        "vggt",
21        aihc_udf(
22            VggtReconstruct,
23            construct_args={
24                "video_src_type": "video_url",
25                "model_path": "/path/to/models",
26                "model_name": "facebook/VGGT-1B",
27                "count_k": 3,
28                "if_output_point_maps_from_unprojection": True,
29            },
30            num_cpus=1,
31            num_gpus=1,
32            concurrency=1,
33            batch_size=1,
34        )(col("video")),
35    )
36    ds = ds.with_column("frame_count", col("vggt")["frame_count"])
37    ds = ds.with_column("status", col("vggt")["status"])
38    ds.show()