第一视角多行业人体与手部姿态全模态数据集

更新时间：2026-09-29

数据集描述

数据由第一视角（egocentric）体感设备在真实场景中采集，覆盖教育、电子电气、食品服务、手工制作、家居、酒店、物流、美妆、医疗、办公、生产制造、零售、旅游、仓储共 14 大行业，累计演示时长上万小时。视频为 1920×1080、约 59.94fps 原始采集码流，逐帧同步提供人体姿态、手部姿态、MANO 手部模型、IMU 惯性、SLAM 相机轨迹、深度与网格渲染等多模态信号，并附按真实操作流程切分的层级化语义标注（动作、物体、操作步骤、起止帧与秒）。各模态均以标准 JSON/JSONL 结构化落盘并配字段级元数据字典，可直接接入具身智能大脑模型训练、手部操作理解与人形机器人数据管线。

核心优势与特色：

真实现场采集，第一视角原始码流：数据由操作者在真实作业现场连续录制，交付即原始采集码流，未经重编码、重采样与裁剪，保留真实的人体动作、操作节奏与任务决策，适合大规模视频预训练与世界模型训练。
覆盖行业广、任务真实：覆盖 14 大行业，任务细分至整理桌面、打包快递、折叠雨伞、焊接电路板元件、折叠彩纸、整理布草车、为他人化妆、缝合打结、组装阀门管件、选购货架零食、拆封整理纸箱等工种场景，是精细手部操作最密集的数据分布。
多模态人体信号同步：逐帧对齐人体姿态（17 关节变换矩阵）、手部姿态、MANO 手部模型参数、IMU 惯性数据与 SLAM 相机轨迹，单一片段即可支撑手部网格重建、位姿估计、接触推理与相机轨迹标定。
多路渲染与深度：同步提供 body / hand / depth / mesh 多路渲染视频，保留完整深度几何信息，可用于自监督深度估计与 3D 表征学习。
层级化语义标注：按真实操作流程切分为步骤级（step）标注，逐节点记录起止帧与起止秒、对应动作索引，提供动作与物体词表，支持分层策略学习、动作语义理解与任务拆解。
即插即用交付：原始视频（MP4）+ 结构化标注（JSON/JSONL）逐帧对齐，随包提供字段级元数据字典（字段英文名、中文名、字段类型、字段长度、是否主键及详细描述），无需格式转换即可加载，降低数据处理成本。