manus-egocentric-sample

该数据集包含以自我为中心（第一人称视角）的人类手部执行各种操作任务的记录，使用了Manus Metagloves进行高精度手指跟踪（约70Hz），OAK-D相机捕获RGB视频（1920x1080，30fps）和深度数据（640x400，30fps），以及IMU（加速度计和陀螺仪）数据。数据集统计信息包括总集数（20集）、总帧数（96,544帧）、帧率（30fps）、机器人类型（manus_gloves）、LeRobot版本（v2.1）和数据集大小（约15.3 GB）。数据集支持的任务包括'Pick_and_pack_task'和'fold_laundry'。数据集的特征包括集索引、帧索引、时间戳、任务索引、以自我为中心的图像、手部关节状态、手指角度、手势和IMU数据。此外，数据集还包含原始深度数据，格式为原始uint16二进制，分辨率为[400, 640]（H, W），单位为毫米。数据集的使用方法包括通过LeRobot加载数据集，并提供了数据结构的详细描述和手部骨架结构的说明。This dataset contains egocentric (first-person perspective) recordings of human hands performing various manipulation tasks. High-precision finger tracking (≈70 Hz) is conducted using Manus Metagloves, while an OAK-D camera captures RGB video (1920x1080, 30 fps), depth data (640x400, 30 fps), and IMU (accelerometer and gyroscope) data. The dataset statistics include total number of episodes (20 episodes), total frame count (96,544 frames), frame rate (30 fps), robot type (manus_gloves), LeRobot version (v2.1), and total dataset size (≈15.3 GB). The supported tasks for this dataset are 'Pick_and_pack_task' and 'fold_laundry'. The dataset features include episode index, frame index, timestamp, task index, egocentric images, hand joint states, finger angles, gestures, and IMU data. Additionally, the dataset includes raw depth data in uint16 binary format, with a resolution of [400, 640] (H, W) and units in millimeters. The usage instructions for this dataset include loading the dataset via LeRobot, with detailed descriptions of the data structure and explanations of the hand skeleton structure provided.

搜集汇总

数据集介绍

构建方式

在机器人学习与模仿学习领域，高质量的人手操作数据对于技能迁移至关重要。manus-egocentric-sample数据集通过第一人称视角的穿戴式设备，系统性地采集了人类进行多种操作任务时的多模态数据。构建过程中，受试者佩戴Manus Metagloves高精度数据手套，以约70Hz的采样率捕获手指关节运动，同时头戴OAK-D摄像头同步录制1920×1080分辨率的RGB视频与640×400分辨率的深度图像，帧率均为30fps。此外，IMU传感器记录了加速度计与陀螺仪数据。所有数据经过严格的时间对齐与格式转换，最终以LeRobot v3.0标准格式存储，包含20个完整操作片段，共计96,544帧，并提供了Pick_and_pack_task与fold_laundry两类任务标注。

特点

该数据集的核心特点在于其精细的多模态手部追踪能力与丰富的状态表征。手部关节数据涵盖每只手25个关键点，包括拇指、食指、中指、无名指及小指的完整运动链，以150维向量表示三维空间位置。同时，40维的手指角度与26维的手势特征进一步细化了手部姿态的语义信息。RGB视频与深度数据的同步采集，为视觉-触觉融合研究提供了基础。特别地，深度数据以原始uint16二进制格式存储，单位精确到毫米，且17个片段包含深度信息，弥补了LeRobot标准格式对深度支持的不足。整体数据集规模约15.3GB，结构清晰，便于高效加载。

使用方法

该数据集专为LeRobot框架优化，使用方法简洁高效。用户可通过LeRobotDataset类直接加载，例如from lerobot.datasets.lerobot_dataset import LeRobotDataset，然后实例化dataset = LeRobotDataset("opengraph-labs/manus-egocentric-sample")，即可通过索引访问单帧样本。样本字典包含观察图像、手部关节、手指角度、手势及IMU数据等键值。对于深度数据，需调用自定义函数load_depth，传入数据集路径与片段索引，利用NumPy读取二进制文件并重塑为对应帧数的形状。数据集目录结构包含元数据、时序数据、视频与深度文件，便于研究者按需提取特定模态信息，支撑模仿学习、机器人遥操作等下游任务。

背景与挑战

背景概述

在机器人学习与模仿学习领域，精准的手部运动追踪是推动灵巧操作任务发展的关键瓶颈。2025年，OpenGraph Labs发布了manus-egocentric-sample数据集，旨在弥合人类手部精细动作与机器人策略学习之间的鸿沟。该数据集以第一人称视角录制，借助Manus Metagloves高精度手套（约70Hz追踪频率）与OAK-D相机（30fps RGB-D视频）同步采集，涵盖拾取打包与衣物折叠两类复杂操作任务。其核心研究问题聚焦于如何从人类演示中提取高维手部关节运动（150维）与手指角度（40维）信息，为模仿学习提供结构化训练样本。作为首个以LeRobot v3.0格式公开的自我中心手部追踪数据集，它填补了现实世界灵巧操作数据稀缺的空白，为机器人从人类示范中习得精细控制策略奠定了基准。

当前挑战

数据集面临的核心挑战源于灵巧操作任务的固有复杂性。首先，手部运动的高自由度（25个关节×双手）与多模态数据融合（RGB视频、深度图、IMU惯性信号）要求算法具备强大的时空对齐能力，而现有模仿学习方法在处理150维关节状态时易陷入维度灾难。其次，构建过程中，Manus手套与OAK-D相机在70Hz与30Hz采样率下的异步同步问题导致时间戳偏差，需通过插值或事件触发机制校正。此外，深度数据以非标准uint16二进制格式存储，尚未被LeRobot v3.0原生支持，增加了数据加载与预处理的计算开销。最后，仅20个episode（约15GB）的小样本规模限制了模型泛化性，使得从有限演示中学习鲁棒策略成为亟待突破的瓶颈。

常用场景

经典使用场景

该数据集以第一人称视角捕捉人类手部在复杂操作任务中的精细运动，如拾取与包装（Pick_and_pack_task）以及衣物折叠（fold_laundry），结合Manus Metagloves高精度手指追踪、OAK-D摄像头RGB-D视频和IMU惯性数据，为模仿学习（Imitation Learning）提供了多模态、高保真的示范轨迹。其经典使用场景在于训练机器人通过观察人类演示来学习灵巧操作技能，尤其适用于需要理解手部关节运动与视觉反馈之间映射关系的任务，是构建端到端行为克隆模型的理想数据基础。

实际应用

在实际应用中，该数据集为服务机器人、医疗康复及虚拟现实等领域提供了关键支持。例如，家用机器人可借助该数据学习折叠衣物、整理物品等日常家务，从而提升自主服务能力；在康复工程中，手部运动数据可辅助设计智能假肢或外骨骼的控制算法，通过模仿人类自然手势实现更流畅的人机交互；此外，在虚拟现实与增强现实中，该数据集可用于训练高保真手部姿态估计模型，增强沉浸式体验中的手势交互真实感，推动数字孪生与远程操作系统的落地。

衍生相关工作

基于该数据集，研究者已衍生出多项经典工作，包括基于扩散策略（Diffusion Policy）的灵巧操作模仿学习方法，通过利用该数据集的时序连续性生成平滑的运动轨迹；以及结合视觉与触觉融合的跨模态预训练模型，其中手部关节状态作为监督信号提升了场景理解与操作规划能力。此外，该数据集促进了可迁移技能库的构建，例如将折叠衣物任务中学到的抓取与折叠原语应用于不同织物材质的泛化实验，并催生了关于深度数据与RGB视频联合编码以增强空间推理效率的系列研究，为机器人终身学习奠定了数据基石。