manus-egocentric-sample

该数据集包含以自我为中心（第一人称视角）的人类手部执行各种操作任务的记录，使用以下设备捕获：
- **Manus Metagloves**：高精度手指跟踪（约70Hz）
- **OAK-D相机**：RGB视频（1920x1080，30fps）+深度（640x400，30fps）
- **IMU**：加速度计和陀螺仪数据

数据集统计信息：
- 总片段数：20
- 总帧数：96,544
- 帧率：30
- 机器人类型：manus_gloves
- LeRobot版本：v2.1
- 数据集大小：约15.3 GB

支持的任务：`Pick_and_pack_task`, `fold_laundry`

This dataset contains first-person (egocentric) recordings of human hands performing various manipulation tasks, captured using the following devices:
- **Manus Metagloves**: High-precision finger tracking (≈70Hz)
- **OAK-D Camera**: RGB video (1920x1080, 30fps) + depth data (640x400, 30fps)
- **IMU**: Accelerometer and gyroscope data

Dataset statistics:
- Total number of segments: 20
- Total frame count: 96,544
- Frame rate: 30fps
- Robot type: manus_gloves
- LeRobot version: v2.1
- Dataset size: ~15.3 GB

Supported tasks: `Pick_and_pack_task`, `fold_laundry`

原始信息汇总

manus-egocentric-sample 数据集概述

数据集描述

这是一个包含以自我为中心（第一人称视角）的人类手部执行各种操作任务的记录数据集，已转换为LeRobot v3.0格式。数据通过以下设备采集：

• Manus Metagloves：高精度手指追踪（约70Hz）。
• OAK-D相机：RGB视频（1920x1080，30fps）和深度数据（640x400，30fps）。
• IMU：加速度计和陀螺仪数据。

数据集统计

属性	值
总情节数	20
总帧数	96,544
帧率	30 FPS
机器人类型	manus_gloves
LeRobot版本	v2.1
数据集大小	~15.3 GB

任务

Pick_and_pack_task, fold_laundry

数据特征

特征	类型	形状
episode_index	int64	[1]
frame_index	int64	[1]
timestamp	float32	[1]
task_index	int64	[1]
observation.images.egocentric	video	[1080, 1920, 3]
observation.state.hand_joints	float32	[150]
observation.state.finger_angles	float32	[40]
observation.state.gestures	float32	[26]
observation.state.imu	float32	[6]

深度数据

该数据集包含原始深度数据作为自定义扩展（LeRobot v3.0尚未官方支持深度数据）。

属性	值
格式	Raw uint16 binary
分辨率	[400, 640] (H, W)
单位	毫米
包含深度的情节数	17
存储方式	基于情节 (depth/episode_XXXXXX.bin)

使用方式

使用LeRobot加载

python from lerobot.datasets.lerobot_dataset import LeRobotDataset dataset = LeRobotDataset("opengraph-labs/manus-egocentric-sample") sample = dataset[0]

数据结构

manus-egocentric-sample/ ├── meta/ │ ├── info.json │ ├── stats.json │ ├── tasks.jsonl │ ├── episodes.jsonl │ └── episodes/ ├── data/chunk-XXX/ ├── videos/ └── depth/

手部骨架结构

每只手有25个被追踪的关节：

Hand (Root) ├── Thumb: MCP → PIP → DIP → TIP (4 joints) ├── Index: MCP → IP → PIP → DIP → TIP (5 joints) ├── Middle: MCP → IP → PIP → DIP → TIP (5 joints) ├── Ring: MCP → IP → PIP → DIP → TIP (5 joints) └── Pinky: MCP → IP → PIP → DIP → TIP (5 joints)

引用

如果使用此数据集，请引用： bibtex @dataset{manus_egocentric_2025, title = {Manus Egocentric Hand Tracking Dataset}, author = {OpenGraph Labs}, year = {2025}, publisher = {Hugging Face}, url = {https://huggingface.co/datasets/opengraph-labs/manus-egocentric-sample} }

许可证

此数据集根据Apache 2.0许可证发布。