ego-tactile-manipulation

这是一个由OpenGraph Labs提供的数据集，包含1.28小时的清洁样本数据。数据采集自物理AI数据管线，包括第一人称视角的视频、双手佩戴的OGLO触觉手套产生的密集触觉数据，以及基于触觉信号的动作标签。动作标签源自物理接触信号，而非人工标注，确保了数据的客观性和准确性。数据集适用于与触觉感知、动作识别和物理AI相关的研究。First-person video + dense bimanual tactile data + tactile-based action labels — provided by OpenGraph Labs. This is a 1.28-hour clean sample from OpenGraph Labs physical AI data pipeline: includes head-mounted camera and OGLO tactile gloves worn on both hands, with action labels derived from physical contact signals rather than manual annotation.

原始信息汇总

数据集概述

名称： Ego-Tactile Manipulation
发布机构： OpenGraph Labs
许可证： CC-BY-4.0（可商用，需署名）
语言： 英语
数据规模： 100K < n < 1M
任务类别： 机器人学
标签： LeRobot、机器人学、物理AI、自我中心、触觉、操作、动作分割、多模态

核心特性

• 数据总量： 72个片段，总时长1.28小时（138,629帧，30 fps）。
• 传感器配置：
  • 摄像头： 自我中心视角（1920×1080），含内参。
  • 触觉手套（OGLO）： 双手佩戴，每只手80通道（5指 × 4×4 taxel），总计160通道，提供30 Hz对齐信号与90 Hz原始信号。
  • IMU： 头部（9轴）及双腕（各6轴）。
• 标注方式： 基于物理接触与握力的动作分割，标注包含动作、子动作、锚点、抓取类型、手部与物体信息。
• 任务类型： 桌面操作任务，如倾倒、盖盖子、切割、抓握、整理等。

数据结构

meta/ LeRobot v3.0元数据（含相机内参、触觉高亮） data/ 按帧的Parquet文件（30 Hz触觉、IMU、标注） videos/ 自我中心视频 extra/ 原始触觉与IMU数据（头部、双腕） rerun/ 每个片段的.rrd文件（即时可视化）

使用方式

• LeRobot格式： python from lerobot.datasets import LeRobotDataset ds = LeRobotDataset("OpenGraphLabs-Research/ego-tactile-manipulation")

• Rerun可视化： bash rerun rerun/episode_000000.rrd

应用场景

适用于机器人学习、物理AI领域的自我中心操作研究，尤其侧重于触觉与视觉融合的动作理解与分割。