griffinlabs/umi-orbbec-100eps-cleaned

--- license: apache-2.0 task_categories: - robotics tags: - LeRobot configs: - config_name: default data_files: data/*/*.parquet --- This dataset was created using [LeRobot](https://github.com/huggingface/lerobot). <a class="flex" href="https://huggingface.co/spaces/lerobot/visualize_dataset?path=griffinlabs/umi-orbbec-100eps-cleaned"> <img class="block dark:hidden" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl.svg"/> <img class="hidden dark:block" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl-dark.svg"/> </a> ## Dataset Description - **Homepage:** [More Information Needed] - **Paper:** [More Information Needed] - **License:** apache-2.0 ## Dataset Structure [meta/info.json](meta/info.json): ```json { "codebase_version": "v3.0", "fps": 30, "features": { "observation.state": { "dtype": "float32", "shape": [ 7 ], "names": [ "right_tcp_x", "right_tcp_y", "right_tcp_z", "right_tcp_rx", "right_tcp_ry", "right_tcp_rz", "right_gripper" ] }, "action": { "dtype": "float32", "shape": [ 7 ], "names": [ "right_tcp_x", "right_tcp_y", "right_tcp_z", "right_tcp_rx", "right_tcp_ry", "right_tcp_rz", "right_gripper" ] }, "observation.images.color": { "dtype": "video", "shape": [ 800, 1280, 3 ], "names": [ "height", "width", "channels" ], "info": { "video.height": 800, "video.width": 1280, "video.codec": "h264", "video.pix_fmt": "yuv420p", "video.is_depth_map": false, "video.fps": 30, "video.channels": 3, "has_audio": false } }, "timestamp": { "dtype": "float32", "shape": [ 1 ], "names": null }, "frame_index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "episode_index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "task_index": { "dtype": "int64", "shape": [ 1 ], "names": null } }, "total_episodes": 97, "total_frames": 56091, "total_tasks": 1, "chunks_size": 1000, "data_files_size_in_mb": 100, "video_files_size_in_mb": 200, "data_path": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet", "video_path": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4", "robot_type": "orbbec_umi", "splits": { "train": "0:97" } } ``` ## Citation **BibTeX:** ```bibtex [More Information Needed] ```This dataset is a robotics dataset created using the LeRobot tool, specifically designed for robot learning and control tasks. It includes observation and action data from an Orbbec UMI robot, with features such as: robot state observation (e.g., right tool center point position, orientation, and gripper state), action data (with the same structure as state observation), color image observation (resolution 800x1280, 3 channels, 30fps video format), and metadata like timestamp, frame index, episode index, etc. The dataset contains a total of 97 episodes and 56091 frames, stored in parquet file format for data and MP4 format for videos, with a total size of approximately 300MB. It is suitable for training and evaluating robot models, especially for control tasks involving visual and state feedback.

搜集汇总

数据集介绍

构建方式

该数据集基于开源机器人学习框架LeRobot构建，旨在服务于机器人操作任务的模仿学习研究。数据采集使用了Orbbec深度相机与UMI（Universal Manipulation Interface）硬件方案，共计包含97个示范回合（episode），总计56091帧图像与状态动作记录。每个回合以30帧/秒的采样率同步记录机械臂末端执行器的7维状态（包括位置、姿态与夹爪开合）以及对应的动作指令。同时，高分辨率RGB图像（1280×800像素）以H.264编码压缩存储为视频文件，确保视觉信息的高保真度与存储效率。数据以Parquet格式组织，并按照1000帧为一个分块（chunk）进行分割，便于分布式处理与流式加载。

特点

该数据集的核心特色在于其精细的机器人操作数据维度与统一的采集标准。每条数据样本均包含完整的观测-动作对：7维机器人末端状态（TCP位置、姿态与夹爪状态）与7维动作指令一一对应，形成闭环的模仿学习输入空间。视觉观测通过中央RGB摄像头以30FPS、高分辨率（1280×800）采集，兼顾时空细节与计算效率。数据集中所有回合均针对单一任务类型采集，确保了任务一致性，共包含56091帧有效样本，数据与视频文件合计约300MB，兼顾了数据规模的可信度与存储的轻量化。此外，数据集采用Apache-2.0许可证开放使用，并提供了HuggingFace可视化工具，便于研究者直接预览样本质量。

使用方法

用户可通过LeRobot框架或直接使用HuggingFace Datasets库加载该数据集。推荐使用LeRobot的官方API进行数据加载与预处理，其内置的数据迭代器能够自动处理Parquet文件与视频文件的对应关系，并支持训练/测试集划分（本数据集已将全部97个回合设为训练集）。加载时可指定特征字段，包括观测图像（observation.images.color）、状态向量（observation.state）与动作向量（action），并支持以30FPS的原始帧率进行序列化采样。对于使用PyTorch或TensorFlow的开发者，LeRobot提供了即插即用的DataLoader，可直接用于行为克隆（Behavior Cloning）或扩散策略（Diffusion Policy）等模仿学习算法的训练流程。

背景与挑战

背景概述

该数据集名为umi-orbbec-100eps-cleaned，由LeRobot平台于近期创建，核心研究机构为Hugging Face旗下的机器人团队，旨在推动具身智能与机器人操作领域的发展。数据集聚焦于通过视觉与状态感知联合驱动的机械臂精细操控任务，其核心研究问题在于如何利用大规模、高质量、多模态的示范数据训练通用机器人策略。数据集包含97个完整操作回合、超过5.6万帧的高清视频与7维状态-动作对，覆盖了从末端执行器位姿到夹爪状态的完整控制空间。其发布为机器人学习社区提供了标准化的基准资源，促进了模仿学习、行为克隆等方法在真实机器人操控场景中的验证与对比，对提升机器人从人类示范中泛化学习的能力具有重要影响。

当前挑战

该数据集所解决的领域问题挑战在于：机器人操控任务中视觉与状态信息的异质融合困难、高维连续动作空间下的策略泛化性不足，以及真实场景中示范数据的稀疏性与噪声干扰。数据集构建过程中面临的挑战包括：如何确保Orbbec相机采集的1280×800高清视频在30帧率下与机器人本体状态（7维关节位姿）的精确时空对齐；如何对100MB的Parquet结构化数据和200MB的H.264压缩视频进行高效清洗与去噪，以消除传感器漂移、光照变化及人为操作失误引入的异常轨迹；同时，仅含单一任务与97个回合的规模对策略的鲁棒性与跨场景迁移能力构成了严峻考验。

常用场景

经典使用场景

在机器人学习领域，umi-orbbec-100eps-cleaned数据集为模仿学习与行为克隆提供了珍贵的训练素材。研究者利用其包含的97个完整操作回合、超过5.6万帧的高清视觉与机器人状态数据，能够训练模型将视觉观测映射至连续的末端执行器动作空间。该数据集记录了七自由度机械臂的末端位姿与夹爪状态，配合1280x800分辨率的彩色视频流，使得模型能够学习复杂的精细操作技能，如抓取、装配等任务，成为验证端到端机器人学习算法有效性的经典平台。

解决学术问题

该数据集解决了机器人领域长期存在的'数据匮乏'困境，为从示范中学习的范式提供了标准化、高质量的数据基础。它使得研究者能够聚焦于算法创新，如降低对海量数据的需求、提升样本效率与泛化能力，而非耗费精力在数据采集上。通过提供一致的、带有时间戳的状态-动作对，该数据集促进了关于因果推理、多模态融合以及跨任务迁移学习等学术问题的深入探讨，对理解智能体如何从有限示范中提取关键策略具有重要影响。

衍生相关工作

该数据集催生了一系列经典工作，其中最显著的是基于LeRobot框架开发的扩散策略与动作分块变换器，这些方法利用其高帧率观测数据实现了稳定且鲁棒的动作生成。研究者还据此衍生出多视角融合的模仿学习范式，以及结合掩码自编码器的预训练-微调策略。在对比学习与逆强化学习方面，该数据集同样作为基准，推动了从演示中学习奖励函数技术的发展，后续工作如'3D扩散策略'与'隐式行为克隆'均以此为验证基石，拓展了机器人技能学习的边界。