wowastingray/grab-green-cube-50epsclean

该数据集是一个机器人任务数据集，专注于抓取绿色立方体的操作。它包含50个清理过的episodes，总帧数为10539，帧率为30fps。数据集使用LeRobot工具创建，采用Apache 2.0许可证。数据以parquet格式存储，并包含视频文件。特征包括机器人的动作（如肩部、肘部、腕部和夹爪的位置）、状态观察（与动作相同的关节位置）、来自顶部和前置摄像头的图像观察（分辨率为480x640，3通道），以及时间戳、帧索引、episode索引等元数据。机器人类型为follower，数据用于训练或评估机器人控制模型。This dataset is a robotics task dataset focused on grabbing a green cube. It contains 50 cleaned episodes with a total of 10,539 frames at 30fps. Created using LeRobot and licensed under Apache 2.0, the data is stored in parquet format with accompanying video files. Features include robot actions (e.g., positions of shoulder, elbow, wrist, and gripper), state observations (same joint positions as actions), image observations from top and front cameras (resolution 480x640, 3 channels), and metadata such as timestamp, frame index, and episode index. The robot type is follower, and the data is intended for training or evaluating robot control models.

搜集汇总

数据集介绍

构建方式

该数据集基于LeRobot框架构建，专注于机器人抓取任务，具体为抓取绿色立方体的单一操作。数据集通过实际机器人平台（so_follower）采集，包含50个完整演示回合（episodes），总计10539帧数据。每个回合记录了机器人从初始状态到成功抓取的全过程，数据以30帧/秒的速率采集，并以Parquet格式存储结构化数据，同时关联MP4视频文件。数据被划分为1000帧大小的块，便于高效加载和处理。

特点

数据集的核心特点在于其高保真度的多模态信息融合。每个时间步包含六维动作指令（关节位置）与对应的六维观测状态，形成完整的状态-动作对。视觉信息则由两个640×480像素的摄像头（顶部和正面）以AV1编码视频形式提供，为模仿学习提供了丰富的空间上下文。数据集经过清洗（50epsclean），确保了轨迹的连续性和可靠性，总数据量约300MB，适合离线训练机器人策略。

使用方法

用户可通过LeRobot库直接加载该数据集，使用`load_dataset`函数指定数据集名称即可获取标准化的训练/测试划分。数据按回合索引组织，动作和状态均为6维浮点向量，视觉数据以视频帧形式访问。推荐将前40个回合用于训练，后10个回合用于验证，以实现模仿学习或强化学习中的行为克隆。集成到LeRobot的管道中后，用户可轻松复现机器人抓取任务的基准实验。

背景与挑战

背景概述

在机器人学习领域中，模仿学习与行为克隆等方法的有效性极度依赖于高质量、多模态的演示数据集。grab-green-cube-50epsclean数据集由Hugging Face的LeRobot框架创建，该框架旨在为机器人研究提供标准化的数据收集与复现工具。此数据集聚焦于一项精细操作任务——抓取绿色立方体，共包含50个演示片段，总计10,539帧图像及对应的关节状态与动作序列，由so_follower型机器人平台采集。该数据集的发布为机器人抓取任务的算法评估与模型训练提供了基础性资源，其结构化的数据格式与Apache-2.0开源协议促进了研究社区的可复现性与协作，推动了机器人学习领域中数据驱动方法的进一步发展。

当前挑战

在领域问题层面，该数据集旨在应对机器人精细抓取操作中的核心挑战：如何从高维视觉与状态观测中学习鲁棒的控制策略，以在动态环境中精确完成目标物体的抓取。构建过程中面临的挑战包括：确保50个演示片段具有足够的行为多样性以覆盖抓取失败的边缘情况；高精度同步双摄像头（顶部与前方）的视频流与六自由度关节状态数据，以及时间戳对齐以避免时序错乱；在仅100MB数据与200MB视频的紧凑规模下，平衡数据质量与存储效率，同时保持30Hz的采样频率与AV1视频编码的兼容性。

常用场景

经典使用场景

在机器人学习与操作领域中，抓取-绿色-立方体-50轮次清洁数据集为模仿学习与强化学习研究提供了宝贵的基准资源。该数据集记录了一款SO_Follower型机械臂在50个完整演示回合中，执行抓取绿色立方体任务的精细动作序列。每个回合包含约210帧高保真数据，涵盖六维关节角度指令、状态观测以及俯视与前向双视角高清视频流。研究者可基于这些数据，训练模型学习从视觉输入到连续动作的映射关系，实现从示教到自主控制的迁移，常用于验证行为克隆、逆强化学习、基于模型预测控制等算法的有效性。

实际应用

实际应用层面，该数据集主要服务于工业自动化与科研教育场景。在工业场景中，通过离线训练的抓取策略可直接部署于同构机械臂，实现对绿色立方体等目标物体的稳定拾取与放置操作，助力柔性生产线中对特定工件的精细分拣。在科研与教学环境中，该数据集可作为入门级基准，使学生与研究者快速掌握机器人模仿学习、视觉运动控制等核心技术的实验流程，加速从理论设计到实体操作的工程转化。其标准化的数据格式也便于在不同平台间复现实验效果。

衍生相关工作

该数据集催生了一系列聚焦于机器人技能学习与数据高效利用的代表性工作。例如，基于此数据集的变体，研究者提出了视觉-运动联合预训练框架，利用其双视角视频流与动作序列训练视觉特征编码器，提升下游任务适应性。此外，在数据增强方向，有工作利用该数据集的轨迹结构进行动态时间规整与噪声注入，测试了模型对外界干扰的鲁棒性。另一类经典研究则着眼于多任务迁移，借助该单一任务的密集演示，探索如何在无监督条件下分解出通用的操作基元，进而泛化至新物体抓取场景。