hrx2000/Three_Cubes_2

该数据集是一个用于机器人学任务的数据集，专门针对so_follower型机器人。它包含100个episodes，总计50790帧，覆盖单一任务。数据以parquet文件格式存储，并包含视频文件。数据集的特征包括：动作数据（6个关节位置：肩部平移、肩部升降、肘部弯曲、腕部弯曲、腕部旋转、夹爪位置）、观测状态（与动作相同的6个关节位置）、以及来自三个摄像头的图像观测（前视、右侧和腕部摄像头，均为480x640分辨率、30fps的RGB视频）。此外，还包括时间戳、帧索引、episode索引、索引和任务索引等元数据。数据集使用Apache 2.0许可证，并基于LeRobot框架创建。

This dataset is designed for robotics tasks, specifically for the so_follower robot type. It contains 100 episodes, totaling 50,790 frames, and covers a single task. The data is stored in parquet files and includes video files. The dataset features include: action data (6 joint positions: shoulder pan, shoulder lift, elbow flex, wrist flex, wrist roll, gripper position), observation state (the same 6 joint positions as actions), and image observations from three cameras (front, right, and wrist cameras, all RGB videos with 480x640 resolution and 30fps). Additionally, it includes metadata such as timestamp, frame index, episode index, index, and task index. The dataset is licensed under Apache 2.0 and was created using the LeRobot framework.

搜集汇总

数据集介绍

构建方式

在机器人操控领域，高质量的数据集是推动模仿学习与技能迁移研究的关键基石。Three_Cubes_2 数据集基于 LeRobot 框架构建，采用 Teleoperation 方式采集，记录了 so_follower 机械臂执行特定操控任务的完整轨迹。数据集包含 100 个独立的演示回合（episodes），累积帧数达 50790 帧，以 30 FPS 的采样频率运行。原始数据采用分块 Parquet 格式存储，按 chunk 和 file 索引组织，便于高效加载；同时，对应的视频流以 AV1 编码的 MP4 文件保存，形成结构化的多模态存储体系。

特点

该数据集的核心特色在于其多模态感知模态与精细的操控空间表征。观测空间集成了三路 RGB 视觉流，包含前视、右视与腕部视角，分辨率均为 480×640，为机器人提供了丰富的环境与操作视野。动作与状态空间均采用 6 维关节空间表示，涵盖肩部、肘部、腕部与夹爪的位姿，精度为 float32。此外，数据集还包含了时间戳、帧索引、回合索引等辅助元数据，支持对演示时序的精确回溯与事件对齐。所有数据均遵循 Apache-2.0 开源协议发布，为学术研究提供了自由的复用基础。

使用方法

使用 Three_Cubes_2 数据集时，推荐集成 LeRobot 库进行数据加载与预处理。用户可通过 Hugging Face Datasets 库，依据 config 名称 'default' 加载 Parquet 数据文件，并借助 meta/info.json 中的分片信息（chunks_size=1000）实现流式或批量读取。对于视觉部分，可直接访问 video_path 指定的 MP4 文件，结合 OpenCV 或 Decord 库进行帧提取。数据集已预设唯一的 'train' 分割（0:100 切片），可直接用于训练模仿学习模型或离线强化学习算法。建议将动作与观测数据对齐后，按回合组织为轨迹序列，以服务于行为克隆或逆强化学习流水线。

背景与挑战

背景概述

Three_Cubes_2数据集由Hugging Face社区基于LeRobot框架构建，创建于机器人学习与模仿学习蓬勃发展的时期。该数据集聚焦于机器人操作任务，具体目标为通过遥操作控制机机械臂完成三块立方体的拾取与摆放，核心研究问题在于如何利用多视角视觉输入（前视、右侧、腕部摄像头）与关节状态信息，实现精准的动作表征与策略学习。数据集包含100个演示片段，共计50790帧，以30帧/秒的高频采集，涵盖6维动作空间（肩部、肘部、腕部及夹爪控制）与多模态观测数据。作为LeRobot生态的组成部分，该数据集为机器人模仿学习与行为克隆提供了标准化训练资源，推动了可复现的机器人学习研究。

当前挑战

该数据集所解决的领域问题集中于机器人精细操作中的模仿学习挑战，尤其强调从多模态视觉与状态信息中提取有效特征，以泛化至未见过的立方体位置与姿态。构建过程中面临的关键挑战包括：确保遥操作演示的一致性，即不同操作者或同一操作者在不同次演示中的手法差异可能导致策略学习偏差；同步三路摄像头视频流（分辨率480×640，编码为AV1）与状态/动作数据的时间对齐精度要求极高；此外，单任务（仅三块立方体操作）的数据多样性有限，如何通过数据增强或域随机化提升模型鲁棒性亦是核心难题。

常用场景

经典使用场景

在机器人操作与模仿学习领域，Three_Cubes_2数据集为训练机械臂执行精确的抓取、搬运与堆叠任务提供了标准化基准。该数据集包含100个完整演示片段，总计超过五万帧高保真视觉观测与动作序列，覆盖了从单臂控制到多视角感知的典型操作场景。凭借30赫兹的采样频率与多摄像头同步记录机制，研究者能够利用这些长达数秒的连续轨迹数据训练端到端的策略网络，尤其适用于研究基于视觉的精细操作技能迁移。

实际应用

在实际应用层面，该数据集可直接服务于工业分拣、仓储物流以及服务机器人中的重复性拾放操作。例如，基于数据集训练的模仿学习模型能够自然地部署到同构型机械臂平台上，完成对立方体工件的分类、组装或质检任务。结合其开源格式与标准化接口，开发者能够便捷地将预训练策略迁移至真实生产线中，显著降低从仿真到现实的部署成本与技术门槛。

衍生相关工作

围绕Three_Cubes_2数据集已衍生出多项推动机器人学习发展的经典工作，包括基于扩散策略的轨迹生成方法、利用对比学习增强视觉表征的鲁棒性研究，以及针对多任务泛化的元学习框架验证。借助LeRobot生态系统的可复现性，这些工作系统性地探讨了如何利用少量高质量演示实现复杂操作的零样本迁移。数据集中蕴含的时序一致性与动作平滑性约束，更是成为后续研究评估策略稳定性与安全性的重要依据。