hrx2000/Three_Cubes_3

该数据集是一个机器人数据集，使用LeRobot创建，包含100个episodes，总计50,793帧数据，专用于单一任务。数据集结构包括动作数据（如肩部、肘部、腕部和夹爪的位置）、观察状态数据（与动作数据类似）以及来自三个摄像头（前视、右视和腕部摄像头）的图像观察，每个视频分辨率为480x640，帧率为30fps，使用av1编解码器。数据以parquet格式存储，视频以mp4格式存储，总数据文件大小为100MB，视频文件大小为200MB。数据集适用于机器人控制和学习任务，许可证为Apache-2.0。This is a robotics dataset developed using LeRobot, comprising 100 episodes and a total of 50,793 frames, dedicated to a single task. The dataset structure includes action data (e.g., positions of the shoulder, elbow, wrist, and gripper), observation state data (similar to the action data), and image observations from three cameras: front-facing, right-facing, and wrist-mounted cameras. Each video has a resolution of 480×640, a frame rate of 30 fps, and uses the AV1 codec. The tabular data is stored in Parquet format, while the videos are stored in MP4 format. The total size of the data files is 100 MB, and the total size of the video files is 200 MB. This dataset is suitable for robotic control and learning tasks, and is licensed under Apache-2.0.

搜集汇总

数据集介绍

构建方式

Three_Cubes_3数据集是基于LeRobot框架构建的机器人操作数据集，由so_follower型机器人执行单一任务（如抓取三个立方体）并采集100个示范回合而成。每个回合包含约50793帧时序数据，以30帧每秒的频率记录。数据存储采用分块式结构，动作与状态信息以Parquet格式保存于data目录下，而来自前、右、腕部三个视角的视觉观测则编码为AV1格式的MP4视频文件，存放于videos目录中。数据集的元数据由info.json文件详细定义，涵盖了特征维度、数据类型、视频编码参数及数据集划分（全部用于训练）等关键信息。

特点

该数据集的核心特点在于其多模态与结构化设计。动作与状态空间均包含6维连续变量，对应机器人肩、肘、腕及夹爪的自由度，便于直接用于模仿学习或强化学习策略的训练。视觉观测提供三个同步的640×480分辨率视频流，覆盖不同视角，为感知任务提供丰富时空信息。此外，数据集记录了精确的时间戳、帧索引及回合索引，支持时序对齐与序列建模。整体规模适中，总数据量约300MB（含100MB Parquet与200MB视频），适合快速迭代与实验验证。

使用方法

使用Three_Cubes_3数据集时，建议通过LeRobot库进行加载与预处理。用户可借助Hugging Face的datasets库或LeRobot内置的数据加载器，直接读取Parquet文件中的动作与状态序列，并同步提取对应视频帧。典型应用场景包括行为克隆、逆强化学习或端到端视觉运动策略的训练。数据集已完整划分为训练集（100个回合），无需额外分割。也可通过Hugging Face Spaces提供的可视化界面在线浏览数据样本，快速理解任务特性与数据分布。

背景与挑战

背景概述

机器人模仿学习领域近年来蓬勃发展，高质量的数据集成为推动算法进步的关键基石。在此背景下，由Hugging Face LeRobot社区主导构建的Three_Cubes_3数据集于近期面世，旨在为机器人精细操作任务提供标准化数据支持。该数据集基于so_follower机械臂，通过100个演示回合、超过5万帧的高频观测数据，记录了将三个立方体从初始位置移动至目标区域的完整操作过程。核心研究问题聚焦于如何从多视角视觉输入中学习鲁棒的控制策略，以应对物体搬运等实际工业场景。尽管数据集规模有限，但其规范化的数据结构和Apache-2.0许可证为学术界和工业界开展机器人技能学习研究提供了便利，尤其促进了基于模仿学习的算法验证与对比。

当前挑战

该数据集面对的领域挑战在于，机器人精细操作任务需要算法具备从高维视觉输入中提取有效状态表征的能力，同时克服物体间遮挡、光照变化和抓取点不确定性等现实干扰。模仿学习本身对数据质量高度敏感，而Three_Cubes_3的单一任务设定（仅一个操作任务）限制了模型泛化能力的评估。构建过程的挑战包括：机械臂的关节控制精度需严格标定以保障动作序列的可重复性；多视角摄像头（前视、右视、腕部）的同步触发与图像压缩（AV1编码）需平衡画质与存储效率；100个回合的数据采集要求人为演示动作具有一致性，以避免引入噪声标签。此外，数据分割仅含训练集而缺少测试集，为后续模型的公平比较带来隐忧。

常用场景

经典使用场景

在机器人学习领域，数据集常被用于训练模仿学习与行为克隆模型。Three_Cubes_3 数据集记录了机器人操作三个立方体的精细动作序列，包含100个示范片段、约5万帧多视角视频及对应关节状态与动作标签。研究者可基于此训练视觉-运动策略，使机器人学会从高维视觉输入中提取关键信息并生成精确的六自由度控制指令，实现抓取、放置和堆叠等典型操作。

解决学术问题

该数据集为机器人操作技能学习中的样本效率与泛化难题提供了关键支撑。传统强化学习需大量试错交互，而本数据集的专家演示数据允许研究者探索低样本条件下的行为克隆与逆强化学习方法，同时通过多视角图像与状态信息的结构化采集，推动了视觉-运动联合表征、时序动作预测等学术问题的深入，对理解机器人从观察中汲取运动策略的能力具有里程碑意义。

衍生相关工作

基于此数据集，衍生出了系列关于多模态融合与策略泛化的经典工作：如利用扩散模型生成连续动作序列的 Diffusion Policy 方法，以及通过潜在嵌入空间实现跨物体形状泛化的技能抽取框架。此外，利用该数据集的视频与状态双流结构，研究者开发了适用于机器人操作的视觉预测模型，这些工作不仅验证了数据集在基准测试中的价值，更奠定了其作为LeRobot生态系统中标准评估环的核心地位。