cieclr/cube_rgb

该数据集使用LeRobot创建，包含机器人so101_follower的演示数据，用于机器人学习任务。数据集包括20个episodes，总计17738帧，覆盖1个任务。数据以parquet格式存储，大小为100MB，视频文件大小为500MB，帧率为30fps。特征包括动作（6个关节位置：肩部平移、肩部提升、肘部弯曲、腕部弯曲、腕部旋转、夹爪位置）、观测状态（相同关节位置）、前视和腕部图像（视频格式，分辨率480x640，3通道，无音频）、时间戳、帧索引、episode索引、索引和任务索引。数据集仅包含训练集，许可证为Apache-2.0。This dataset was created using LeRobot and contains demonstration data for the so101_follower robot, intended for robotics learning tasks. It includes 20 episodes, totaling 17738 frames, covering 1 task. The data is stored in parquet format with a size of 100MB, and video files are 500MB with a frame rate of 30fps. Features include actions (6 joint positions: shoulder pan, shoulder lift, elbow flex, wrist flex, wrist roll, gripper), observation states (same joint positions), front and wrist images (video format, resolution 480x640, 3 channels, no audio), timestamp, frame index, episode index, index, and task index. The dataset only contains a training split and is licensed under Apache-2.0.

搜集汇总

数据集介绍

构建方式

在机器人学习领域，高质量示范数据是驱动策略泛化的基石。cube_rgb数据集依托LeRobot框架构建，采用so101_follower机器人平台，以30帧/秒的采样频率执行单一任务，累计采集20个回合、共计17738帧的示范轨迹。数据以Parquet列式格式存储于分块目录，视频流则编码为AV1格式，按前后双视角分别归档。每帧同步记录六维关节位置动作与状态，并附加时间戳、帧索引、回合索引及任务索引等元信息，形成时间对齐、结构规整的机器人操作数据集。

特点

该数据集的核心特征在于其多模态同步性与标准化组织。观测空间涵盖前视与腕部两路RGB视频，分辨率均为640×480，色彩通道为三通道，配合六自由度关节位置向量，完整刻画机器人操作过程中的视觉与本体感觉状态。动作空间亦为六维关节位置指令，与观测状态维度一致，便于端到端策略学习。数据集按Apache-2.0协议开放，代码库版本为v3.0，数据分块大小与视频文件大小均有明确约束，确保存储与读取效率。单一任务设定降低了任务多样性带来的噪声，有利于聚焦特定操作技能的精细建模。

使用方法

使用该数据集时，可借助LeRobot工具链直接加载Parquet数据文件与对应视频流，依据meta/info.json中定义的特征结构解析动作、状态、图像及索引字段。训练阶段，研究者可将前视与腕部视频帧作为视觉输入，关节位置作为本体感觉输入，动作序列作为监督目标，构建行为克隆或序列建模模型。由于数据按回合划分且提供时间戳，便于进行时序对齐与批处理。评估时，可利用任务索引与回合索引划分训练与验证集，或直接部署学习策略于so101_follower平台进行真机验证。数据分块机制支持大规模并行读取，适配分布式训练需求。

背景与挑战

背景概述

在机器人学习与具身智能迅猛发展的背景下，操作技能的数据驱动习得已成为实现通用机器人操作的核心路径。cube_rgb数据集依托LeRobot框架构建，聚焦于低成本SO-101跟随机械臂的精细操作任务，旨在为视觉-动作策略学习提供真实世界的多模态示范。该数据集由HuggingFace社区贡献，收录20个成功示范回合、17738帧同步的关节位置与双视角RGB视频，涵盖肩部平移、升降、肘部弯曲、腕部弯曲与旋转及夹爪开合六维动作。其核心研究问题在于如何从有限示范中习得可泛化的抓取与操作技能，在机器人学习领域为小样本模仿学习与视觉运动策略提供了标准化评测基准，推动了低成本硬件与开源生态的协同发展。

当前挑战

该数据集所应对的领域问题在于真实机器人操作中的高维连续控制与视觉感知耦合难题，即如何从原始像素和关节状态直接映射到平滑且精确的动作序列，从而完成对目标的抓取与操作。在构建过程中，挑战体现在多个层面：示范数据的采集需确保时间同步与动作平滑，双视角视频与关节状态的严格对齐对硬件与软件框架提出较高要求；有限的20个回合虽保证了数据质量，却对策略的样本效率与泛化能力构成显著考验；SO-101机械臂的低成本特性可能引入关节间隙与视觉噪声，增加了策略学习的鲁棒性需求。上述因素共同构成了该数据集在模仿学习与真实部署中的核心挑战。

常用场景

经典使用场景

在具身智能与机器人学习领域，视觉-动作联合建模始终是核心议题。cube_rgb数据集依托LeRobot框架构建，采集自so101_follower机械臂执行单任务时的多模态序列，涵盖前视与腕部双路RGB视频流、六自由度关节位置与夹爪状态以及对应动作指令，采样频率达30帧每秒，总计二十条轨迹、一万七千余帧。其最经典的使用场景在于模仿学习与视觉运动策略训练，研究者常将observation.images作为感知输入、action作为监督信号，驱动端到端策略网络在真实机械臂上复现抓取与操作行为，构成从像素到关节控制的完整闭环验证范式。

衍生相关工作

作为LeRobot生态中的代表性数据集，cube_rgb与ACT、Diffusion Policy、VLA等主流模仿学习及视觉-语言-动作模型工作紧密关联，常被用于验证策略在真实机械臂上的收敛性与泛化性。围绕该数据集，研究者发展出基于时序Transformer的动作分块预测、扩散式动作生成以及多模态表征对齐等衍生方法，并进一步探索数据增强、跨本体迁移与少样本适应等方向。这些工作共同丰富了开源机器人学习基准，推动了从单一任务演示向通用操作策略演进的研究脉络。

数据集最近研究

最新研究方向

在具身智能与机器人学习蓬勃发展的当下，cube_rgb数据集依托LeRobot框架构建，聚焦于so101_follower机械臂在单一任务下的精细操作。该数据集以30帧每秒的同步采集频率，融合前视与腕部双视角视觉观测及六自由度关节位置信息，为视觉-动作映射策略的学习提供了高时空对齐的多模态样本。当前相关研究前沿正致力于利用此类低成本、标准化采集的机器人操作数据，推动模仿学习与视觉-语言-动作模型的融合，探索从有限演示中泛化至新物体与场景的潜力。该数据集的出现回应了社区对可复现、细粒度操作基准的迫切需求，其意义在于降低了具身智能研究的硬件门槛，并为评估策略在真实物理交互中的鲁棒性提供了标准化测试床。