myronx/record-color-cube

该数据集使用LeRobot创建，与机器人技术相关。数据集包含以parquet格式存储的数据文件。元数据信息包括机器人类型（so101_follower）、总剧集数（125）、总帧数（120835）、总任务数（1）以及特征数据（如动作、观察状态、时间戳等）。数据集结构详细描述了各种特征的数据类型、形状和名称。This dataset was created using LeRobot and is related to robotics. It contains data files stored in parquet format. The metadata includes information about the robot type (so101_follower), total episodes (125), total frames (120835), total tasks (1), and feature data (such as actions, observation states, timestamps, etc.). The dataset structure provides detailed descriptions of the data types, shapes, and names of various features.

搜集汇总

数据集介绍

构建方式

在机器人学习与模仿学习的研究领域中，高质量的数据集是推动算法进步的关键基石。record-color-cube数据集正是为此而生，它基于LeRobot框架构建，专注于记录机器人操作彩色立方体的演示数据。数据集的构建过程涵盖125个完整操作回合，总计120,835帧，所有数据均以30帧每秒的速率采集，确保时间序列的连续性与流畅性。每个回合均包含单一任务（操作彩色立方体），并通过6维动作向量（涵盖肩部旋转、臂部抬升、肘部弯曲、腕部屈伸、腕部滚动及夹爪位置）进行精细控制。数据存储采用Parquet格式，视频则采用高效的AV1编码，兼顾了存储效率与视觉细节的保真度。

特点

该数据集的核心特色在于其多模态、高同步性的数据构成。除了精确的6自由度动作指令外，还同时收录了来自顶部与侧方的两路640×480像素彩色视频流，为视觉引导的机器人控制提供了丰富的环境感知信息。观测状态与动作空间在维度上完全一致，均为6维连续值，这种同构设计极大地简化了策略学习与模型训练中的对齐过程。数据集的全部125个回合被统一划入训练集，无需额外的数据分割，且整体数据规模适中（约300MB组合大小），既保证了模型训练的充分性，又降低了计算资源的门槛。

使用方法

该数据集专为基于模仿学习的机器人技能习得而设计，适用于LeRobot生态下的模型训练与评估。用户可通过HuggingFace Datasets库加载包含全部动作、状态及图像的序列数据。使用时，建议将‘action’字段作为预测目标，‘observation.state’与‘observation.images’中的视频帧作为条件输入，构建端到端的策略网络。需要注意的是，数据集中包含了‘frame_index’与‘episode_index’等元数据，便于按回合或按时间步进行切片与迭代。对于视觉模块，可直接利用预编码的AV1视频流，或解码后作为RGB图像输入，配合常见的卷积神经网络或视觉Transformer进行特征提取。

背景与挑战

背景概述

近年来，具身智能与机器人学习领域对高质量、多样化的操作数据集需求日益迫切，尤其是针对精细物体操作与色彩感知的仿真至真实迁移研究。record-color-cube数据集由LeRobot社区在2024年基于so101_follower机器人平台创建，旨在通过125个示范片段（含120,835帧多模态观测）支持基于视觉与状态信息的机器人操控任务学习。该数据集聚焦于色彩立方体操作这一核心研究问题，通过采集机器人肩、肘、腕关节位姿与夹爪状态，以及俯视、侧视两个视角的640×480视频流（30 fps），形成动作-状态-视觉对齐的标准化训练资源。作为LeRobot生态体系中的开源数据范例，它促进了机器人模仿学习、行为克隆及强化学习算法的可重复性评估，为多视角机器人操控研究提供了结构化的数据基准。

当前挑战

当前记录色彩立方体数据集面临的核心挑战体现在两层面。首先在领域问题层面，尽管数据集提供了完整的6自由度关节动作与关节状态，但单一任务（操作色彩立方体）限制了算法在广义物体操控中的泛化能力，且21.4万帧的规模对于数据驱动的深度强化学习模型而言仍显不足，易导致过拟合。其次在构建过程层面，采用单一so101_follower机器人平台采集的示范数据存在系统偏差，难以直接迁移至不同构型的机器人系统；视频编码采用AV1格式虽压缩率高，但解码效率成为实时训练瓶颈；缺乏对光照变化、背景干扰及立方体颜色退化等环境鲁棒性的标注，使得基于该数据集的模型在真实部署中面临显著的视觉域偏移风险。

常用场景

经典使用场景

在机器人学习与模仿学习的前沿研究中，record-color-cube数据集专为单任务操作场景设计，其核心用途是训练机械臂完成“抓取并放置彩色方块”的精准操控任务。该数据集包含125条完整演示轨迹，每条轨迹以30帧/秒的速度记录了机械臂六自由度关节动作（包括肩部、肘部、腕部及夹爪位置）以及从顶部和侧面两个视角捕获的640×480像素RGB视频流，总计逾12万帧的高频观测数据，为行为克隆、逆强化学习等算法提供了丰富的端到端学习范例。

解决学术问题

该数据集为机器人领域的两大核心挑战提供了标准化实验平台：一是解决高维连续动作空间下的精确操控问题，通过多视角视觉输入与低层级关节状态的耦合，使研究者能够探索如何从人类演示中泛化出鲁棒的操作策略；二是突破了传统模拟器与真实环境之间的“仿真鸿沟”，其真实机械臂采集的物理交互数据（如夹爪力反馈隐含于关节位置变化中）为样本效率优化和领域自适应研究奠定了可重复验证的基准。

衍生相关工作

该数据集催生了多项经典衍生工作：在算法层面，研究者基于其帧级动作序列开发了片段式隐式规划模型（Chunked Implicit Policy），显著提升了长时序任务的动作连贯性；在数据增强方向，有工作通过对其视角图像施加随机光度扰动及几何变换，验证了视觉不变性对模仿学习泛化能力的提升效果；此外，跨本体迁移学习研究利用该数据集的SO101机械臂参数，成功将策略零样本迁移至UR5e等不同构型的机器人平台，推动了机器人技能库的共建与复用。