1cube-to-2baskets

该数据集是使用LeRobot框架创建的机器人操作数据集，适用于机器人学习任务。数据集记录了双足移动机器人（型号为blueberry_ros）执行操作任务时的多模态数据。核心数据内容包括：1) 机器人动作：一个26维的动作向量，包含左右机械臂的6自由度末端执行器速度指令（线速度和角速度）、左右灵巧手各5个手指关节的位置指令，以及底盘的两个控制指令。2) 机器人状态观测：一个55维的状态向量，详细记录了左右机械臂（各7个关节）和灵巧手（各5个手指关节）的位置与力矩信息，以及操作者的视线坐标（x, y）和视线有效性标志。3) 多视角视觉观测：包含四个同步的RGB视频流，分辨率均为640x480，帧率为15 fps，分别来自左摄像头、右摄像头、用户视角摄像头和用户视线追踪摄像头。所有视频采用AV1编码。数据集规模为40个完整任务执行序列（episodes），共计17,486个时间步长（frames），对应一个单一任务。数据以Parquet格式存储观测与动作，以MP4格式存储视频，总数据量约为300 MB。数据集仅包含训练集划分。该数据集可用于机器人模仿学习、强化学习、多模态感知与控制策略学习等研究。This dataset is a robot manipulation dataset created using the LeRobot framework, suitable for robotic learning tasks. It records multimodal data from a bipedal mobile robot (model blueberry_ros) during operational tasks. Core data includes: 1) Robot actions: a 26-dimensional action vector containing velocity commands (linear and angular) for the 6-degree-of-freedom end-effectors of the left and right robotic arms, position commands for each of the five finger joints of the left and right dexterous hands, and two control commands for the base. 2) Robot state observations: a 55-dimensional state vector detailing the position and torque information of the left and right robotic arms (7 joints each) and dexterous hands (5 finger joints each), as well as the operators gaze coordinates (x, y) and gaze validity flag. 3) Multi-view visual observations: includes four synchronized RGB video streams, each with a resolution of 640x480 and a frame rate of 15 fps, from the left camera, right camera, user perspective camera, and user gaze tracking camera. All videos are encoded in AV1. The dataset consists of 40 complete task execution episodes, totaling 17,486 time steps (frames), corresponding to a single task. Data is stored in Parquet format for observations and actions, and MP4 format for videos, with a total data volume of approximately 300 MB. The dataset only includes a training set split. It can be used for research in robot imitation learning, reinforcement learning, multimodal perception, and control policy learning.

原始信息汇总

数据集总览

• 名称：1cube-to-2baskets
• 许可证：Apache-2.0
• 任务类别：机器人学（Robotics）
• 创建工具：基于 LeRobot 生成
• 代码库版本：v3.0
• 机器人类型：blueberry_ros

数据集规模

• 总片段数（episodes）：40
• 总帧数（frames）：17,486
• 总任务数（tasks）：1
• 数据分块大小：1,000 帧/块
• 数据文件大小：约 100 MB
• 视频文件大小：约 200 MB
• 帧率（fps）：15
• 训练/测试划分：训练集为全量数据（帧索引 0 至 39）

数据特征

数据包含动作（action）、观测状态（observation.state）以及多种图像观测（observation.images）：

• action：26 维浮点向量，包含双臂线性/角速度、双手指关节位置、基座控制等。
• observation.state：55 维浮点向量，包含双臂关节位置与力矩、双手关节位置与力矩、注视点坐标及有效性标志。
• observation.images：四组视频数据，均为 480×640 像素、3 通道，编码格式为 AV1：
  • left：左侧相机图像
  • right：右侧相机图像
  • user：用户视角图像
  • user_gaze：用户注视点图像
• 其他字段：时间戳（float32）、帧索引（int64）、片段索引（int64）、全局索引（int64）、任务索引（int64）。

数据结构

• 数据文件路径：data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频文件路径：videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4
• 配置名称：default，对应数据文件 data/*/*.parquet

搜集汇总

数据集介绍

构建方式

该数据集基于LeRobot框架构建，源自蓝莓机器人平台（blueberry_ros）的真实操作数据。共计采集40个演示回合，包含17486帧时序数据，涵盖单任务场景。数据以parquet格式存储动作与状态信息，视频采用AV1编码的MP4文件保存，通过分块索引（chunk_size=1000）组织文件结构，便于高效加载与检索。所有数据遵循Apache-2.0开源许可协议发布。

特点

数据集的核心特色在于其丰富的多模态传感信息。动作空间维度高达26，涵盖双臂7自由度关节线速度与角速度、五指手部精细运动及底盘控制信号。观测状态包含55维机器人关节位置与力觉数据，并融合了眼动追踪坐标与有效性标记。视觉信息尤为突出，提供左、右、用户视角及用户注视方向四路640×480分辨率视频流，为模仿学习与多视角感知研究提供了高保真数据基础。

使用方法

推荐通过LeRobot库进行数据加载与可视化。用户可在HuggingFace Spaces中直接预览数据集内容，或利用lerobot.datasets模块按episode索引读取parquet文件与对应视频帧。数据已预设训练集切分（训练集含全部40个回合），适合用于训练基于视觉与状态观测的机器人操作策略。建议结合动作与状态命名规范，针对双臂协调或眼动引导抓取等任务进行模型开发。

背景与挑战

背景概述

1cube-to-2baskets数据集由fecasado团队基于LeRobot框架创建，发布于HuggingFace平台，旨在为机器人操作任务提供高质量的训练数据。该数据集聚焦于一项精细化操作场景——将单个立方体物体转移到两个篮子中，涉及双臂协调与多视角感知的复杂控制问题。数据集包含40个演示片段、共计17486帧，以15 fps的帧率记录了机器人执行任务时的完整状态与动作信息，涵盖了左、右臂关节位置与力矩、27维动作指令、以及来自四个不同视角的视觉观测（左、右摄像头、用户视角及用户注视方向）。这些丰富的多模态数据为学习机器人操作策略、尤其是模仿学习与行为克隆方法提供了关键的基准资源，推动了机器人从人类演示中自主获取技能这一研究方向的发展。

当前挑战

该数据集所应对的核心领域挑战在于双臂机器人从单一点到多点传递任务的精细操控学习，尤其是如何从高维状态空间（55维观测）与多模态输入（多视角图像与力觉信息）中提取关键特征，实现对非结构化环境中目标物体稳健的抓取与转移。构建过程中面临的主要难题包括：在有限演示（40个片段）下保证动作策略的泛化能力，平衡数据采集效率与动作多样性；同步记录来自多个异构传感器（关节编码器、力矩传感器、摄像头与眼动追踪）的高频数据流，确保时间对齐与空间标定的精度；以及如何通过LeRobot框架高效地编码、压缩与存储大规模视频数据（约200 MB），为后续研究者提供即用型、标准化的训练接口。

常用场景

经典使用场景

在机器人学习与灵巧操作领域，1cube-to-2baskets数据集为模仿学习与行为克隆算法提供了高保真的双机械臂协作训练素材。该数据集记录了将单一立方体从初始位置转移至两个不同目标篮筐的完整操作轨迹，包含40个演示片段、逾1.7万帧精细动作与状态数据。研究者常利用其丰富的运动学与视觉模态，训练机器人理解物体转移任务中的位姿变换与力控策略，尤其适合验证端到端策略在复杂接触操作中的泛化能力。

实际应用

实际应用中，该数据集可加速工业装配与物流分拣场景的机器人部署。例如，在电子元件精准放置或包裹分类流水线上，基于该数据集训练的模型能自适应调整双机械臂的夹持姿态与协同运动规划。其包含的力矩反馈数据还能助力开发柔顺控制策略，避免易碎物品在转移过程中受损，为制造业中非结构化环境下的自动化任务提供了兼具效率与安全性的解决方案路径。

衍生相关工作

基于该数据衍生出的代表性工作包括：利用扩散策略进行动作序列生成的研究，通过去噪概率模型提升了操作轨迹的平滑性与多样性；融合人类注视热力图的多模态融合框架，证明眼动信号能有效引导机器人注意关键操作区域；以及探索状态表征学习的对比方法，将原始关节状态映射至低维潜空间，显著提高了小样本场景下的策略迁移效率。这些工作共同拓展了灵巧操作领域的数据利用范式。