pick_yellow_cube-fixed_01

该数据集使用LeRobot框架创建，包含机器人操作的相关数据。数据集结构包括多个片段，每个片段包含动作、观察（状态和来自前摄像头及左侧摄像头的图像）、时间戳和索引等特征。具体来说，动作和状态特征包括机器人的肩部、肘部、腕部和夹持器的位置信息；图像特征包括分辨率为480x640的三通道视频数据。数据集总共有15个片段，6879帧，1个任务，数据文件大小为100MB，视频文件大小为200MB，帧率为30fps。

This dataset was created using the LeRobot framework and contains data related to robotic manipulation. The dataset structure consists of multiple segments, each including features such as actions, observations (comprising states and images from the front-facing and left-facing cameras), timestamps, and indexes. Specifically, the action and state features cover position information of the robot's shoulder, elbow, wrist, and gripper. The image features are three-channel video data with a resolution of 480×640. In total, the dataset has 15 segments, 6879 frames, 1 task, with a data file size of 100 MB, a video file size of 200 MB, and a frame rate of 30 fps.

原始信息汇总

数据集概述

基本信息

• 数据集名称： pick_yellow_cube-fixed_01
• 创建工具： LeRobot (https://github.com/huggingface/lerobot)
• 许可证： Apache-2.0
• 任务类别： 机器人学

数据集规模

• 总情节数： 15
• 总帧数： 6879
• 总任务数： 1
• 数据文件大小： 100 MB
• 视频文件大小： 200 MB

数据结构与格式

• 代码库版本： v3.0
• 机器人类型： otter_follower
• 数据块大小： 1000
• 帧率： 30 FPS
• 数据文件路径模式： data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频文件路径模式： videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4
• 数据划分： 全部数据（第0至15个情节）用于训练。

数据特征

动作

• 数据类型： float32
• 形状： [6]
• 名称：
  • shoulder_pan.pos
  • shoulder_lift.pos
  • elbow_flex.pos
  • wrist_flex.pos
  • wrist_roll.pos
  • gripper.pos

观测状态

• 数据类型： float32
• 形状： [6]
• 名称：
  • shoulder_pan.pos
  • shoulder_lift.pos
  • elbow_flex.pos
  • wrist_flex.pos
  • wrist_roll.pos
  • gripper.pos

观测图像（前视摄像头）

• 数据类型： video
• 形状： [480, 640, 3] (高度，宽度，通道)
• 视频信息：
  • 高度：480
  • 宽度：640
  • 编码：av1
  • 像素格式：yuv420p
  • 是否为深度图：否
  • 帧率：30
  • 通道数：3
  • 包含音频：否

观测图像（左视摄像头）

• 数据类型： video
• 形状： [480, 640, 3] (高度，宽度，通道)
• 视频信息：
  • 高度：480
  • 宽度：640
  • 编码：av1
  • 像素格式：yuv420p
  • 是否为深度图：否
  • 帧率：30
  • 通道数：3
  • 包含音频：否

元数据

• 时间戳： 数据类型 float32，形状 [1]。
• 帧索引： 数据类型 int64，形状 [1]。
• 情节索引： 数据类型 int64，形状 [1]。
• 索引： 数据类型 int64，形状 [1]。
• 任务索引： 数据类型 int64，形状 [1]。

引用信息

• 主页： 信息缺失
• 论文： 信息缺失
• BibTeX 引用格式： 信息缺失

搜集汇总

数据集介绍

构建方式

在机器人学习领域，数据集的构建方式直接决定了模型的泛化能力与行为复现精度。pick_yellow_cube-fixed_01数据集基于LeRobot框架采集，聚焦于单一任务——抓取黄色方块。数据源自otter_follower型机器人平台，共收录15个完整回合（episode），累计6879帧时序数据。数据以30帧/秒的采样率记录，包含机器人6维关节动作指令（shoulder_pan至gripper）与对应的6维状态观测，同时提供前视与左侧两个视角的640×480分辨率彩色视频流。所有数据按1000帧分块存储为Parquet格式，视频采用AV1编码压缩，整体数据与视频文件分别占用约100MB与200MB存储空间。训练集直接使用全部15个回合，未划分验证集。

特点

该数据集最显著的特点在于其高度专一性与结构化设计。任务单一聚焦于抓取黄色方块，有利于研究人员在小规模场景下验证模仿学习或行为克隆算法的有效性。数据特征维度清晰：动作与状态空间均为6维连续值，覆盖肩部、肘部、腕部及夹爪的关键自由度。视觉输入采用双视角RGB图像，分别从前向与左侧捕捉场景，为多模态融合提供基础。时序信息完整，每帧附带时间戳与帧索引，便于时间序列建模。数据存储遵循LeRobot标准格式，元信息以JSON文件记录，便于程序化读取与扩展。整体规模适中，适合快速迭代实验。

使用方法

使用该数据集时，推荐采用LeRobot库进行加载与预处理。用户可直接通过HuggingFace Datasets库读取Parquet文件，并利用LeRobot提供的Dataset类将动作、状态与图像数据组织为统一格式。训练过程中，可将6维动作序列作为监督信号，配合双视角图像或状态向量训练机器人抓取策略。视频数据需解码为帧序列，建议采用AV1解码器或LeRobot内置的视频加载功能。由于数据已按回合分块，可方便地实施回合式批处理或滑动窗口采样。模型评估时，可基于15个回合的轨迹计算任务成功率或动作误差。此外，数据集兼容PyTorch与TensorFlow框架，便于集成至现有强化学习或模仿学习流水线。

背景与挑战

背景概述

在机器人学习领域，模仿学习作为赋予机器人复杂操作能力的关键技术，依赖于高质量、任务明确的示教数据集。pick_yellow_cube-fixed_01数据集诞生于这一背景之下，由Hugging Face社区借助LeRobot框架构建，旨在为机械臂抓取任务提供标准化训练资源。该数据集聚焦于“抓取黄色立方体”这一单一且具体的操作任务，共收录15个示范片段，总计6879帧时序数据，涵盖6维关节动作指令与多视角视觉观测，包括前置及左侧摄像头采集的640×480分辨率视频流。其核心研究问题在于如何通过有限的示教样本，使机器人学习稳定的物体识别与抓取策略。作为LeRobot生态中的基准数据集之一，它为验证模仿学习算法在精细操作场景下的泛化能力提供了基础平台，对推动低成本机器人平台的智能技能习得具有参考价值。

当前挑战

该数据集所面临的挑战首先体现在领域问题的复杂性上：尽管任务定义为抓取黄色立方体，但机器人需在非结构化环境中准确识别目标物体，并应对光照变化、遮挡及物体位姿差异带来的视觉歧义，这要求算法具备鲁棒的视觉感知与精确的关节空间映射能力。此外，构建过程中的挑战同样显著——数据集仅包含15个示范片段，样本规模极小，且所有数据均来自同一机器人平台（otter_follower），缺乏跨平台与跨场景的多样性，易导致模型过拟合。同时，动作空间与状态空间均采用相同的6维关节表示，未引入力觉或触觉反馈，限制了模型对抓取成功率与物体物理属性的推断。这些因素共同构成了在有限数据与感知维度下实现可靠、可泛化操作策略的核心瓶颈。

常用场景

经典使用场景

在机器人操作学习领域，pick_yellow_cube-fixed_01数据集为模仿学习与行为克隆算法的验证提供了精炼而专注的基准。该数据集聚焦于单一任务——机械臂抓取固定位置的黄色立方体，通过15个演示片段、近7000帧高保真视觉与运动状态记录，构建了从观测到动作的端到端映射。研究者可借此训练策略网络，在固定场景下复现精准的抓取动作，评估模型在有限数据下的泛化能力与动作平滑性，是探索少样本模仿学习方法的理想起点。

解决学术问题

该数据集直面机器人操作中数据稀缺与动作精确性之间的核心矛盾。通过提供标准化的多模态观测（包括前视与左视相机图像）及六自由度关节动作标签，它使学术研究得以在可控条件下量化分析不同模仿学习架构（如扩散策略或基于Transformer的策略）的性能差异。其意义在于为机器人技能习得领域提供了一个可复现的基线场景，推动了对动作空间连续性、视觉特征对齐以及数据效率等关键科学问题的深入理解。

衍生相关工作

围绕该数据集，衍生出一系列探索模仿学习鲁棒性的经典工作。研究者常基于其固定场景特性，引入视觉扰动或目标位置微小偏移来测试策略的泛化边界；或将其作为预训练数据集，结合后续的微调方法（如元学习或领域随机化）以应对更复杂的操作环境。此外，该数据集的简洁结构也催生了关于动作分块、时序建模以及多视角融合的消融实验，为LeRobot生态下的机器人学习基准提供了重要的参考锚点。