pick_yellow_cube_1

这是一个使用LeRobot工具创建的数据集，包含24个剧集，共11111帧，专注于单一任务。数据以Parquet文件格式存储，并包括对应的视频文件。数据集的结构包括动作、观察状态、图像、时间戳、帧索引、剧集索引、索引和任务索引等特征。数据集的帧率为30fps，且视频文件不包含音频。

This is a dataset created with the LeRobot toolkit, which contains 24 episodes totaling 11111 frames and focuses on a single task. The data is stored in Parquet file format, with corresponding video files included. The dataset structure encompasses features such as actions, observation states, images, timestamps, frame indices, episode indices, indices, and task indices. The frame rate of the dataset is 30fps, and the video files do not contain audio.

原始信息汇总

数据集概述

基本信息

• 名称: pick_yellow_cube_1
• 许可证: Apache-2.0
• 任务类别: 机器人技术
• 标签: LeRobot
• 创建工具: LeRobot (https://github.com/huggingface/lerobot)

数据集规模

• 总任务数: 1
• 总情节数: 24
• 总帧数: 11111
• 数据切分: 训练集 (0:24)

技术规格

• 帧率: 30 FPS
• 数据块大小: 1000
• 数据文件大小: 100 MB
• 视频文件大小: 500 MB
• 代码库版本: v3.0
• 机器人类型: so101_follower

数据结构

数据文件路径

• 数据: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4

特征字段

动作特征

• 名称: action
• 数据类型: float32
• 维度: [6]
• 关节位置:
  • shoulder_pan.pos
  • shoulder_lift.pos
  • elbow_flex.pos
  • wrist_flex.pos
  • wrist_roll.pos
  • gripper.pos

观测特征

• 状态观测: observation.state

  • 数据类型: float32
  • 维度: [6]
  • 包含相同的6个关节位置

• 图像观测: observation.images.front

  • 数据类型: video
  • 分辨率: 1080×1920×3
  • 视频编码: av1
  • 像素格式: yuv420p
  • 非深度图
  • 无音频

索引特征

• 时间戳: timestamp (float32, [1])
• 帧索引: frame_index (int64, [1])
• 情节索引: episode_index (int64, [1])
• 数据索引: index (int64, [1])
• 任务索引: task_index (int64, [1])

引用信息

• 主页: 信息缺失
• 论文: 信息缺失
• BibTeX引用: 信息缺失

搜集汇总

数据集介绍

构建方式

在机器人操作任务研究领域，pick_yellow_cube_1数据集通过LeRobot平台系统采集了24个完整操作序列，涵盖11111帧时序数据。该数据集采用分块存储架构，将机械臂关节角度、夹爪状态与1080P前端视觉观测数据同步记录于parquet格式文件中，并以30Hz采样频率完整保留了执行黄色立方体抓取任务时的多模态交互轨迹。

特点

该数据集显著特征在于融合了六自由度机械臂的关节位置控制指令与高分辨率视觉感知信息，其动作空间包含肩部平移、肩部抬升、肘部弯曲等六个维度的连续控制参数。观测特征不仅包含与动作空间对称的关节状态反馈，还整合了1920×1080像素的RGB视频流，形成了适用于模仿学习与策略优化的结构化多模态表征体系。

使用方法

研究者可通过加载标准parquet数据文件访问时空对齐的多模态序列，利用episode_index与frame_index实现操作轨迹的精确检索。训练时可提取observation.images.front作为视觉输入，结合observation.state构建状态表征，动作标签则直接对应于action空间的六维连续向量。数据集已预置训练划分，支持端到端机器人操作策略的监督学习与行为克隆算法验证。

背景与挑战

背景概述

随着机器人技术在工业自动化和服务领域的深入应用，机器人操作任务的数据集构建成为推动算法发展的关键环节。pick_yellow_cube_1数据集由LeRobot团队基于Apache 2.0协议创建，采用so101_follower型机器人采集了24个完整操作序列，共计11111帧多模态数据。该数据集聚焦于机械臂抓取黄色立方体的特定任务，通过记录关节位置、视觉观测与时间戳等结构化特征，为机器人模仿学习与强化学习研究提供了标准化实验平台。其高分辨率视觉数据与精确的动作标注体系，显著提升了机器人操作策略在真实场景中的泛化能力。

当前挑战

机器人操作任务面临动作空间连续性与环境感知不确定性的双重挑战，需在复杂物理交互中实现毫米级精度控制。数据集构建过程中存在多传感器时序同步难题，高维视频数据压缩存储易导致信息损失，且机械臂轨迹标注需保持动力学约束的一致性。此外，有限的任务场景与样本规模可能制约模型在异构物体抓取任务中的迁移性能，如何平衡数据采集效率与动作多样性仍是亟待突破的瓶颈。

常用场景

经典使用场景

在机器人操作学习领域，pick_yellow_cube_1数据集作为LeRobot框架下的示范性资源，专注于机械臂抓取黄色立方体的动作序列记录。该数据集通过高精度关节位置数据与高清视觉观测，为模仿学习算法提供了完整的动作-状态对应关系，成为训练机器人执行基础抓取任务的标准化基准。

实际应用

在工业自动化场景中，该数据集可直接应用于装配线物料分拣系统的开发。基于数据驱动的抓取策略能够适应不同光照条件下的物体识别，其记录的六自由度机械臂运动轨迹为仓储物流领域的自主抓取机器人提供了可复用的动作模板。

衍生相关工作

以该数据集为基础衍生了多项机器人学习研究，包括基于时空注意力的抓取轨迹预测模型、多模态感知的抓取成功率评估框架等。这些工作通过扩展数据集的表征学习能力，逐步构建起从单任务模仿到多任务迁移的技术体系。