research_pick_up_the_blue_cylinder

该数据集是由LeRobot创建的机器人领域数据集，包含20个episodes和11606帧数据。数据集记录了so101_follower类型机器人的动作（包括肩部、肘部、手腕和夹爪的位置）、观测状态（与动作相同）、顶部和侧面视角的图像（480x640分辨率，30fps）、时间戳等信息。数据以parquet格式存储，总数据文件大小为100MB，视频文件大小为200MB。

原始信息汇总

数据集概述

基本信息

• 数据集名称: research_pick_up_the_blue_cylinder
• 创建工具: LeRobot (https://github.com/huggingface/lerobot)
• 许可协议: apache-2.0
• 任务类别: 机器人学

数据集规模与结构

• 总情节数: 20
• 总帧数: 11606
• 总任务数: 1
• 数据分块大小: 1000
• 数据文件大小: 100 MB
• 视频文件大小: 200 MB
• 帧率: 30 FPS
• 数据分割: 训练集 (0:20)
• 代码库版本: v3.0
• 机器人类型: so101_follower

数据文件路径

• 数据路径: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频路径: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4

数据特征

动作

• 数据类型: float32
• 形状: [6]
• 名称: shoulder_pan.pos, shoulder_lift.pos, elbow_flex.pos, wrist_flex.pos, wrist_roll.pos, gripper.pos

观测状态

• 数据类型: float32
• 形状: [6]
• 名称: shoulder_pan.pos, shoulder_lift.pos, elbow_flex.pos, wrist_flex.pos, wrist_roll.pos, gripper.pos

观测图像（顶部）

• 数据类型: video
• 形状: [480, 640, 3]
• 名称: height, width, channels
• 视频信息:
  • 高度: 480
  • 宽度: 640
  • 编解码器: av1
  • 像素格式: yuv420p
  • 是否为深度图: false
  • 帧率: 30
  • 通道数: 3
  • 是否包含音频: false

观测图像（侧面）

• 数据类型: video
• 形状: [480, 640, 3]
• 名称: height, width, channels
• 视频信息:
  • 高度: 480
  • 宽度: 640
  • 编解码器: av1
  • 像素格式: yuv420p
  • 是否为深度图: false
  • 帧率: 30
  • 通道数: 3
  • 是否包含音频: false

元数据

• 时间戳: 数据类型 float32，形状 [1]
• 帧索引: 数据类型 int64，形状 [1]
• 情节索引: 数据类型 int64，形状 [1]
• 索引: 数据类型 int64，形状 [1]
• 任务索引: 数据类型 int64，形状 [1]

引用信息

• 主页: [More Information Needed]
• 论文: [More Information Needed]
• BibTeX: [More Information Needed]

搜集汇总

数据集介绍

构建方式

在机器人操作任务研究领域，数据集的构建往往依赖于实际物理系统的交互记录。该数据集通过LeRobot平台，利用so101_follower型机器人执行拾取蓝色圆柱体的单一任务，系统采集了20个完整交互片段，共计11606帧数据。数据以分块形式存储于Parquet文件中，每块包含1000帧，同时配有从顶部和侧面视角拍摄的同步视频流，帧率为30fps，视频编码采用AV1格式，确保了数据的高效压缩与保真度。

特点

该数据集在机器人学习领域展现出多模态融合的显著特点，不仅包含六维关节位置的动作指令与状态观测，还整合了双视角视觉信息，为模仿学习与强化学习算法提供了丰富的感知输入。数据结构层次分明，通过时间戳、帧索引与片段索引实现了精确的时序对齐，便于研究者进行序列建模分析。数据集规模适中，兼顾了训练效率与任务复杂性，其统一的Apache 2.0许可协议也促进了学术界的开放共享与二次开发。

使用方法

研究者可通过加载Parquet格式的数据文件，便捷地访问动作、状态及图像特征。数据集已预设训练划分，涵盖全部20个交互片段，适用于端到端策略学习或行为克隆模型的训练。在具体应用中，用户可依据帧索引重建任务执行序列，结合双路视频流进行视觉表征学习，或利用关节空间数据研究机器人运动规划。该数据集的设计充分考虑了工程实践的便利性，支持直接集成于基于LeRobot的仿真或实体机器人实验流程中。

背景与挑战

背景概述

在机器人操作学习领域，模仿学习与强化学习等方法依赖于高质量、大规模的真实世界交互数据。research_pick_up_the_blue_cylinder数据集应运而生，它由HuggingFace的LeRobot项目创建，专注于解决机器人执行具体物体抓取任务的数据需求。该数据集通过搭载so101_follower型机器人，采集了包含20个完整交互片段、共计11606帧的多模态数据，涵盖了关节状态、视觉观测与动作指令等信息。其核心研究问题在于如何构建一个能够支持端到端策略学习的标准化数据集，以推动机器人灵巧操作技术的实际应用与算法验证，对促进开源机器人社区的数据共享与模型复现具有积极意义。

当前挑战

该数据集旨在解决机器人操作中基于视觉的物体抓取与操控这一经典问题，其挑战首先体现在任务本身的复杂性上：机器人需在动态环境中精准识别蓝色圆柱体，并协调多自由度机械臂完成抓取动作，这对模型的感知精度与运动规划能力提出了极高要求。在构建过程中，挑战同样显著，包括确保多视角视频数据与关节状态数据的严格同步、处理大规模高帧率视频流带来的存储与计算负担，以及在不同光照与背景干扰下维持数据标注的一致性与可靠性。这些挑战共同构成了数据集在推动机器人学习研究向前发展时必须克服的技术壁垒。

常用场景

经典使用场景

在机器人操作领域，数据集research_pick_up_the_blue_cylinder为机械臂抓取任务提供了丰富的多模态数据。该数据集记录了机器人执行拾取蓝色圆柱体动作的全过程，包含关节位置状态、视觉图像序列及时间戳信息。研究人员可基于此数据集训练端到端的模仿学习模型，使机器人从视觉观察中学习精确的运动控制策略，实现物体抓取任务的自动化执行。

解决学术问题

该数据集有效解决了机器人模仿学习中样本效率低下与泛化能力不足的学术难题。通过提供结构化、多视角的演示数据，它支持研究者探索从高维视觉输入到低维动作空间的映射方法，促进基于深度强化学习与行为克隆算法的性能提升。其意义在于为机器人操作任务建立了可复现的基准，推动了具身智能在复杂环境中的决策与执行能力研究。

衍生相关工作

围绕该数据集，学术界衍生出多项经典研究工作，包括基于视觉-动作对齐的跨模态表示学习框架，以及结合时序预测的机器人操作策略优化方法。这些工作进一步扩展了数据集的利用范围，推动了机器人感知与控制一体化模型的发展，并为后续的大规模机器人数据集构建提供了范式参考。