lerobot_pp_green_brick_3

该数据集是通过LeRobot创建的，主要用于机器人技术领域。数据集包含75个episodes，26475帧，1个任务，数据文件大小为100MB，视频文件大小为500MB，帧率为30fps。数据集中包含动作、观测状态、前视和侧视图像等多种特征。

原始信息汇总

数据集概述

基本信息

• 数据集名称: lerobot_pp_green_brick_3
• 创建工具: LeRobot (https://github.com/huggingface/lerobot)
• 许可证: Apache-2.0
• 任务类别: 机器人学

数据集规模与结构

• 总情节数: 75
• 总帧数: 26475
• 总任务数: 1
• 数据文件大小: 100 MB
• 视频文件大小: 500 MB
• 帧率: 30 FPS
• 分块大小: 1000
• 数据分割: 训练集 (0:75)
• 数据文件路径模式: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频文件路径模式: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4

数据特征

动作

• 数据类型: float32
• 形状: [6]
• 名称:
  • shoulder_pan.pos
  • shoulder_lift.pos
  • elbow_flex.pos
  • wrist_flex.pos
  • wrist_roll.pos
  • gripper.pos

观测状态

• 数据类型: float32
• 形状: [6]
• 名称:
  • shoulder_pan.pos
  • shoulder_lift.pos
  • elbow_flex.pos
  • wrist_flex.pos
  • wrist_roll.pos
  • gripper.pos

观测图像（前视）

• 数据类型: video
• 形状: [480, 640, 3]
• 名称:
  • height
  • width
  • channels
• 视频信息:
  • 视频高度: 480
  • 视频宽度: 640
  • 视频编解码器: av1
  • 像素格式: yuv420p
  • 是否为深度图: false
  • 帧率: 30
  • 通道数: 3
  • 包含音频: false

观测图像（侧视）

• 数据类型: video
• 形状: [480, 640, 3]
• 名称:
  • height
  • width
  • channels
• 视频信息:
  • 视频高度: 480
  • 视频宽度: 640
  • 视频编解码器: av1
  • 像素格式: yuv420p
  • 是否为深度图: false
  • 帧率: 30
  • 通道数: 3
  • 包含音频: false

元数据

• 时间戳: 数据类型 float32，形状 [1]
• 帧索引: 数据类型 int64，形状 [1]
• 情节索引: 数据类型 int64，形状 [1]
• 索引: 数据类型 int64，形状 [1]
• 任务索引: 数据类型 int64，形状 [1]

其他信息

• 代码库版本: v3.0
• 机器人类型: so101_follower
• 主页: 信息缺失
• 论文: 信息缺失
• 引用格式: 信息缺失

搜集汇总

数据集介绍

构建方式

在机器人学习领域，高质量的数据集对于算法训练至关重要。lerobot_pp_green_brick_3数据集依托LeRobot平台构建，通过实际机器人操作采集了75个完整任务片段，总计包含26475帧数据。数据以分块形式存储于Parquet文件中，每块约1000帧，确保了高效的数据管理与读取。采集过程中，机器人执行单一任务，并以30帧每秒的速率同步记录关节状态、前视与侧视图像等多模态信息，为后续的模仿学习或强化学习研究提供了结构化的原始数据基础。

特点

该数据集在机器人操作数据领域展现出鲜明的技术特色。其核心在于提供了丰富的多模态观测信息，不仅包含六自由度机械臂的关节位置作为状态与动作向量，还同步采集了前视与侧视两个角度的RGB视频流，分辨率均为640x480，编码格式为AV1。数据组织遵循严格的时序结构，每帧均附带时间戳、帧索引及片段索引，便于进行时序建模分析。所有数据均经过规范化处理，存储为浮点或整数格式，且视频与状态数据在时间上精确对齐，为端到端的策略学习创造了理想条件。

使用方法

为有效利用该数据集进行机器人学习研究，研究者可通过LeRobot提供的标准数据加载接口访问数据。数据集已预分为训练集，涵盖全部75个任务片段。在具体应用中，可并行加载Parquet格式的状态动作数据与MP4格式的视频文件，依据帧索引进行对齐。典型的应用场景包括训练视觉运动策略网络，其中以前视或侧视图像作为观测输入，以关节位置作为监督信号。得益于其统一的数据结构和清晰的元信息定义，该数据集能够无缝集成到主流机器学习框架中，加速机器人控制算法的开发与验证流程。

背景与挑战

背景概述

在机器人学习领域，高质量的真实世界交互数据对于推动模仿学习与强化学习算法的进步至关重要。lerobot_pp_green_brick_3数据集由LeRobot项目团队构建，该项目致力于为机器人社区提供开源、标准化的数据收集与处理框架。该数据集聚焦于机械臂操作任务，具体记录了SO101型跟随机器人在执行单一任务（如抓取或移动绿色积木）过程中的多模态交互轨迹。它包含了75条完整 episode，总计超过26000帧数据，融合了关节状态、前视与侧视图像视频流以及精确的时间戳信息，旨在为机器人策略学习提供丰富的监督信号。其采用Apache 2.0开源协议，体现了开放科学的精神，有助于降低机器人研究的入门门槛并促进算法比较与复现。

当前挑战

该数据集旨在应对机器人操作任务中策略泛化与样本效率的核心挑战。真实世界的机械臂控制需处理高维连续动作空间与复杂视觉观测的映射关系，且动态环境中的微小扰动可能导致任务失败，因此算法需从有限演示中学习鲁棒且精确的控制策略。在构建过程中，数据采集面临诸多工程难题：多传感器（关节编码器与相机）的时间同步需达到毫秒级精度以确保状态与观测的一致性；大规模视频数据（约500MB）的高效压缩与存储需平衡质量与读写速度；此外，确保episode覆盖任务的自然轨迹变化性，避免演示偏差，从而提升学习策略的泛化能力，亦是数据收集设计的关键考量。

常用场景

经典使用场景

在机器人学习领域，lerobot_pp_green_brick_3数据集以其多模态数据特性，为模仿学习与强化学习算法的训练提供了经典范例。该数据集记录了机械臂执行绿色积木抓取任务的完整轨迹，包含关节状态、视觉观测与动作指令，使得研究者能够基于真实交互数据构建端到端的控制策略。通过整合前视与侧视摄像头视频流，数据集支持视觉-动作映射模型的开发，促进了机器人从感知到决策的闭环学习过程。

解决学术问题

该数据集有效应对了机器人学中样本效率低下与仿真到现实迁移的挑战。其提供的真实世界交互数据降低了强化学习对仿真环境的依赖，为研究离线强化学习与行为克隆算法提供了高质量基准。数据集涵盖的连续状态-动作空间有助于探索高维观测下的策略泛化能力，解决了复杂任务中动态建模与长期规划的理论难题，推动了数据驱动机器人控制方法的学术进展。

衍生相关工作

围绕该数据集衍生的经典工作主要集中在视觉运动策略学习领域。研究者利用其多模态序列数据开发了基于Transformer的轨迹预测模型，以及结合扩散模型的生成式规划方法。数据集亦被用于评估跨任务迁移学习框架的性能，催生了如动作分割、状态表示学习等方向的研究。这些工作显著丰富了机器人学习社区的算法库，并为后续大规模机器人数据集的构建提供了范式参考。