red_lego_pickup_v2

该数据集由LeRobot创建，专注于机器人技术领域。数据集包含51个任务片段，总计35,911帧数据，数据文件大小为100MB，视频文件大小为200MB。数据以30帧每秒的速率采集，存储为parquet格式。数据集包含多种特征，如动作数据（包括6个关节位置）、观测状态（同样包括6个关节位置）、来自头顶和手腕摄像头的视频数据（分辨率分别为480x640和640x480，3通道），以及时间戳、帧索引、任务索引等元数据。视频数据使用AV1编码，YUV420p像素格式，无音频。数据集适用于机器人控制、行为学习等任务，采用Apache-2.0许可证。

This dataset was developed by LeRobot and focuses on the field of robotics. It consists of 51 task segments, with a total of 35,911 frames of data. The data files have a size of 100 MB, while the video files total 200 MB. The data was collected at 30 frames per second (FPS) and stored in Parquet format. The dataset encompasses various features: action data (comprising 6 joint positions), observation states (also including 6 joint positions), video data captured by the overhead and wrist cameras (with resolutions of 480×640 and 640×480 respectively, 3-channel), as well as metadata such as timestamps, frame indices, and task indices. The video data employs AV1 encoding, uses the YUV420p pixel format, and contains no audio. This dataset is applicable to tasks including robot control and behavior learning, and is licensed under Apache-2.0.

原始信息汇总

数据集概述

基本信息

• 数据集名称: red_lego_pickup_v2
• 创建工具: LeRobot
• 许可证: Apache-2.0
• 任务类别: 机器人学

数据集规模

• 总情节数: 51
• 总帧数: 35911
• 总任务数: 1
• 数据文件大小: 100 MB
• 视频文件大小: 200 MB
• 帧率: 30 FPS

数据结构

• 数据格式: Parquet
• 数据文件路径模式: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频文件路径模式: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4
• 分块大小: 1000
• 数据划分: 训练集 (0:51)

特征描述

• action: 浮点32数组，形状[6]，包含肩部平移、肩部升降、肘部弯曲、腕部弯曲、腕部旋转、夹爪的位置。
• observation.state: 浮点32数组，形状[6]，包含与action相同的关节位置状态。
• observation.images.overhead: 视频数据，形状[480, 640, 3]，编码格式AV1，像素格式yuv420p，非深度图，无音频。
• observation.images.wrist: 视频数据，形状[640, 480, 3]，编码格式AV1，像素格式yuv420p，非深度图，无音频。
• timestamp: 浮点32数组，形状[1]。
• frame_index: 整型64数组，形状[1]。
• episode_index: 整型64数组，形状[1]。
• index: 整型64数组，形状[1]。
• task_index: 整型64数组，形状[1]。

元数据

• 代码库版本: v3.0
• 机器人类型: so_follower

相关链接

• 数据集主页: https://huggingface.co/datasets/Powerbanane/red_lego_pickup_v2
• 可视化页面: https://huggingface.co/spaces/lerobot/visualize_dataset?path=Powerbanane/red_lego_pickup_v2

搜集汇总

数据集介绍

构建方式

在机器人操作任务的数据采集领域，red_lego_pickup_v2数据集通过LeRobot平台精心构建而成。该平台驱动so_follower型机器人执行单一的红色乐高拾取任务，以30帧每秒的速率同步记录多模态数据。整个采集过程包含51个完整操作片段，累计生成35911帧数据，并以分块存储的Parquet格式高效组织，确保了数据序列的完整性与访问效率。

特点

该数据集在机器人学习领域展现出显著的多模态与结构化特征。其核心在于同步提供了机器人的六维关节动作指令、对应的关节状态观测，以及来自顶部与腕部摄像头的双视角RGB视频流，共同构成了丰富的状态-动作对序列。数据以明确的时空索引进行标注，包括时间戳、帧索引与片段索引，支持对长时序操作行为的精细分析，为模仿学习与强化学习算法提供了高质量的仿真训练环境。

使用方法

研究者可利用该数据集进行机器人操作策略的端到端学习。数据以分块Parquet文件形式存储，可通过标准数据加载流程读取。典型的应用流程包括：解析动作与状态特征以训练决策模型，同时利用顶部与腕部视角的图像序列进行视觉感知与手眼协调能力的建模。数据集已预设训练集划分，涵盖全部51个操作片段，可直接用于模型训练与验证，推动机器人抓取与操控技术的算法发展。

背景与挑战

背景概述

在机器人学习领域，模仿学习与强化学习的发展亟需高质量、多模态的真实世界交互数据集作为支撑。red_lego_pickup_v2数据集应运而生，它由LeRobot开源项目创建，专注于机器人操作任务，具体涉及使用六自由度机械臂完成红色乐高积木的拾取动作。该数据集收录了51个完整交互片段，总计超过三万五千帧数据，融合了关节状态、动作指令以及来自顶部与腕部摄像头的视觉观测，为研究机器人从视觉感知到动作执行的端到端策略学习提供了宝贵的实验资源。

当前挑战

该数据集旨在应对机器人灵巧操作中的核心挑战，即如何从高维视觉与状态观测中学习出精确、鲁棒的控制策略，以完成具体的物体操控任务。在构建过程中，挑战主要集中于多模态数据的精确同步与对齐，确保来自不同传感器（如关节编码器与多个摄像头）的数据流在时间戳上保持一致。同时，数据采集过程需要克服机器人动作的随机性与环境干扰，以收集到足够多样且覆盖任务分布的有效交互数据，避免策略学习陷入局部最优或过拟合于有限的演示轨迹。

常用场景

经典使用场景

在机器人操作领域，red_lego_pickup_v2数据集为模仿学习算法的训练提供了关键支持。该数据集记录了机械臂执行拾取红色乐高积木任务时的多模态数据，包括关节位置、俯视与腕部摄像头视频流，以及时间戳等元数据。研究者利用这些序列化的交互数据，能够训练端到端的策略模型，使机器人学习从视觉感知到动作执行的映射关系，从而在模拟或真实环境中复现精细的抓取操作。

衍生相关工作

围绕该数据集，衍生出了一系列专注于视觉模仿学习与机器人操作的研究工作。例如，基于LeRobot框架的算法开发常利用此类数据进行策略蒸馏与强化学习训练，探索多模态表示下的动作预测。相关研究进一步扩展至跨任务泛化、领域自适应等方向，推动了如行为克隆、逆强化学习等方法在真实机器人平台上的验证与优化，形成了机器人学习社区中的重要基准资源。

数据集最近研究

最新研究方向

在机器人操作学习领域，视觉与动作数据的融合正成为推动智能体泛化能力提升的关键。red_lego_pickup_v2数据集以其多视角图像流与关节状态序列的同步记录，为模仿学习与强化学习算法提供了丰富的训练素材。当前研究热点聚焦于利用此类数据集训练端到端的策略网络，旨在实现从原始像素到机械臂动作的直接映射，从而降低对精确环境建模的依赖。随着LeRobot等开源平台的普及，数据驱动的机器人技能学习正加速向实际应用场景渗透，该数据集在推动家庭服务机器人精细操作任务方面展现出潜在价值，为跨领域技能迁移与少样本学习提供了实证基础。