push_block_lerobot30

该数据集由LeRobot创建，主要用于机器人技术领域。数据集包含25个episodes，总计2208帧，涉及1个任务。数据以parquet格式存储，视频以mp4格式存储。数据集包含多种特征，如动作（14个关节的控制数据）、观察状态（14个关节的状态数据）、主摄像头和辅助摄像头拍摄的图像（256x256分辨率，3通道，10fps）、时间戳、帧索引、episode索引、任务索引等。数据块大小为1000，帧率为10fps。数据集总大小为100MB（数据文件）和200MB（视频文件）。

原始信息汇总

数据集概述

基本信息

• 数据集名称: push_block_lerobot30
• 创建工具: LeRobot
• 许可证: Apache-2.0
• 任务类别: 机器人学
• 标签: LeRobot

数据集规模

• 总情节数: 25
• 总帧数: 2208
• 总任务数: 1
• 数据块大小: 1000
• 帧率: 10 FPS
• 数据文件总大小: 100 MB
• 视频文件总大小: 200 MB

数据集结构

• 数据分割: 训练集（包含所有25个情节）
• 数据文件格式: Parquet
• 数据文件路径模式: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频文件路径模式: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4

数据特征

动作

• 数据类型: float32
• 形状: [14]
• 关节命名:
  • left_joint_0 至 left_joint_6
  • right_joint_0 至 right_joint_6
• 帧率: 10 FPS

观测状态

• 数据类型: float32
• 形状: [14]
• 关节命名:
  • left_joint_0 至 left_joint_6
  • right_joint_0 至 right_joint_6
• 帧率: 10 FPS

观测图像（主摄像头）

• 数据类型: 视频
• 形状: [256, 256, 3]
• 维度命名: 高度、宽度、通道数
• 视频信息:
  • 高度: 256
  • 宽度: 256
  • 编解码器: av1
  • 像素格式: yuv420p
  • 是否为深度图: 否
  • 帧率: 10 FPS
  • 通道数: 3
  • 包含音频: 否

观测图像（次要摄像头0）

• 数据类型: 视频
• 形状: [256, 256, 3]
• 维度命名: 高度、宽度、通道数
• 视频信息:
  • 高度: 256
  • 宽度: 256
  • 编解码器: av1
  • 像素格式: yuv420p
  • 是否为深度图: 否
  • 帧率: 10 FPS
  • 通道数: 3
  • 包含音频: 否

观测图像（次要摄像头1）

• 数据类型: 视频
• 形状: [256, 256, 3]
• 维度命名: 高度、宽度、通道数
• 视频信息:
  • 高度: 256
  • 宽度: 256
  • 编解码器: av1
  • 像素格式: yuv420p
  • 是否为深度图: 否
  • 帧率: 10 FPS
  • 通道数: 3
  • 包含音频: 否

元数据

• 时间戳: float32, 形状 [1], 帧率 10 FPS
• 帧索引: int64, 形状 [1], 帧率 10 FPS
• 情节索引: int64, 形状 [1], 帧率 10 FPS
• 索引: int64, 形状 [1], 帧率 10 FPS
• 任务索引: int64, 形状 [1], 帧率 10 FPS

技术细节

• 代码库版本: v3.0
• 机器人类型: zeno

搜集汇总

数据集介绍

构建方式

在机器人操作领域，数据集的构建对于推动模仿学习与强化学习算法的进展至关重要。push_block_lerobot30数据集依托LeRobot平台，通过Zeno机器人执行推块任务采集而成。该数据集包含25个完整的情节，总计2208帧数据，以每秒10帧的速率记录。数据以分块形式存储于Parquet文件中，每块约1000帧，同时配有对应的MP4格式视频文件，确保了动作序列与视觉观测的同步对齐。

特点

该数据集在机器人操作任务中展现出多模态特性，不仅包含14维的关节动作与状态向量，还提供了三路256x256分辨率的RGB视频流，分别对应主视角与两个辅助视角。所有数据均以10Hz频率采样，保证了时序一致性。数据集结构清晰，通过索引字段如帧索引、情节索引等便于追踪数据来源，整体设计兼顾了算法训练所需的丰富观测信息与高效存储需求。

使用方法

研究人员可利用该数据集进行机器人操作策略的学习与验证。数据以标准Parquet格式提供，可直接通过LeRobot工具加载，支持从动作预测到视觉模仿等多种任务。训练时可根据情节索引划分数据，结合关节状态与多视角图像输入，构建端到端的控制模型。视频数据采用AV1编码压缩，在保证质量的同时减少了存储开销，适合大规模分布式训练环境。

背景与挑战

背景概述

在机器人学习领域，模仿学习与强化学习的发展亟需高质量、标准化的真实世界交互数据集。push_block_lerobot30数据集应运而生，由HuggingFace的LeRobot项目团队创建，旨在为机器人操作任务提供可复现的基准数据。该数据集聚焦于推动方块这一经典操作任务，通过双机械臂系统记录关节状态、多视角视觉观测及时间戳信息，为研究机器人动作规划与感知控制提供了结构化数据支持。其采用Apache 2.0开源协议，体现了开放科学精神，促进了机器人学习社区的协作创新。

当前挑战

该数据集致力于解决机器人操作任务中动作与感知的联合建模挑战，尤其在复杂物理交互环境下推动物体的精确控制问题。构建过程中面临多重困难：真实世界数据采集需协调机械臂运动与多摄像头同步，确保时间对齐与数据一致性；大规模视频与状态数据的存储与处理对计算资源提出较高要求；此外，数据标注与结构化组织需平衡信息丰富性与访问效率，以支持端到端学习算法的训练与验证。

常用场景

经典使用场景

在机器人操作学习领域，push_block_lerobot30数据集为研究双臂机器人执行物体推动任务提供了宝贵的示范数据。该数据集通过记录机器人关节状态、多视角视觉观测与对应动作序列，构建了从感知到控制的完整交互轨迹。这些数据能够支持模仿学习与强化学习算法的训练，使机器人能够学习如何协调双臂，以稳定且高效地完成推动方块这一基础操作任务。

解决学术问题

该数据集直接应对机器人学习中的示范数据稀缺与多模态对齐问题。它提供了结构化的状态-动作对，有助于解决从高维视觉输入到低维关节控制指令的映射难题。通过包含精确的时间戳与帧索引，数据集支持对时序决策过程的研究，为算法在动态环境中的泛化能力与样本效率提升提供了实证基础，推动了端到端机器人技能学习的发展。

衍生相关工作

围绕此类机器人操作数据集，学术界衍生出诸多经典研究方向。例如，基于示范的模仿学习算法（如行为克隆）可直接利用此类数据进行策略训练。同时，它也为离线强化学习、世界模型构建以及多任务迁移学习提供了基准测试环境。相关研究进一步探索了如何从有限演示中提取技能先验，或结合仿真与真实数据以加速学习进程，不断拓展数据在机器人智能中的价值边界。