piper_pickplace_leftmost_green_shampoo_20251110_with_markers

该数据集是由LeRobot创建的机器人数据集，包含30个episode，共13447帧数据，专注于单个任务。数据集包含动作、状态和两种视角的图像特征，并提供了对应的视频文件。所有数据遵循apache-2.0协议。

原始信息汇总

数据集概述

基本信息

• 许可证: Apache-2.0
• 任务类别: 机器人学
• 标签: LeRobot
• 创建工具: LeRobot

数据集规模

• 总任务数: 1
• 总回合数: 30
• 总帧数: 13447
• 数据文件大小: 100 MB
• 视频文件大小: 500 MB
• 帧率: 30 FPS
• 数据块大小: 1000

数据结构

数据分割

• 训练集: 0-30回合

数据特征

动作空间

• 数据类型: float32
• 维度: 7
• 关节位置控制:
  • shoulder_pan.pos
  • shoulder_lift.pos
  • elbow_flex.pos
  • wrist_roll.pos
  • wrist_flex.pos
  • gripper_roll.pos
  • gripper.pos

状态观测

• 数据类型: float32
• 维度: 14
• 包含信息:
  • 关节位置: shoulder_pan.pos 至 gripper.pos
  • 关节力矩: shoulder_pan.eff 至 gripper.eff

图像观测

前视相机:

• 分辨率: 640×480×3
• 格式: 视频(av1编码)
• 帧率: 30 FPS

腕部相机:

• 分辨率: 1280×720×3
• 格式: 视频(av1编码)
• 帧率: 30 FPS

元数据特征

• 里程碑帧标记: bool[1]
• 时间戳: float32[1]
• 帧索引: int64[1]
• 回合索引: int64[1]
• 任务索引: int64[1]
• 全局索引: int64[1]
• 前视相机标记位置: float32[2] (x,y坐标)

技术信息

• 代码库版本: v3.0
• 机器人类型: piper_follower
• 数据格式: Parquet
• 存储路径模式:
  • 数据: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
  • 视频: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4

搜集汇总

数据集介绍

构建方式

在机器人操作任务研究领域，该数据集通过LeRobot平台系统采集，采用Piper跟随机器人执行单一拾取放置任务。数据采集过程涵盖30个完整操作序列，总计13447帧图像与状态记录，以1000帧为单元进行分块存储。数据文件采用Parquet格式高效组织，同时配备前视与腕部双视角视频流，帧率稳定在30fps，确保了时序动作与视觉观测的精确对齐。

特点

本数据集的核心特征在于其多维度的机器人状态记录，包含7自由度关节位置控制指令与14维本体状态观测。视觉数据方面提供480×640前视视角与720×1280腕部视角的双路高清视频，并标注了关键帧标识与时间戳信息。独特之处在于集成了前视相机标记物坐标追踪，为空间定位研究提供了精确的参考基准，所有数据均通过严格的时间同步处理。

使用方法

研究者可通过加载标准Parquet数据文件访问结构化观测与动作序列，利用帧索引与分块机制实现高效数据流处理。训练集包含全部30个任务序列，支持直接从视频路径调用视觉数据辅以状态参数。该数据集适用于模仿学习与策略优化研究，双视角视频与标记物坐标的结合为三维空间动作理解提供了丰富的研究素材。

背景与挑战

背景概述

机器人操作任务数据集作为智能系统开发的核心资源，其构建旨在推动机械臂自主控制技术的发展。该数据集由LeRobot研究团队于2025年创建，聚焦于Piper型机械臂在特定场景下的抓取放置操作，通过整合多模态传感器数据记录机械臂关节运动轨迹与视觉感知信息。其核心研究价值在于为机器人动作规划与视觉伺服控制提供结构化训练样本，对强化学习在实体机器人中的应用具有重要推动作用。

当前挑战

该数据集需解决机器人操作中视觉-动作协同映射的经典难题，包括高维动作空间的策略优化与多视角视觉特征的对齐问题。在构建过程中面临传感器时序同步、机械臂运动轨迹噪声抑制等工程挑战，同时需确保标记点坐标数据的空间精度与视频流数据的存储效率之间的平衡。

常用场景

经典使用场景

在机器人操作任务研究中，该数据集为机械臂抓取与放置任务提供了标准化的实验基准。通过记录Piper机器人在特定场景下执行左端绿色洗发水瓶抓取动作的完整轨迹，包括多视角视觉观测与关节控制指令，该数据集成为验证模仿学习与强化学习算法的理想平台。研究者可利用其丰富的状态-动作对序列，训练端到端的策略网络，实现从感知到控制的闭环学习。

解决学术问题

该数据集有效解决了机器人领域样本效率低下与仿真到真实迁移困难的经典难题。通过提供真实机械臂在结构化环境中的操作数据，显著降低了实体机器人实验的时间与经济成本。其标记点坐标信息为视觉伺服控制提供了精确的定位基准，而多模态观测数据则促进了感知-动作耦合模型的发展，推动了具身智能在复杂操作任务中的泛化能力研究。

衍生相关工作

该数据集催生了多项机器人学习领域的创新研究。基于其时序动作序列开发的层次化强化学习框架，实现了长周期任务的分解与规划。结合标记点坐标的视觉定位方法衍生出新型手眼标定算法，显著提升了抓取精度。此外，该数据集的多模态特性促进了跨模态表示学习的发展，为后续联合嵌入空间建模等研究提供了重要基础。