pickplace2

这是一个关于机器人学的数据集，包含15个集，每个集包含多个视频和帧，总共1383帧。数据集的结构包括机器人状态、动作、奖励、完成标志、惩罚、侧视图像、腕部图像和时间戳等多种特征。数据以Parquet文件格式存储，并提供了视频文件。数据集的许可为Apache-2.0。

原始信息汇总

数据集概述

基本信息

• 名称：pickplace2
• 许可证：Apache-2.0
• 任务类别：机器人学
• 标签：LeRobot

数据集结构

• 总任务数：1
• 总片段数：15
• 总帧数：1383
• 总视频数：30
• 数据块数：1
• 数据块大小：1000
• 帧率：10 fps
• 分割：训练集（0:15）

数据文件

• 数据格式：Parquet
• 数据路径模式：data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• 视频路径模式：videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4

特征说明

观测特征

• observation.state
  • 数据类型：float32
  • 形状：[21]
• observation.images.side
  • 数据类型：video
  • 形状：[3, 128, 128]
  • 视频信息：高度128像素，宽度128像素，编码格式av1，像素格式yuv420p，非深度图，帧率10fps，3通道，无音频
• observation.images.wrist
  • 数据类型：video
  • 形状：[3, 128, 128]
  • 视频信息：高度128像素，宽度128像素，编码格式av1，像素格式yuv420p，非深度图，帧率10fps，3通道，无音频

动作特征

• action
  • 数据类型：float32
  • 形状：[4]
  • 名称：delta_x_ee, delta_y_ee, delta_z_ee, gripper_delta

奖励与终止

• next.reward
  • 数据类型：float32
  • 形状：[1]
• next.done
  • 数据类型：bool
  • 形状：[1]

补充信息

• complementary_info.discrete_penalty
  • 数据类型：float32
  • 形状：[1]
  • 名称：discrete_penalty

索引信息

• timestamp：float32，形状[1]
• frame_index：int64，形状[1]
• episode_index：int64，形状[1]
• index：int64，形状[1]
• task_index：int64，形状[1]

创建信息

• 代码库版本：v2.1
• 创建工具：LeRobot（https://github.com/huggingface/lerobot）

引用信息

• 论文：未提供
• BibTeX：未提供

搜集汇总

数据集介绍

构建方式

在机器人操作任务领域，pickplace2数据集通过LeRobot框架系统性地采集了15个完整操作序列，共计1383帧数据。数据以10fps的采样频率记录，采用分块存储结构，每个数据块包含1000帧，并以Parquet格式高效存储观测状态、动作指令及奖励信号等多模态信息。

特点

该数据集显著特点在于融合了21维浮点型状态观测值与4维动作空间数据，包含末端执行器位移及夹爪控制量。同时提供双视角视觉数据：侧视与腕部摄像头均以128×128分辨率三通道视频流呈现，辅以时间戳、帧索引及任务索引等元数据，构成多维度的机器人操作表征体系。

使用方法

研究者可通过加载Parquet数据文件访问结构化观测-动作对，利用帧索引实现时序数据对齐。视频数据支持通过指定视频键与分块编号进行解码，奖励信号与终止标志为强化学习算法提供训练信号，离散惩罚项则可作为行为约束的优化指标。

背景与挑战

背景概述

在机器人操作任务研究领域，pickplace2数据集作为LeRobot项目的重要组成部分，专注于机械臂抓取与放置任务的智能学习。该数据集通过多模态传感器数据记录机械臂末端执行器的空间位移与夹持器状态变化，为强化学习算法提供真实的环境交互样本。其21维状态空间与4维动作空间的精细设计，体现了现代机器人学习对高维连续控制问题的深入探索，对推动自主机器人操作技能的发展具有重要价值。

当前挑战

该数据集核心挑战在于解决高精度机械臂操作中的动作空间连续控制问题，需精确建模末端执行器的三维位移与夹持器协同操作。构建过程中面临多传感器时序同步的技术难题，包括视觉数据与关节状态的精确对齐，以及10fps采样率下1383帧数据的噪声过滤。此外，128×128分辨率的双视角视频压缩存储需平衡视觉质量与数据效率，21维状态特征的工程化提取亦需克服维度诅咒问题。

常用场景

经典使用场景

在机器人操作学习领域，pickplace2数据集为机械臂抓取与放置任务提供了标准化的训练与评估基准。该数据集通过多视角视觉观测与连续动作空间的结合，支持端到端的模仿学习与强化学习算法开发。研究人员可利用其包含的机械臂状态信息、双视角图像数据及动作序列，构建从视觉感知到运动控制的完整管道，特别适用于研究高维观察空间下的策略泛化能力。

实际应用

在工业自动化与物流分拣场景中，pickplace2数据集支撑的算法可应用于物品抓取、包装流水线及仓储管理系统。基于该数据集训练的模型能够适应不同形状物体的抓取策略优化，提升生产线上的灵活性与效率。其双视角视觉系统设计尤其适用于需要精确位姿估计的精密装配场景，为智能制造提供了可靠的技术验证平台。

衍生相关工作

该数据集催生了多项机器人学习领域的创新研究，包括基于Transformer的多模态策略网络、跨域模仿学习框架以及分层强化学习方法。这些工作充分利用数据集提供的状态-动作对与视觉反馈，开发出能够处理部分可观测环境的自适应控制器。后续研究还拓展到多任务学习与元强化学习方向，推动了机器人操作技能迁移与快速适应能力的发展。