pick_and_place

这是一个基于LeRobot项目创建的机器人任务数据集，包含42个剧集，共13535帧，适用于机器人相关的研究和应用。数据集采用Parquet格式存储动作、状态等数据，并提供相应的视频文件。

原始信息汇总

数据集概述

基本信息

• 许可证: Apache-2.0
• 任务类别: 机器人技术
• 标签: LeRobot

数据集创建

• 使用LeRobot创建 (https://github.com/huggingface/lerobot)

数据集结构

元数据信息

• 代码库版本: v3.0
• 机器人类型: so101_follower
• 总情节数: 42
• 总帧数: 13535
• 总任务数: 1
• 分块大小: 1000
• 数据文件大小: 100 MB
• 视频文件大小: 500 MB
• 帧率: 30 fps

数据分割

• 训练集: 0:42

文件路径格式

• 数据路径: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频路径: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4

数据特征

动作特征

• 数据类型: float32
• 形状: [6]
• 关节名称:
  • shoulder_pan.pos
  • shoulder_lift.pos
  • elbow_flex.pos
  • wrist_flex.pos
  • wrist_roll.pos
  • gripper.pos

观测状态

• 数据类型: float32
• 形状: [6]
• 关节名称:
  • shoulder_pan.pos
  • shoulder_lift.pos
  • elbow_flex.pos
  • wrist_flex.pos
  • wrist_roll.pos
  • gripper.pos

顶部图像观测

• 数据类型: 视频
• 形状: [480, 640, 3]
• 维度名称: 高度、宽度、通道
• 视频信息:
  • 高度: 480
  • 宽度: 640
  • 编码格式: av1
  • 像素格式: yuv420p
  • 深度图: 否
  • 帧率: 30
  • 通道数: 3
  • 音频: 无

腕部图像观测

• 数据类型: 视频
• 形状: [480, 640, 3]
• 维度名称: 高度、宽度、通道
• 视频信息:
  • 高度: 480
  • 宽度: 640
  • 编码格式: av1
  • 像素格式: yuv420p
  • 深度图: 否
  • 帧率: 30
  • 通道数: 3
  • 音频: 无

其他特征

• 时间戳: float32, 形状[1]
• 帧索引: int64, 形状[1]
• 情节索引: int64, 形状[1]
• 索引: int64, 形状[1]
• 任务索引: int64, 形状[1]

引用信息

• 论文: 待补充
• 主页: 待补充
• BibTeX引用: 待补充

搜集汇总

数据集介绍

构建方式

在机器人操作研究领域，pick_and_place数据集通过LeRobot平台系统采集，采用SO101型跟随机器人执行单一任务场景。数据以分块存储形式组织，涵盖42个完整操作序列，总计13535帧观测记录，采样频率为30赫兹。原始数据经标准化处理保存为Parquet格式，并同步录制顶部与腕部双视角视频流，构建出多维时空动作轨迹库。

特点

该数据集显著特征在于融合多模态传感器信息，包含六自由度关节位置的动作向量与对应状态观测值，形成对称闭环。视觉数据提供480x640分辨率的三通道RGB图像，辅以毫秒级时间戳与帧索引精确定位。数据结构设计支持高效流式读取，每个数据块容量控制在千条记录以内，兼具轻量化与完整性优势。

使用方法

研究者可通过解析Parquet文件直接获取机器人关节空间轨迹与视觉观测序列，利用帧索引实现动作-状态对齐。训练集覆盖全部42个操作片段，适合端到端模仿学习算法验证。视频数据采用AV1编码存储，需配合专用解码器还原时空上下文信息，为抓取放置任务的策略泛化研究提供标准化基准。

背景与挑战

背景概述

机器人操作领域长期致力于解决机械臂与环境交互的复杂任务，pick_and_place数据集作为LeRobot项目的重要组成部分，聚焦于机器人抓取与放置这一经典研究课题。该数据集通过六自由度机械臂的关节位置控制与多视角视觉观测，构建了包含42个完整操作序列的示范数据，为模仿学习与强化学习算法提供了真实世界的动作-状态对应关系。其采用Apache 2.0开源协议的特性，显著降低了机器人学习研究的入门门槛，推动着具身智能在现实场景中的技术落地。

当前挑战

在机器人操作任务中，pick_and_place需应对高维连续动作空间与部分可观测环境的双重挑战，要求模型从多模态传感器数据中推断物体物理属性并生成精确轨迹。数据集构建过程中面临动作示教采集的时序对齐难题，需同步记录机械臂关节角度与双视角视频流，同时保持操作轨迹的平滑性与任务成功率。海量视频数据的存储压缩与实时传输亦构成技术瓶颈，这要求设计高效的数据编码方案与分布式存储架构。

常用场景

经典使用场景

在机器人操作领域，pick_and_place数据集通过记录机械臂抓取与放置任务的完整动作序列，为模仿学习算法提供了典型范例。该数据集包含42个任务片段与13535帧多视角视觉数据，精确捕捉了六自由度关节空间轨迹与末端执行器状态，成为评估动作预测模型在复杂物理交互中泛化能力的基准平台。

实际应用

基于该数据集训练的模型已应用于工业分拣、物流仓储等自动化场景，通过解析顶部与腕部相机采集的视觉信息，机器人能够自适应调整抓取姿态。这种数据驱动的解决方案显著提升了异形物体操作的鲁棒性，为柔性制造生产线提供了可靠的技术支持。

衍生相关工作

该数据集催生了系列创新研究，包括基于时空注意力的动作预测网络、多视图视觉特征对齐方法等。LeRobot生态系统中衍生的分层强化学习框架，通过复用该数据集的运动先验知识，在少样本操作任务中取得了突破性进展，持续推动着机器人操作范式的演进。