pick_and_place

这是一个关于机器人技术的数据集，包含了22个剧集，共计5533帧，专注于一个任务。数据集以Parquet格式存储，并包含了相应的视频文件。每个文件记录了机器人的动作和观测状态，包括肩部、肘部、手腕的位置以及夹爪的位置。此外，还包括了顶部和手腕的图像视频流信息。

原始信息汇总

数据集概述

基本信息

• 许可证: Apache-2.0
• 任务类别: 机器人技术
• 标签: LeRobot
• 创建工具: LeRobot (https://github.com/huggingface/lerobot)

数据集结构

数据规模

• 总任务数: 1
• 总回合数: 22
• 总帧数: 5533
• 数据文件大小: 100 MB
• 视频文件大小: 500 MB
• 帧率: 30 FPS
• 分块大小: 1000

数据格式

• 数据文件格式: Parquet
• 数据文件路径: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频文件路径: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4

特征字段

动作特征

• 名称: action
• 数据类型: float32
• 维度: [6]
• 关节位置:
  • shoulder_pan.pos
  • shoulder_lift.pos
  • elbow_flex.pos
  • wrist_flex.pos
  • wrist_roll.pos
  • gripper.pos

观测特征

• 状态观测:

  • 名称: observation.state
  • 数据类型: float32
  • 维度: [6]
  • 关节位置: 与动作特征相同

• 图像观测:

  • 顶部摄像头:
    • 名称: observation.images.top
    • 数据类型: video
    • 分辨率: 480×640×3
    • 视频编码: AV1
    • 像素格式: yuv420p
    • 非深度图
  • 腕部摄像头:
    • 名称: observation.images.wrist
    • 数据类型: video
    • 分辨率: 480×640×3
    • 视频编码: AV1
    • 像素格式: yuv420p
    • 非深度图

索引特征

• 时间戳: float32 [1]
• 帧索引: int64 [1]
• 回合索引: int64 [1]
• 数据索引: int64 [1]
• 任务索引: int64 [1]

数据划分

• 训练集: 全部22个回合

技术规格

• 代码库版本: v3.0
• 机器人类型: so101_follower

搜集汇总

数据集介绍

构建方式

在机器人操作研究领域，pick_and_place数据集通过LeRobot平台系统构建，记录了22个完整操作序列，涵盖5533帧数据。数据以分块形式存储于Parquet格式文件中，每块包含1000帧，总数据量达100MB，配套视频文件规模为500MB。采集过程采用SO101型机器人执行抓取放置任务，以30帧/秒的速率同步记录关节状态与多视角视觉信息，形成结构化机器人交互数据集。

特点

该数据集显著特征在于多模态数据融合，包含六自由度关节动作指令、实时状态反馈及双视角视觉观测。顶部与腕部摄像头分别提供480x640分辨率的RGB视频流，配合精确的时间戳与帧索引标记。数据维度设计严谨，动作与状态空间均以浮点数组描述机械臂位姿，支持端到端机器人策略学习。所有数据均经过标准化处理，确保时序对齐与跨模态一致性。

使用方法

研究人员可通过加载Parquet数据文件直接访问结构化特征，利用帧索引实现时序数据遍历。训练集包含全部22个操作序列，适用于模仿学习与强化学习算法开发。多模态观测数据支持联合训练视觉-动作映射模型，视频流可通过指定路径解码获取。数据集遵循Apache 2.0许可协议，兼容主流机器人学习框架，为抓取操作任务提供基准测试平台。

背景与挑战

背景概述

机器人操作任务数据集作为强化学习与视觉伺服控制研究的重要载体，其发展历程始终与工业自动化需求紧密相连。pick_and_place数据集由LeRobot团队基于Apache 2.0协议构建，聚焦于机械臂抓取放置这一经典操作任务。该数据集通过集成六自由度关节控制指令与多视角视觉观测数据，完整记录了22个任务 episodes 中机械臂末端执行器的运动轨迹与环境交互过程，为模仿学习与策略泛化研究提供了结构化数据支撑。

当前挑战

在机器人操作领域，动态环境下的抓取姿态规划与多模态感知融合始终构成核心难题。该数据集构建过程中面临传感器时序对齐的技术挑战，需同步处理关节编码器数据与双视角视频流；同时受限于实际机械臂运动约束，动作空间采样密度与任务场景多样性存在优化空间。数据标注维度方面，如何平衡高维视觉特征与低维控制指令的表示效率，仍是提升算法迁移能力的关键瓶颈。

常用场景

经典使用场景

在机器人操作领域，pick_and_place数据集通过记录机械臂抓取与放置任务的完整动作序列，为模仿学习算法提供了标准化的训练资源。该数据集包含多视角视觉观测与关节控制指令的同步数据，能够有效支持端到端策略网络的训练过程，推动机器人自主操作能力的提升。

解决学术问题

该数据集主要解决了机器人技能迁移中的动作泛化难题，通过结构化存储的真实操作数据，为深度强化学习提供了可复现的实验基准。其精确标注的关节空间轨迹与视觉感知信息，显著降低了动态环境下动作规划的建模复杂度，对推动具身智能研究具有重要价值。

衍生相关工作

基于该数据集衍生了多项机器人学习领域的创新研究，包括多模态感知融合网络、时空动作预测模型等突破性工作。这些研究通过挖掘数据集中隐含的动作语义规律，持续推动着从视觉感知到运动控制的端到端学习框架的发展。