pick_and_place

该数据集是一个机器人任务数据集，使用LeRobot工具创建，专为机器人学任务设计，可能涉及拾取与放置任务。它包含50个episodes，总计86751帧数据，帧率为30 fps。数据结构包括：动作（action）为6维浮点向量，表示机器人关节（肩部平移、肩部抬升、肘部弯曲、腕部弯曲、腕部旋转、夹爪）的位置；观测状态（observation.state）同样为6维浮点向量，表示机器人关节的当前位置；视觉观测包括两个视角的图像：顶部摄像头图像（observation.images.top）和腕部摄像头图像（observation.images.wrist），均为分辨率480x640的RGB视频流（3通道）。此外，数据集还包含时间戳、帧索引、episode索引、全局索引和任务索引等元数据。数据以Parquet文件格式存储，并附带相应的MP4格式视频文件，适用于机器人离线强化学习、模仿学习或行为克隆等研究与应用场景。

This dataset is a robotic task dataset created using the LeRobot tool, specifically designed for robotics tasks, which may involve pick-and-place operations. It contains 50 episodes, totaling 86,751 frames of data with a frame rate of 30 fps. The dataset structure includes key feature fields: action is a 6-dimensional floating-point vector representing the positions of robot joints (shoulder translation, shoulder elevation, elbow flexion, wrist flexion, wrist rotation, gripper); observation.state is also a 6-dimensional floating-point vector indicating the current positions of the robot joints; visual observations consist of images from two perspectives: a top camera image (observation.images.top) and a wrist camera image (observation.images.wrist), both as RGB video streams (3 channels) with a resolution of 480x640. Additionally, the dataset includes metadata such as timestamp, frame index, episode index, global index, and task index. The data is stored in Parquet file format and comes with corresponding MP4 format video files. It is suitable for research and application scenarios in robotic offline reinforcement learning, imitation learning, or behavior cloning.

原始信息汇总

数据集概述

该数据集名为 SJun99/pick_and_place，专注于机器人领域的拾放任务，基于 LeRobot 平台创建。

基本信息

• 许可证: Apache-2.0
• 任务类别: 机器人学 (robotics)
• 标签: LeRobot
• 首页: 暂无 (More Information Needed)
• 论文: 暂无 (More Information Needed)

数据集规模与结构

• 机器人类型: so_follower
• 总剧集数 (episodes): 50
• 总帧数 (frames): 86,751
• 总任务数: 1
• 帧率 (FPS): 30
• 数据文件大小: 100 MB
• 视频文件大小: 200 MB
• 分块大小 (chunks_size): 1000
• 数据划分: 训练集 (train) 包含所有 50 个 episode (索引 0 至 49)

数据特征 (Features)

数据集中每个时间步包含以下特征：

• action (动作):
  • 数据类型: float32
  • 维度: 6
  • 包含: 6 个关节位置 (shoulder_pan, shoulder_lift, elbow_flex, wrist_flex, wrist_roll, gripper)
• observation.state (状态观测):
  • 数据类型: float32
  • 维度: 6
  • 包含: 与 action 相同的 6 个关节位置
• observation.images.top (顶部摄像头图像):
  • 数据类型: 视频 (video)
  • 分辨率: 480x640 像素
  • 颜色通道: 3 (RGB)
  • 视频编码: av1
  • 帧率: 30 FPS
  • 非深度图
• observation.images.wrist (腕部摄像头图像):
  • 数据类型: 视频 (video)
  • 分辨率: 480x640 像素
  • 颜色通道: 3 (RGB)
  • 视频编码: av1
  • 帧率: 30 FPS
  • 非深度图
• timestamp: 时间戳 (float32)
• frame_index: 帧索引 (int64)
• episode_index: 剧集索引 (int64)
• index: 全局索引 (int64)
• task_index: 任务索引 (int64)

数据文件与存储

• 数据路径: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频路径: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4
• 配置文件: 使用 default 配置，数据文件匹配模式为 data/*/*.parquet

引用信息

目前暂无 BibTeX 引用信息 (More Information Needed)。

搜集汇总

数据集介绍

构建方式

在机器人操作领域的精细化研究中，数据集扮演着驱动算法迭代的关键角色。pick_and_place数据集依托于LeRobot框架构建，其采集过程聚焦于模拟机械臂的拾取与放置动作。该数据集总共包含50个操作剧集（episodes），累计帧数达86751帧，所有数据均以30帧每秒的采样频率从单个任务中提取。数据结构被划分为训练集，覆盖全部剧集，并采用Parquet格式存储动作序列与状态信息，同时引入AV1编码的视频流来捕捉顶部和腕部摄像头的视觉输入，从而构建起一个多模态、时序对齐的机器人操控数据集合。

使用方法

实用角度而言，该数据集可直接借助LeRobot库进行加载与预处理。用户通过Hugging Face Datasets接口即可快速访问Parquet表与视频文件，并利用内置的可视化工具在空间（Spaces）中预览各剧集的动态序列。典型的应用流程包括：首先划分训练与验证子集（虽然数据仅设定单一split），然后从observation.state字段读取机械臂关节状态，从observation.images路径提取视觉观测，最后以action字段作为监督信号训练模仿学习或强化学习模型。其统一的数据格式与完善的代码支持，显著降低了面向真实机器人任务的研究入门门槛。

背景与挑战

背景概述

该数据集由研究者SJun99基于LeRobot框架创建，聚焦于机器人抓取与放置（pick and place）这一基础操作任务。作为机器人学习领域的核心问题，抓取与放置涉及视觉感知、运动规划和末端执行器控制等关键环节，对工业自动化和服务机器人发展具有重要作用。数据集使用SO-100系列跟随机器人采集，包含50个演示片段、86,751帧图像及对应的关节状态与动作序列，通过顶部和腕部双视角相机记录操作过程。其公开的时间和Apache-2.0许可协议为学术界和工业界提供了标准化的研究与评估基准。

当前挑战

数据集面临的核心挑战在于解决机器人精细操作中的泛化能力与数据效率问题。抓取与放置任务需应对物体形状、位置及环境光照的变化，而当前50个演示片段的规模限制了模型对复杂场景的适应能力。在构建过程中，数据采集需精确同步多模态信息（包括关节角度、视觉流和动作指令），并解决机器人运动轨迹的连续性与动作间的平滑过渡。此外，验证任务在未见环境中的迁移表现、降低对大规模人工标注的依赖，是推动该数据集持续完善的关键方向。

常用场景

经典使用场景

作为面向机器人抓取与放置任务的标准化数据集，pick_and_place为模仿学习和机器人操作策略研究提供了关键资源。该数据集通过配备‘so_follower’机械臂的机器人平台，在真实环境中采集了50个完整操作轨迹，总计超过86000帧的高保真数据。每一帧均包含6维关节空间状态与动作信息（包括肩部俯仰、肘部弯曲、腕部滚动及夹爪开合等），并同步记录来自‘顶置’与‘腕部’双视角的640×480彩色视频流，形成视觉-状态-动作的闭环映射。研究者可直接利用此数据集训练行为克隆或基于逆强化学习的策略，构建从视觉输入到精细化运动输出的端到端控制模型。

解决学术问题

在机器人学习领域，高复杂度的灵巧操作策略通常面临数据稀缺与泛化瓶颈。pick_and_place数据集通过提供标准化、高质量的多模态操作数据，有效解决了实验基准不统一、可复现性不足等核心学术问题。其精确标注的关节空间轨迹与同步视觉信息，使研究者能够深入探究因果推理、跨物体泛化以及不确定性条件下的鲁棒控制等基础理论。该数据集填补了‘拾取与放置’这一基本但挑战性任务在公开基准数据上的空白，推动了模仿学习中动作序列重构、多视角融合策略的学术进展，并在评估模型的外推能力与任务成功率方面树立了量化标杆。

实际应用

在工业与仓储自动化场景中，pick_and_place数据集为机器人执行精准抓取与码放操作提供了训练基础。基于该数据学习的策略可直接部署于‘so_follower’类型的协作机器人，在流水线上完成物件分拣、组装或包装等重复性任务。顶置与腕部双摄像头协同捕获的目标细节，使得模型能够适应光照变化与物体姿态偏移，提升了实际环境中的操作成功率。此外，该数据集还能被用于开发人机协作中的安全交互界面，借助其记录的六自由度动作轮廓，优化机器人对外部指令的响应精度与柔顺性，助力无编程经验的用户快速完成机器人任务配置。

数据集最近研究

最新研究方向

在机器人操作学习领域，pick_and_place数据集作为一项面向抓取与放置任务的标准化资源，正推动模仿学习与行为克隆方法的实证研究。该数据集由SO-Follower机器人采集，包含50个演示回合、逾8.6万帧图像及多模态观测数据（顶视与腕部视觉流、六维关节状态和动作序列），其结构化格式依托LeRobot生态，为探索基于视觉的精细化操控策略提供了坚实基础。当前研究方向聚焦于利用此类数据训练高泛化能力的策略网络，结合扩散策略或Transformer架构进行端到端动作预测，以解决非结构化环境中的物体重排难题。该数据集的开放与标准化，契合了具身智能中数据驱动范式的演进需求，有助于缩小仿真与真实世界的Sim-to-Real鸿沟，对构建可复现、可扩展的机器人学习基准具有标志性意义。