ddduk/Pick_and_place_green_bean_20260526_213911

该数据集是一个机器人学数据集，由LeRobot创建，专注于机器人操作任务。数据集包含25个episodes，总计10907帧，涉及2个不同任务。数据特征包括：动作数据（action），表示机器人关节位置（如肩部平移、肩部升降、肘部弯曲、手腕弯曲、手腕旋转和夹爪位置）；观测状态（observation.state），与动作数据类似，反映机器人当前状态；图像观测，包括顶部摄像头（observation.images.top）和手腕摄像头（observation.images.wrist）采集的视频，分辨率为480x640，帧率为30fps，使用AV1编码；以及时间戳、帧索引、episode索引、任务索引等元数据。机器人类型为so_follower，数据以parquet文件格式存储，视频以mp4格式存储，总数据大小约为100MB，视频文件大小约为200MB。数据集用于训练和评估机器人控制模型，支持从多模态观测中学习动作策略。This dataset is a robotics dataset created using LeRobot, focusing on robot manipulation tasks. It consists of 25 episodes with a total of 10,907 frames across 2 distinct tasks. The features include: action data representing robot joint positions (e.g., shoulder pan, shoulder lift, elbow flex, wrist flex, wrist roll, and gripper positions); observation state similar to action data, reflecting the current robot state; image observations from a top camera (observation.images.top) and a wrist camera (observation.images.wrist), with video resolution of 480x640, frame rate of 30fps, encoded in AV1; and metadata such as timestamp, frame index, episode index, and task index. The robot type is so_follower. Data is stored in parquet format, with videos in mp4 format, total data size approximately 100MB and video files size approximately 200MB. The dataset is designed for training and evaluating robot control models, enabling learning of action policies from multimodal observations.

搜集汇总

数据集介绍

构建方式

该数据集依托LeRobot框架构建，聚焦于机器人抓取与放置绿豌豆这一典型操作任务。构建过程采用SO-Follower机械臂作为数据采集平台，以30帧每秒的频率同步记录六自由度关节位置（包括肩部旋转、肩部升降、肘部弯曲、腕部弯曲、腕部旋转及夹爪位置）与双视角视觉观测数据——顶部摄像头与腕部摄像头分别以480×640分辨率捕获场景信息。两个具体任务指令贯穿共计25个演示回合，累计10907帧有效数据，以Parquet与MP4格式分块存储，确保数据的高效读取与可扩展性。

特点

数据集在结构与内容上兼具精细性与实用性。动作空间与状态空间均为六维连续量，精确刻画机械臂的位姿变化；双路视频流提供互补的视觉信息，顶部视角展现全局场景布局，腕部视角捕捉抓取细节，有助于策略学习中的空间理解。数据以标准化的LeRobot格式组织，元信息详尽标注帧率、任务索引与分块路径，且覆盖两种任务变体，为模仿学习与视觉运动策略研究提供了高质量、可复现的基准资源。

使用方法

使用者可通过Hugging Face平台直接加载该数据集，并利用LeRobot提供的可视化工具在线浏览数据序列。在模型训练中，可基于PyTorch等深度学习框架读取Parquet文件中的状态与动作序列，同时解码MP4视频以获取视觉观测，构建端到端的模仿学习或强化学习流程。数据集已划分训练集（包含全部25个回合），便于直接用于策略网络的监督训练与评估，推动机器人精细操作任务的研究进展。

背景与挑战

背景概述

机器人模仿学习领域长期受制于高质量演示数据的稀缺，尤其在精细操作任务中，真实环境下的视觉-动作配对样本获取成本高昂。Pick_and_place_green_bean_20260526_213911数据集于2026年基于LeRobot框架构建，聚焦于绿豌豆抓取与放置这一典型精细操作场景，采集了25个回合、10907帧、30fps的多模态演示数据，涵盖肩部、肘部、腕部及夹爪的六维关节位置与顶部、腕部双视角视频，为视觉-运动策略学习提供了结构化的开源样本。

当前挑战

该数据集所应对的领域难题在于：精细抓取任务中目标物体尺寸小、形状不规则，对末端执行器的位姿精度与力控要求极高，策略需在视觉遮挡、光照变化和物体随机位姿下保持鲁棒。构建过程中的挑战亦不容忽视：绿豌豆的易滚动特性导致演示一致性难以维持，双视角同步采集与30fps高频记录对存储和传输提出更高要求，而仅25个回合的有限样本量可能限制策略的泛化边界，如何平衡数据规模与任务复杂度仍是后续扩展的核心议题。

常用场景

经典使用场景

在机器人学习领域，基于示教数据的模仿学习已成为获取复杂操作技能的主流范式。该数据集精准聚焦于“抓取-放置”这一经典操作任务，通过遥操作采集了25个回合的视觉-动作序列。每个时间步均同步记录了顶部与腕部双视角RGB观测、六维关节位置状态及对应动作指令，构成完整的视觉-运动轨迹。研究者通常将其用于训练条件变分自编码器、扩散策略或行为克隆网络，使机械臂能够在非结构化环境中识别目标物体并完成精准搬运任务。

衍生相关工作

以该数据集为基础，学术界与工业界衍生出一系列经典工作。在算法层面，研究者利用其多模态特性验证了ACT、Diffusion Policy等序列建模方法的有效性，并以此开展视觉编码器预训练与跨具身迁移实验。在基准评估方面，该数据集被纳入LeRobot生态，促进了开源机器人学习框架的标准化评测。同时，其任务定义启发了针对柔性物体抓取、动态环境适应等扩展研究，推动了模仿学习从仿真走向真实世界的进程。

数据集最近研究

最新研究方向

在具身智能与机器人操作学习迅猛演进的背景下，面向抓取-放置任务的精细数据集日益成为推动策略泛化研究的关键基础设施。该数据集依托LeRobot框架构建，采用SO follower机械臂，具备30Hz双视角视觉-动作同步记录，涵盖25个回合、逾万帧操作轨迹，为视觉-语言-动作模型与模仿学习算法提供了高质量示范数据。当前研究热点聚焦于利用此类数据开展端到端策略训练、跨任务泛化验证以及世界模型构建，其意义在于降低真实机器人数据采集门槛，促进开源社区在灵巧操作与多模态表征学习领域的协同创新。