ddduk/Pick_and_place_green_bean

该数据集由LeRobot工具创建，专注于机器人学任务，具体涉及拾放操作（如绿色豆子拾放）。数据集包含18个episodes，总计7862帧，涵盖2个不同任务。数据结构包括动作特征（如肩部、肘部、腕部和夹爪的位置）、观察状态（与动作相同的关节位置）、图像观察（顶部和手腕摄像头的视频，分辨率为480x640，30fps），以及时间戳、帧索引、episode索引等元数据。机器人类型为so_follower，数据以parquet格式存储，视频以mp4格式存储。该数据集适用于机器人控制、模仿学习或强化学习的研究和应用。This dataset was created using the LeRobot tool and focuses on robotics tasks, specifically pick and place operations (e.g., green bean pick and place). It includes 18 episodes with a total of 7862 frames, covering 2 distinct tasks. The data structure comprises action features (such as positions of shoulder, elbow, wrist, and gripper joints), observation states (joint positions identical to actions), image observations (videos from top and wrist cameras with a resolution of 480x640 at 30fps), and metadata like timestamps, frame indices, and episode indices. The robot type is so_follower, with data stored in parquet format and videos in mp4 format. This dataset is suitable for research and applications in robot control, imitation learning, or reinforcement learning.

搜集汇总

数据集介绍

构建方式

该数据集以机器人拣拾与放置青豆为任务背景，基于LeRobot框架采集而成，涵盖18个演示片段，共计7862帧，涉及2种任务场景。数据采集过程中，记录了6维机器人关节状态（如肩部、肘部、腕部等）及对应的控制动作，同时利用顶部与腕部双视角摄像头同步捕获高分辨率视觉信息（480×640×3），并以30帧/秒的速率存储为视频流。构建方式上，数据集采用Apache-2.0许可，以parquet格式存储结构化数据，视频以AV1编码压缩，兼顾数据完整性与存储效率。

特点

该数据集的核心特色在于其多模态融合与精细操控表征。它融合了机器人本体感知（关节角度）与外部视觉观测（顶视与腕视），为模仿学习提供了丰富的状态-动作对。每个时间戳均同步记录状态、动作、图像及时间戳等元数据，支持时序一致的轨迹回放。此外，数据集包含明确的episode划分与任务索引，便于进行跨任务泛化研究。其采用的高帧率（30fps）与高分辨率图像，能够捕捉青豆这类小型物体的细微动态，适用于精细操作任务的算法验证。

使用方法

使用时，研究者可借助LeRobot库直接加载该数据集，将其划分为训练集（官方默认18个episode全部用于训练）以训练模仿学习或强化学习模型。数据组织采用分块存储（chunk）方式，通过meta/info.json中的配置文件可快速访问parquet数据文件与对应的视频文件。用户可依据任务索引筛选特定任务数据，或利用帧索引与时间戳对齐多模态信息。配合HuggingFace提供的可视化工具，可直观预览数据质量与轨迹内容，从而有效评估数据适用性。

背景与挑战

背景概述

该数据集由HuggingFace社区成员ddduk于LeRobot框架下创建，旨在推动机器人操作学习领域的发展。以工业中常见的绿色豆类拾取与放置任务为场景，通过SO-6轴机械臂（so_follower）采集高频（30Hz）多模态数据，涵盖顶部与腕部双视角视觉图像、关节状态与动作指令。研究核心聚焦于模仿学习与行为克隆算法在精细操作任务中的泛化能力，为机器人从感知到执行的端到端学习提供标准化训练资源。作为LeRobot生态的示范性数据，其Apache-2.0开源许可和规范化结构促进了跨机构研究协作，对操作学习基准的建立具有初步奠基意义。

当前挑战

数据集所应对的领域挑战在于拾放操作的复杂动力学：目标物为柔顺性青豆，其形变与滑动导致位姿估计困难，需融合多视角视觉与关节反馈实现精准抓取。同时，构建过程中面临数据采集的物理瓶颈——仅18个示范片段（7862帧）的规模限制了模型泛化能力，且须保证动作与状态观测的精确时间同步；此外，LeRobot统一格式中视频编码（AV1）的压缩效率与实时可视化需求的平衡，以及机械臂运动轨迹的多样性标注，均构成技术难点。这些挑战突显了小样本下真实世界机器人学习数据稀缺的共性难题。

常用场景

经典使用场景

Pick_and_place_green_bean数据集作为机器人操作领域的宝贵资源，其核心应用场景聚焦于模仿学习与强化学习的算法开发与验证。该数据集记录了机械臂执行‘抓取与放置青豆’这一精细操作任务的完整演示，包含高分辨率视觉观测（顶部与腕部相机）以及关节级动作序列。借助该数据集，研究者可训练模型学习从像素到动作的映射，进而实现端到端的策略学习，尤其在行为克隆（Behavior Cloning）和离线强化学习（Offline RL）框架下，为评估和提升机器人灵巧操作能力提供了标准化基准。

衍生相关工作

此数据集催生了一系列引领性研究工作。一方面，它与LeRobot平台深度集成，推动了一系列基于Transformer或扩散策略的模仿学习模型的发展，这些模型在复杂操作任务中展现出超越传统方法的泛化性能。另一方面，该数据集的公开性促进了多模态感知与动作预测联合建模的探索，衍生出如视觉-语言-动作（VLA）模型等新兴研究方向。此外，基于该数据的领域随机化与数据增强技术研究，为提升仿真到真实环境的迁移能力提供了实证基础，进一步丰富了机器人学习的方法论体系。

数据集最近研究

最新研究方向

该数据集聚焦于机器人灵巧操作与模仿学习的交叉前沿，通过采集机械臂对青豆进行拾取与放置的精细动作序列，为学习复杂装配与分拣任务提供了高保真视觉-运动控制基准。结合HuggingFace LeRobot框架，数据涵盖了肩部、肘部、腕部及夹爪的多维度位姿信息，并同步录制顶视与腕部双视角的视频流，有效支撑了基于视觉的运动策略预训练与跨具身迁移研究。当前，该领域正积极利用此类精细操作数据集探索隐式动作表征、多模态融合以及闭环控制的鲁棒性，以推动机器人在非结构化环境中实现类人化的自主操作能力，其蕴含的动作轨迹与视觉观测的时序耦合关系，对于提升模仿学习的样本效率和泛化性能具有里程碑式的贡献。