YuBin103/Pick_and_place_green_bean

该数据集由LeRobot创建，用于机器人拾取和放置任务，具体涉及绿色豆子的操作。数据集包含18个episodes，总计7862帧，覆盖2个任务。数据结构包括动作特征（如肩部、肘部、腕部和夹爪的6个关节位置）、观察状态（相同关节位置）、顶部和腕部摄像头视频（分辨率480x640，30fps，RGB格式），以及时间戳、帧索引、episode索引等元数据。机器人类型为so_follower，数据以Parquet和MP4格式存储，适用于机器人学习和控制研究。This dataset was created using LeRobot for robotic pick and place tasks, specifically involving green beans. It contains 18 episodes, totaling 7862 frames, and covers 2 tasks. The data structure includes action features (e.g., positions of 6 joints such as shoulder, elbow, wrist, and gripper), observation states (same joint positions), top and wrist camera videos (resolution 480x640, 30fps, RGB format), along with metadata like timestamps, frame indices, and episode indices. The robot type is so_follower, and data is stored in Parquet and MP4 formats, suitable for robotics learning and control research.

搜集汇总

数据集介绍

构建方式

在机器人操作领域，精确的抓取与放置任务对于自动化系统的鲁棒性至关重要。本数据集通过LeRobot框架精心构建，聚焦于机械臂对青色豆荚的拾取与放置操作。数据采集过程中，研究者操控SO_Follower型号机械臂，以30帧/秒的采样频率同步记录六自由度关节角度（涵盖肩部、肘部、腕部及夹爪位置）作为状态与动作标签。同时，顶部与腕部双视角摄像头分别捕获分辨率为640x480的彩色视频流，采用AV1编码以平衡画质与存储效率。数据集共包含18段完整交互序列，累积7862帧有效画面及2类任务变量，原始数据与视频文件分别以Parquet列式格式和MP4容器存储，便于高效读写。

特点

本数据集的核心优势体现在多模态对齐与高保真记录的深度融合。动作与状态空间均采用浮点精度的六维关节向量，真实刻画出机械臂的连续运动轨迹；双摄像头系统通过拓扑互补视角（全局鸟瞰与夹爪近场）克服了单一视觉的遮挡与盲区问题，为模仿学习提供全面的时空上下文。视频流采用YUV420P色彩空间与恒定质量因子压缩策略，在降低存储占用（总计约300MB）的同时保留关键视觉纹理。此外，数据集结构化清晰，预置训练集划分（100%用于训练）并包含帧索引、任务类型等元数据，便于研究者按需提取子序列或重构观测序列。

使用方法

使用该数据集时，研究者可依托LeRobot生态实现无缝对接。推荐通过`lerobot.Dataset`接口加载Parquet文件与视频流，利用`observation.images.top`和`observation.images.wrist`键名获取双视角图像序列，结合`action`字段的关节力矩值驱动仿真或真实机械臂复现抓取策略。由于数据以30Hz等间隔采样，适合直接作为时序模型（如扩散策略或Transformer-based架构）的训练原材料；若需空间特征增强，可对原始图像应用随机裁剪与色彩抖动。对于迁移学习场景，建议按`task_index`字段筛选不同操作目标子集，避免任务间干扰。

背景与挑战

背景概述

在机器人操作领域，模仿学习通过从人类演示中学习策略，为机器人自主执行精细操作任务提供了有效途径。Pick_and_place_green_bean数据集创建于LeRobot框架之上，由研究团队ddduk开发，旨在解决机器人对柔软、易变形物体（如豆类）的抓取与放置问题。该数据集记录了机器人从视觉感知到执行动作的完整流程，包含顶层和腕部摄像头的高清视频流（480×640分辨率，30帧/秒）以及6自由度关节状态数据，共计18个任务片段、7862帧原始数据。数据集聚焦于操作精准性，对推动精细操作任务中的模仿学习与视觉运动控制研究具有重要参考价值。

当前挑战

当前数据集面临的核心挑战包括：其一，柔软易变形物体的抓取与放置是机器人领域公认的难题，豆类等物体形态不规则、抓取策略对力和姿态敏感，简单的规则驱动难以适应，需要从数据中学习复杂的接触动力学。其二，数据集规模有限（仅18个episode，约7862帧），可能限制模仿学习模型的泛化能力，尤其是在面对不同光照、背景或物体摆放位置时。其三，构建过程中，数据收集依赖人工演示与远程操控，引入的高昂标注成本和动作一致性控制问题也构成瓶颈，数据质量与多样性平衡是后续优化的关键方向。

常用场景

经典使用场景

在机器人操作领域，精细抓取与放置任务一直是衡量灵巧操作能力的重要基准。Pick_and_place_green_bean数据集专注于利用so_follower机器人对绿色豆类目标进行精准的拾取与放置操作，采集了18个完整回合、近8000帧的高质量时序数据。通过融合肩部、肘部、腕部及夹爪的多关节位置信息与自上而下、腕部视角的录像数据，该数据集为学习从原始感知到动作执行的端到端映射关系提供了标准化训练样本。研究者通常借助该数据集训练模仿学习或强化学习模型，使机器人掌握在非结构环境中处理小尺寸、易变形物体的精细操作策略。

衍生相关工作

围绕该数据集已衍生出若干具有重要意义的研究方向。基于LeRobot框架构建的数据处理流程，后续工作尝试引入扩散策略或基于Transformer的动作序列预测模型，利用其长程时序建模能力来提升抓取动作的平滑性与鲁棒性。领域内还发展出将多视角视觉特征与关节位姿进行跨模态融合的架构，以增强模型对目标位姿变化的适应性。此外，有研究将本数据集作为基准进行域随机化增强，从而在虚拟环境中生成更多样化的训练数据，推动仿真到实物的知识迁移技术持续完善。

数据集最近研究

最新研究方向

在机器人操作领域，精细抓取与放置任务始终是衡量机械臂灵巧性与智能水平的关键标尺。Pick_and_place_green_bean数据集聚焦于对绿色豆类这类柔软易损物体的精准操作，属于机器人领域前沿的“软体对象操控”研究方向。当前，结合模仿学习与强化学习的策略正成为热潮，该数据集通过LeRobot框架记录的6自由度关节状态与多视角高清视频（顶部及腕部摄像头），为训练具备视觉-运动协调能力的机器人代理提供了绝佳资源。围绕厨房自动化与食品加工等热点应用场景，该数据集助力算法突破对非刚性物体形变与抓取策略的建模瓶颈。其搭载的so_follower机器人平台与标准化parquet存储格式，使得研究成果易于复现与迁移，对推动机器人从结构化工业环境向开放生活场景的智能化转型具有深远意义。