ddduk/Pick_and_place_blue_box

--- license: apache-2.0 task_categories: - robotics tags: - LeRobot configs: - config_name: default data_files: data/*/*.parquet --- This dataset was created using [LeRobot](https://github.com/huggingface/lerobot). <a class="flex" href="https://huggingface.co/spaces/lerobot/visualize_dataset?path=ddduk/Pick_and_place_blue_box_final"> <img class="block dark:hidden" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl.svg"/> <img class="hidden dark:block" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl-dark.svg"/> </a> ## Dataset Description - **Homepage:** [More Information Needed] - **Paper:** [More Information Needed] - **License:** apache-2.0 ## Dataset Structure [meta/info.json](meta/info.json): ```json { "codebase_version": "v3.0", "fps": 30, "features": { "action": { "dtype": "float32", "names": [ "shoulder_pan.pos", "shoulder_lift.pos", "elbow_flex.pos", "wrist_flex.pos", "wrist_roll.pos", "gripper.pos" ], "shape": [ 6 ] }, "observation.state": { "dtype": "float32", "names": [ "shoulder_pan.pos", "shoulder_lift.pos", "elbow_flex.pos", "wrist_flex.pos", "wrist_roll.pos", "gripper.pos" ], "shape": [ 6 ] }, "observation.images.top": { "dtype": "video", "shape": [ 480, 640, 3 ], "names": [ "height", "width", "channels" ], "info": { "video.height": 480, "video.width": 640, "video.codec": "av1", "video.pix_fmt": "yuv420p", "video.is_depth_map": false, "video.fps": 30, "video.channels": 3, "has_audio": false, "video.g": 2, "video.crf": 30, "video.preset": 12, "video.fast_decode": 0, "video.video_backend": "pyav", "video.extra_options": {} } }, "observation.images.wrist": { "dtype": "video", "shape": [ 480, 640, 3 ], "names": [ "height", "width", "channels" ], "info": { "video.height": 480, "video.width": 640, "video.codec": "av1", "video.pix_fmt": "yuv420p", "video.is_depth_map": false, "video.fps": 30, "video.channels": 3, "has_audio": false, "video.g": 2, "video.crf": 30, "video.preset": 12, "video.fast_decode": 0, "video.video_backend": "pyav", "video.extra_options": {} } }, "timestamp": { "dtype": "float32", "shape": [ 1 ], "names": null }, "frame_index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "episode_index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "task_index": { "dtype": "int64", "shape": [ 1 ], "names": null } }, "total_episodes": 20, "total_frames": 8718, "total_tasks": 2, "chunks_size": 1000, "data_files_size_in_mb": 100, "video_files_size_in_mb": 200, "data_path": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet", "video_path": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4", "robot_type": "so_follower", "splits": { "train": "0:20" } } ``` ## Citation **BibTeX:** ```bibtex [More Information Needed] ```This dataset is for robotics manipulation tasks, specifically the Pick and place blue box task, created using the LeRobot tool. It includes joint position data for the robotic arm (such as shoulder pan, shoulder lift, elbow flex, wrist flex, wrist roll, and gripper positions), as well as video observations from top and wrist cameras. The data is collected at 30fps, with a total of 20 episodes, 8718 frames, and 2 tasks. The dataset structure features actions, observation states, image videos, timestamps, frame indices, episode indices, indices, and task indices, making it suitable for robotics learning and control research.

搜集汇总

数据集介绍

构建方式

在机器人学习领域，高质量示范数据集的构建往往依赖于标准化的采集工具与流程。该数据集借助LeRobot框架完成创建，通过遥操作或程序化控制so_follower机器人执行抓取与放置蓝色方盒的任务，以30Hz频率同步记录动作指令、机器人本体状态以及顶部和腕部两路视频流。数据以Parquet格式存储于data目录下，视频文件按chunk分片组织，元信息完整定义于meta/info.json中，涵盖20个回合共8718帧，并划分训练集供后续策略学习使用。

特点

该数据集呈现出多模态、时序密集与任务导向的显著特性。每条轨迹均包含6自由度关节位置与夹爪开合的动作序列，以及对应的本体状态观测，同时配备俯视和腕部双视角RGB视频，分辨率达640×480，编码为AV1格式。数据采集频率为30帧每秒，总计20个回合、8718帧，覆盖2种不同任务变体，机器人类型为so_follower，适用于模仿学习与视觉运动策略的端到端训练。

使用方法

研究者可通过LeRobot代码库加载该数据集，利用data目录下的Parquet文件与videos目录中的MP4视频进行模型训练，或使用Hugging Face Spaces提供的可视化工具在线浏览数据。加载时依据meta/info.json解析特征维度与路径模板，按chunk索引读取数据分片。该数据集可直接用于行为克隆、逆动力学建模或视频预测等任务的训练与评估，亦支持通过标准数据接口进行微调与迁移学习。

背景与挑战

背景概述

机器人操作技能的学习长期依赖真实环境中的示范数据，以弥合感知与动作之间的语义鸿沟。Pick_and_place_blue_box数据集依托LeRobot开源框架构建，于2024年前后发布，由HuggingFace社区研究人员创建，旨在为视觉引导的抓取与放置任务提供标准化示范。该数据集收录20条episode、8718帧，涵盖2项任务，同步采集顶部与腕部双视角视频及六自由度关节位置，为模仿学习与视觉-语言-动作模型提供细粒度监督，推动了低成本机械臂操作研究的发展。

当前挑战

该数据集所应对的领域问题在于，视觉引导的抓取与放置需在非结构化环境中实现精确的空间推理与闭环控制，物体的类别、位姿与遮挡变化均会显著影响策略鲁棒性。构建过程中，研究人员需解决多模态同步问题，确保30帧每秒的双路视频与关节状态严格对齐；同时，示范者操作的自然变异、光照条件及相机标定误差亦会引入噪声。此外，有限的数据规模与任务多样性为策略的泛化能力评估带来挑战，难以充分覆盖真实场景中的长尾分布。

常用场景

经典使用场景

在机器人学习与具身智能领域，抓取与放置任务长期被视为检验算法泛化能力的基础试金石。该数据集聚焦于蓝色方盒的精准抓取与放置操作，依托LeRobot框架采集了20个演示回合，总计8718帧，以30帧每秒的频率记录了六自由度机械臂的关节位置、末端执行器状态以及顶部与腕部双视角的视觉观测。其经典使用场景在于模仿学习与视觉运动策略的训练，研究者可基于此数据驱动模型习得从视觉输入到动作序列的映射，进而实现端到端的抓取放置技能复现。

衍生相关工作

基于该数据集，研究者可衍生出多项经典工作方向。例如，利用其训练扩散策略或动作分块Transformer，以提升长时程操作的稳定性；结合其双视角图像开展自监督视觉表征学习，增强策略对视角变化的鲁棒性；亦可将其作为基准，评估不同模仿学习算法在细粒度抓取任务上的性能差异。这些工作共同拓展了LeRobot生态在操作任务中的方法论边界。

数据集最近研究

最新研究方向

在机器人学习与具身智能迅猛发展的背景下，Pick_and_place_blue_box数据集依托LeRobot框架，聚焦于视觉-语言-动作模型与模仿学习的深度融合。当前研究前沿致力于利用此类包含双视角视觉观测与本体状态的高频操作数据，探索端到端的抓取与放置策略泛化能力，尤其关注在非结构化环境中对特定目标物体的精准操控。该数据集提供的20个回合、8718帧多模态时序数据，为验证扩散策略、动作分块Transformer等新兴算法提供了轻量级测试平台，推动了少样本模仿学习与跨任务迁移在真实机器人上的落地，对加速通用操作策略的研发具有积极的实证意义。