KS325/open-lower-drawer-r2-occ-train-spare

--- license: apache-2.0 task_categories: - robotics tags: - LeRobot configs: - config_name: default data_files: data/*/*.parquet --- This dataset was created using [LeRobot](https://github.com/huggingface/lerobot). <a class="flex" href="https://huggingface.co/spaces/lerobot/visualize_dataset?path=KS325/open-lower-drawer-r2-occ-train-expand_second"> <img class="block dark:hidden" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl.svg"/> <img class="hidden dark:block" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl-dark.svg"/> </a> ## Dataset Description - **Homepage:** [More Information Needed] - **Paper:** [More Information Needed] - **License:** apache-2.0 ## Dataset Structure [meta/info.json](meta/info.json): ```json { "codebase_version": "v3.0", "robot_type": "so_follower", "total_episodes": 14, "total_frames": 10308, "total_tasks": 1, "chunks_size": 1000, "data_files_size_in_mb": 100, "video_files_size_in_mb": 200, "fps": 30, "splits": { "train": "0:14" }, "data_path": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet", "video_path": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4", "features": { "action": { "dtype": "float32", "names": [ "shoulder_pan.pos", "shoulder_lift.pos", "elbow_flex.pos", "wrist_flex.pos", "wrist_roll.pos", "gripper.pos" ], "shape": [ 6 ] }, "observation.state": { "dtype": "float32", "names": [ "shoulder_pan.pos", "shoulder_lift.pos", "elbow_flex.pos", "wrist_flex.pos", "wrist_roll.pos", "gripper.pos" ], "shape": [ 6 ] }, "observation.images.camera1": { "dtype": "video", "shape": [ 480, 640, 3 ], "names": [ "height", "width", "channels" ], "info": { "video.height": 480, "video.width": 640, "video.codec": "av1", "video.pix_fmt": "yuv420p", "video.is_depth_map": false, "video.fps": 30, "video.channels": 3, "has_audio": false } }, "observation.images.camera2": { "dtype": "video", "shape": [ 480, 640, 3 ], "names": [ "height", "width", "channels" ], "info": { "video.height": 480, "video.width": 640, "video.codec": "av1", "video.pix_fmt": "yuv420p", "video.is_depth_map": false, "video.fps": 30, "video.channels": 3, "has_audio": false } }, "timestamp": { "dtype": "float32", "shape": [ 1 ], "names": null }, "frame_index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "episode_index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "task_index": { "dtype": "int64", "shape": [ 1 ], "names": null } } } ``` ## Citation **BibTeX:** ```bibtex [More Information Needed] ```This dataset is a robotics task dataset specifically for opening a lower drawer. It was created using the LeRobot tool, containing 14 total episodes, 10308 total frames, and 1 total task. Data is collected at 30 frames per second, with features including actions (such as shoulder pan, shoulder lift, elbow flex, wrist flex, wrist roll, and gripper positions), observation states (joint positions), image observations from two cameras (resolution 480x640, 3 channels), and metadata such as timestamp, frame index, and episode index. The dataset structure is stored in parquet file format, with video files in mp4 format, suitable for robotics learning and control research.

搜集汇总

数据集介绍

构建方式

该数据集依托LeRobot框架构建，通过遥操作或程序化控制so_follower型机械臂执行单一任务——开启下层抽屉，在操作过程中同步采集多模态信息。数据以30帧每秒的频率记录，涵盖14个回合、共计10308帧，每一帧均包含6维关节位置动作与状态向量，以及两路分辨率640×480的视觉观测，最终以Parquet列式存储与AV1编码视频分块保存，形成结构化的机器人学习语料。

特点

数据集聚焦于抽屉开启这一精细操作任务，动作空间与状态空间均为六自由度机械臂的关节位置，具备明确的物理语义；双摄像头布局提供了互补的视觉视角，增强了空间感知的鲁棒性；采用分块存储与高效视频编码，兼顾了数据读取效率与存储经济性；训练集划分清晰，全部14个回合均用于训练，适用于模仿学习或强化学习策略的离线训练与评估。

使用方法

使用者可借助LeRobot工具链加载数据集，通过解析meta/info.json获取特征定义与文件路径，进而读取data目录下的Parquet文件获取低维状态与动作序列，并解码videos目录中的MP4文件提取视觉观测。数据可直接用于训练基于行为克隆或时序差分学习的机器人控制策略，也可通过Hugging Face Spaces提供的可视化工具在线浏览回合回放，便于快速验证与调试。

背景与挑战

背景概述

在机器人学习领域，高质量、细粒度的操作数据集是推动算法从仿真走向现实的关键。open-lower-drawer-r2-occ-train-spare 数据集由 LeRobot 框架构建，聚焦于 SO-Follower 机械臂完成打开下层抽屉这一具体任务，包含 14 个示范回合、10308 帧、30fps 的同步视觉与本体感知数据，涵盖双路摄像头视图及关节位置、动作指令等多元信息。该数据集延续了 LeRobot 低成本开源硬件的生态理念，为模仿学习与视觉运动策略研究提供了可复现的真实世界操作样本，对提升机器人精细操作泛化能力具有基础性支撑作用。

当前挑战

该数据集所应对的领域问题在于：真实环境中打开下层抽屉涉及非结构化视觉感知、接触丰富的动力学交互以及长时序动作规划，对策略的鲁棒性和精细控制构成显著挑战。构建过程中同样面临多重困难：底层抽屉位置低矮导致视觉遮挡与关节限位冲突，14 个回合的有限样本需在动作多样性与任务一致性之间取得平衡，且双摄像头视角下需保证状态估计与动作标签在时间上的精确对齐。此外，仅包含单一任务与固定初始条件，限制了策略向新场景与新物体的泛化能力，如何在少量示范下实现稳定迁移仍是待解难题。

常用场景

经典使用场景

在机器人学习领域，基于视觉的精细操作任务一直是研究的热点与难点。该数据集依托LeRobot框架构建，聚焦于机器人执行开启下方抽屉的典型操作，采集了14个回合、共计10308帧的多模态数据。经典使用场景在于训练和评估模仿学习与视觉运动控制策略，通过提供同步的六自由度机械臂关节位置、夹爪状态以及双路摄像头视频流，使智能体能够从演示中学习如何协调手臂运动与视觉反馈，完成对抽屉把手的定位、抓取与下拉动作。

解决学术问题

该数据集直面机器人操作研究中演示数据稀缺与真实场景泛化困难的问题。通过提供统一格式的关节状态、动作序列与多视角视觉观测，它缓解了模仿学习中因数据异构导致的策略迁移障碍，为视觉-动作映射、时序建模及闭环控制等学术问题提供了标准化的实验床。其意义在于降低了精细操作任务的数据获取门槛，推动了可复现研究，并为评估算法在接触丰富环境下的鲁棒性提供了基准。

衍生相关工作

基于该数据集，研究者已衍生出多项经典工作，包括基于扩散策略的视觉运动控制、动作分块Transformer以及多视图融合的模仿学习框架。这些工作利用其高频率视频与精确关节轨迹，验证了从演示中学习长时程操作任务的可行性，并推动了LeRobot生态中数据可视化、策略训练与仿真到现实迁移工具链的发展，为后续开放式抽屉操作研究奠定了数据基础。