KS325/close-lower-drawer-r2-occ-val

--- license: apache-2.0 task_categories: - robotics tags: - LeRobot configs: - config_name: default data_files: data/*/*.parquet --- This dataset was created using [LeRobot](https://github.com/huggingface/lerobot). <a class="flex" href="https://huggingface.co/spaces/lerobot/visualize_dataset?path=KS325/close-lower-drawer-r2-occ-val"> <img class="block dark:hidden" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl.svg"/> <img class="hidden dark:block" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl-dark.svg"/> </a> ## Dataset Description - **Homepage:** [More Information Needed] - **Paper:** [More Information Needed] - **License:** apache-2.0 ## Dataset Structure [meta/info.json](meta/info.json): ```json { "codebase_version": "v3.0", "robot_type": "so_follower", "total_episodes": 4, "total_frames": 2998, "total_tasks": 1, "chunks_size": 1000, "data_files_size_in_mb": 100, "video_files_size_in_mb": 200, "fps": 30, "splits": { "train": "0:4" }, "data_path": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet", "video_path": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4", "features": { "action": { "dtype": "float32", "names": [ "shoulder_pan.pos", "shoulder_lift.pos", "elbow_flex.pos", "wrist_flex.pos", "wrist_roll.pos", "gripper.pos" ], "shape": [ 6 ] }, "observation.state": { "dtype": "float32", "names": [ "shoulder_pan.pos", "shoulder_lift.pos", "elbow_flex.pos", "wrist_flex.pos", "wrist_roll.pos", "gripper.pos" ], "shape": [ 6 ] }, "observation.images.camera1": { "dtype": "video", "shape": [ 480, 640, 3 ], "names": [ "height", "width", "channels" ], "info": { "video.height": 480, "video.width": 640, "video.codec": "av1", "video.pix_fmt": "yuv420p", "video.is_depth_map": false, "video.fps": 30, "video.channels": 3, "has_audio": false } }, "observation.images.camera2": { "dtype": "video", "shape": [ 480, 640, 3 ], "names": [ "height", "width", "channels" ], "info": { "video.height": 480, "video.width": 640, "video.codec": "av1", "video.pix_fmt": "yuv420p", "video.is_depth_map": false, "video.fps": 30, "video.channels": 3, "has_audio": false } }, "timestamp": { "dtype": "float32", "shape": [ 1 ], "names": null }, "frame_index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "episode_index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "task_index": { "dtype": "int64", "shape": [ 1 ], "names": null } } } ``` ## Citation **BibTeX:** ```bibtex [More Information Needed] ```This is a robotics control dataset created by LeRobot, focusing on the task of closing a lower drawer. The dataset contains 4 episodes with a total of 2998 frames at 30 fps. Features include: 6-dimensional joint position actions (shoulder pan, shoulder lift, elbow flex, wrist flex, wrist roll, gripper position), 6-dimensional joint position observation states, image observations from two cameras (camera1 and camera2) with 480x640 resolution RGB video, and metadata such as timestamp, frame index, and episode index. Data is stored in Parquet format and videos in MP4 format, suitable for robotics learning and imitation learning tasks.

搜集汇总

数据集介绍

构建方式

在机器人学习领域，高质量演示数据的采集对于策略泛化至关重要。该数据集依托LeRobot框架，通过so_follower机器人平台执行“关闭下层抽屉”这一特定操作任务，以30帧/秒的频率同步采集多模态数据。采集过程中，操作者远程操控机械臂完成四次完整任务回合，累计获得2998帧有效样本。每一帧均记录六自由度关节位置与夹爪状态作为动作标签，同时通过双路摄像头捕获480×640分辨率的视觉观测，最终以Parquet与AV1视频编码格式分块存储，形成结构化的训练验证资源。

特点

该数据集聚焦于单一精细操作任务，以多视角视觉与本体感知的紧密耦合为显著特征。其核心特点在于双摄像头提供的互补空间信息，结合六维关节位置与夹爪状态，构成丰富的状态-动作对。数据以30Hz高频率采样，确保时序动态的连贯性。四个回合的演示虽数量有限，但覆盖了任务执行中的自然变异。所有视频均采用高效AV1编码，在保持画质的同时缩减存储开销。元信息完整定义了数据划分、分块路径与特征维度，便于直接用于模仿学习算法的训练与验证。

使用方法

使用该数据集时，研究人员可借助LeRobot官方工具链直接加载Parquet数据文件与对应视频流，并利用可视化空间在线回放或检查任务执行细节。数据已预设训练划分，可直接输入行为克隆、扩散策略等模仿学习模型，以observation.state与双路图像作为输入，预测六维动作。通过调整数据加载器的分块参数，可灵活控制内存占用。评估阶段可将其作为验证集，衡量策略在关闭抽屉任务上的成功率和泛化能力。数据集遵循Apache-2.0协议，允许在学术与商业场景中自由使用和修改。

背景与挑战

背景概述

在具身智能与机器人学习迅猛发展的背景下，高质量、真实场景的机器人操作数据集对于推动算法从仿真走向现实具有关键意义。close-lower-drawer-r2-occ-val数据集依托LeRobot框架构建，聚焦于机器人完成关闭下层抽屉这一典型接触密集型操作任务。该数据集由KS325创建，采用so_follower机械臂，包含4个训练回合、2998帧、30fps的双视角视频与6维关节状态及动作记录，以Apache-2.0许可开放。其核心研究问题在于为视觉-动作策略提供小样本、高保真的真实操作序列，评估模型在遮挡与接触动力学下的泛化能力，为机器人操作学习社区提供了可复现的基准资源。

当前挑战

该数据集所面临的挑战可从任务与构建两个维度审视。在领域问题层面，关闭下层抽屉要求机器人处理部分可观测性、关节摩擦、抽屉滑轨非线性阻力以及末端执行器与把手的精确接触，这些因素使得策略学习面临显著的样本效率与鲁棒性挑战。在构建过程中，数据采集需保证双摄像头视角的同步与标定一致性，机械臂关节状态与动作空间的对齐须在30fps下保持时序精确，同时需过滤因遮挡或操作失误导致的低质量回合，以维持数据集的可靠性与可复现性。

常用场景

经典使用场景

在具身智能与机器人操作学习的研究领域中，该数据集聚焦于抽屉闭合这一具有代表性的精细操作任务，通过SO-Follower机械臂的六自由度关节位姿与双路视觉观测流，构建了动作-状态-视觉高度耦合的时序轨迹样本。经典使用场景涵盖模仿学习策略的端到端训练、基于视觉表征的行为克隆模型验证，以及在遮挡条件下对操作鲁棒性的评估，为机器人学习闭环提供了标准化的多模态数据支撑。

解决学术问题

该数据集有效缓解了机器人操作研究中遮挡场景下视觉-动作映射建模困难的问题，为探究策略网络在非理想视觉条件下的泛化边界提供了受控实验基底。其单任务多回合的轨迹组织方式有助于分析回合间一致性、视觉时序依赖与动作平滑性之间的内在关联，对推动鲁棒模仿学习算法、遮挡感知表征学习及小样本策略迁移等方向具有实证价值与基准意义。

衍生相关工作

该数据集依托LeRobot生态系统构建，与基于ACT、Diffusion Policy等模仿学习范式的机器人操作研究形成直接关联，并为视觉遮挡条件下的策略鲁棒性评估提供实验基础。其数据组织规范亦被广泛应用于机器人数据集可视化工具与训练流程的标准化实践，衍生出面向精细操作任务的策略对比与消融实验等后续研究。