KS325/close-upper-drawer-r1_occ_val

该数据集由LeRobot创建，主要用于机器人技术领域。数据集包含3407帧数据，分为4个片段，涉及1个任务。数据特征包括机器人动作（如肩部、肘部、腕部和夹持器的位置）、观察状态、两个摄像头的图像数据（分辨率为480x640，30fps）以及时间戳、帧索引、片段索引和任务索引等。数据格式为parquet和mp4，许可证为apache-2.0。

This dataset was created by LeRobot and is intended for robotics applications. It contains 3407 frames of data, divided into 4 episodes and involving 1 task. The features include robot actions (e.g., positions of shoulder, elbow, wrist, and gripper), observation states, image data from two cameras (resolution 480x640, 30fps), as well as timestamps, frame indices, episode indices, and task indices. The data formats are parquet and mp4, and the license is apache-2.0.

搜集汇总

数据集介绍

构建方式

该数据集基于LeRobot框架构建，专为机器人操作任务设计。数据收集自单机器人（so_follower）执行抽屉关闭动作，共计4个完整示教回合，包含3407帧时序数据与100MB的Parquet文件及200MB视频素材。通过30帧/秒的同步采样，将六维关节空间状态（肩部俯仰/横滚、肘部屈伸、腕部屈伸/回转、夹爪位置）与双视角摄像头（480×640分辨率、AV1编码）视频流对应编码，形成多模态训练样本。

特点

数据集以高保真度为特色，兼顾运动控制精度与视觉感知冗余。6自由度的关节位置数据完整记录了操作过程中机械臂的连续轨迹，配合两个独立摄像头从不同角度捕捉物理交互的视觉线索，使模型可同时学习运动规划与视觉伺服。此外，每个样本均附带时间戳、帧索引与任务标识符，便于序列建模与任务条件生成，且Apache 2.0许可保障了使用灵活性。

使用方法

使用LeRobot工具链可直接加载parquet数据与视频流，通过定义的动作与状态字段进行逆强化学习或行为克隆训练。用户可通过Hugging Face Spaces可视化界面浏览各回合的时序重放，还可依任务索引提取子集进行多任务评估。对于动作预测任务，建议以observation.state与observation.images作为联合输入，监督信号选取action向量，实现端到端的机器人操控策略学习。

背景与挑战

背景概述

随着机器人学习在精细操作领域的发展，面向特定任务的数据集成为推动算法进步的关键资源。由KS325团队于近期创建并托管于HuggingFace平台的close-upper-drawer-r1_occ_val数据集，聚焦于机器人关闭上层抽屉这一具身操作行为，核心研究问题在于如何通过有限的示范数据高效学习精细的夹爪与关节协调运动。该数据集依托LeRobot框架构建，采用so_follower机器人平台，以30帧/秒的速率记录了4个回合、共计3407帧的关节状态与双视角视觉流，为模仿学习与行为克隆提供了高保真的基准数据。尽管规模较小，但其对抽屉关闭这类日常封闭操作任务的精细化采集，为机器人技能迁移与泛化研究注入了新的实证基础。

当前挑战

该数据集所面临的领域挑战集中于：第一，从仅有4个示范回合的稀疏数据中，学习具备鲁棒性的抽屉关闭策略，防止因轨迹偏差导致的任务失败；第二，在关节空间和图像空间两个模态上实现准确的同步与对齐，避免时序错位对策略学习的干扰。在构建过程中，挑战体现于如何设计有效的演示协议以确保示范动作的一致性，以及如何用有限的硬件资源（单机器人、双摄像头）覆盖足够的状态空间，避免过拟合到特定起始构型。此外，经AV1编解码压缩的视频可能引入画质损失，对依赖视觉特征的策略产生潜在影响，需要后续研究加以验证与补偿。

常用场景

经典使用场景

在机器人操作领域，close-upper-drawer-r1_occ_val数据集为模仿学习和行为克隆提供了精细化的训练基底。该数据集收录了机械臂执行关闭上层抽屉这一典型接触式任务的完整轨迹，包含多视角视觉观测与六维关节动作序列，支持从视觉输入到动作输出的端到端策略学习。研究者可借助该数据集训练模型理解物体空间约束与力位混合控制的内在逻辑，尤其适合验证预测性动作生成算法在结构化任务中的效果。

解决学术问题

该数据集主要解决了机器人灵巧操作中从视觉感知到精准动作映射的学术难题。传统方法在封闭式抽屉关闭任务中常因物体形变与摩擦不确定性导致失败，而此数据通过标准化的状态-动作对与高清视觉记录，为分析闭环控制下的动作平滑性、碰撞规避策略以及多模态融合机制提供了可靠基准。其意义在于推动了对接触式操作中非刚体动力学建模的深入研究，并为评估不同模型在有限样本条件下对操作轨迹的泛化能力提供了量化依据。

衍生相关工作

基于close-upper-drawer-r1_occ_val，衍生出多项推动机器人学习发展的经典工作。研究者利用该数据集对比了扩散策略与基于Transformer的动作解码器在短程操作任务上的性能差异，揭示了时序建模在精准闭合动作中的关键作用。另有工作结合该数据集与域随机化技术，验证了从少量演示中通过数据增强提升策略鲁棒性的可行性。此外，该数据集作为LeRobot生态的组成部分，被用于基准测试离线强化学习算法在真实机器人数据上的样本效率，促进了可复现的机器人研究范式形成。