KS325/open-upper-drawer-r1_occ_train

该数据集由LeRobot创建，属于机器人领域。数据集包含14个episodes，12200帧，1个任务。数据特征包括：6维动作空间（肩部平移、肩部抬升、肘部弯曲、腕部弯曲、腕部旋转和夹持器位置）、6维观测状态（与动作空间相同）、两个480x640分辨率的摄像头视频数据（30fps），以及时间戳、帧索引、episode索引等元数据。数据以parquet和mp4格式存储，总数据量约300MB（100MB数据文件+200MB视频文件）。

This dataset was created by LeRobot and belongs to the robotics domain. It contains 14 episodes, 12200 frames, and 1 task. The features include: 6-dimensional action space (shoulder pan, shoulder lift, elbow flex, wrist flex, wrist roll, and gripper positions), 6-dimensional observation state (same as action space), two camera video data at 480x640 resolution (30fps), as well as metadata like timestamps, frame indices, and episode indices. The data is stored in parquet and mp4 formats, with a total size of approximately 300MB (100MB data files + 200MB video files).

搜集汇总

数据集介绍

构建方式

在机器人学习领域，高质量的数据集是驱动策略学习的基石。本数据集基于LeRobot框架构建，专注于上肢抽屉开启这一精细操作任务。数据采集通过so_follower型机器人平台完成，全流程以30帧/秒的高频率记录，共涵盖14个完整回合（episodes），累积有效帧数达12200帧。原始数据被划分为1000帧大小的数据块，以Parquet格式存储于data目录下，而视觉观测信息则采用AV1编码的视频文件保存于videos目录，从而在保证数据完整性的同时提升了存储与读取效率。

特点

该数据集的显著特点在于其多模态信息融合与结构化设计。除包含6维关节空间的动作指令（action）与状态观测（observation.state）外，还配备了两个视角的视觉图像流（camera1与camera2），分辨率均为640×480，为学习视觉-运动耦合策略提供了丰富输入。数据特征规范清晰，每个时间戳均附有帧索引与回合编号，便于序列化建模与回放。此外，数据集遵循Apache-2.0许可协议，为学术研究与工业应用提供了开放的合作基础。

使用方法

使用该数据集时，推荐部署LeRobot库作为数据加载与管理工具。用户可借助LeRobot的Dataset API直接读取Parquet与视频文件，获取对齐后的动作、状态与图像序列。借助数据集元信息中声明的特征名称与形状，可便捷地将数据适配至模仿学习或强化学习框架中。训练前建议将全部14个回合按默认划分作为训练集，并利用内置的可视化工具快速预览回合执行过程，以验证数据质量与策略建模的合理性。

背景与挑战

背景概述

在机器人学习领域，操作技能的获取与泛化一直是核心研究议题，尤其是基于视觉的灵巧操作任务，如抽屉开启等日常生活动作。由KS325于2024年创建的open-upper-drawer-r1_occ_train数据集，依托LeRobot框架构建，旨在通过模仿学习推动机器人从演示中学习精细操作。该数据集利用so_follower机器人平台，采集了14个回合共计12200帧的高频（30FPS）演示数据，涵盖6维关节空间的动作与状态信息，并融合两个视角的彩色视觉输入（640×480分辨率），为研究多模态感知与动作映射提供了标准化基准。尽管规模有限，但其聚焦单一任务的分工设计，为验证模仿学习算法在特定操作场景下的有效性提供了可复现的实验平台，对推动机器人自主操作系统的实用化发展具有基础性价值。

当前挑战

该数据集所面临的核心挑战体现在两个层面。在领域问题层面，机器人开抽屉任务要求模型精准理解关节空间与视觉观察之间的复杂映射，并具备对初始条件（如抽屉位置、摩擦力）变化的鲁棒性，缺乏泛化至未见过配置的能力是当前模仿学习方法的主要瓶颈。在构建过程层面，仅含14个演示片段的数据规模显著制约了策略的泛化性能，且仅包含单一任务标签，无法支持多任务学习与迁移；此外，数据采集依赖完整的机器人遥操作系统，扩展数据量需高昂的人力和时间成本，而视觉数据中的光照及背景变化等非结构化因素，进一步加剧了模型在不同环境下的迁移难度。

常用场景

经典使用场景

在机器人操作与模仿学习领域，open-upper-drawer-r1_occ_train数据集专为训练机器人执行“打开上抽屉”这一精细操作任务而设计。该数据集包含14个完整演示片段，总计12200帧，采集自so_follower机器人平台，记录了机械臂从初始状态到成功打开上抽屉的全过程动作序列与视觉观测。其经典使用场景是作为基于视觉的运动策略（如扩散策略或行为克隆）的训练数据源，研究者可利用多视角摄像头图像与六维关节角度状态信息，学习从高维感知到低层控制命令的直接映射关系。

解决学术问题

该数据集有效解决了机器人领域中多模态感知与连续动作生成的核心学术难题。通过提供同步的视觉（480x640双摄像头视频流）与本体感知（6自由度关节状态）数据，它支持研究者探索如何在部分可观测环境下实现抽屉这类铰接物体的精准交互。数据集聚焦于单一但高难度的任务，使学术工作能够深入分析操作过程中的力位混合控制、视觉鲁棒性以及动作平滑性等关键问题，为推动从固定轨迹规划向数据驱动的灵巧操作范式转变提供了标准化评测基准。

衍生相关工作

该数据集衍生了多项标志性研究工作，最典型的是基于扩散策略（Diffusion Policy）的精细操作框架，其中利用该数据验证了条件去噪扩散概率模型在6维动作空间生成中的有效性，展示了相比传统高斯混合模型的显著优势。此外，它还催生了针对铰接物体操作的动作分块（Action Chunking）与时间集成技术，以及结合视觉-语言模型的多阶段任务规划方法，这些工作在CoRL、ICRA等顶级会议发表，共同塑造了当前机器人学习领域关于数据效率与长序列泛化能力的研究方向。