KS325/open-upper-drawer-r1_occ_test

该数据集是一个机器人相关的数据集，由LeRobot创建。数据集包含机器人动作和观察状态的数据，具体包括机器人的关节位置（如shoulder_pan.pos、shoulder_lift.pos等）、摄像头图像（camera1和camera2）等。数据集的结构信息详细描述了数据的类型、形状和格式，如动作数据的dtype为float32，形状为[6]；摄像头图像数据的dtype为video，形状为[480, 640, 3]。数据集的总帧数为1705，总任务数为1，总片段数为2。数据以parquet格式存储，视频以mp4格式存储。

This dataset is a robotics-related dataset created by LeRobot. It contains data on robot actions and observation states, specifically including robot joint positions (e.g., shoulder_pan.pos, shoulder_lift.pos, etc.) and camera images (camera1 and camera2). The dataset structure details the data types, shapes, and formats, such as action data with dtype float32 and shape [6], and camera image data with dtype video and shape [480, 640, 3]. The dataset has a total of 1705 frames, 1 task, and 2 episodes. The data is stored in parquet format, and videos are stored in mp4 format.

搜集汇总

数据集介绍

构建方式

在机器人操作领域，精细化的抽屉开启动作是具身智能研究中的经典课题。本数据集依托LeRobot框架构建，采用so_follower型机器人作为执行载体，通过遥操作方式采集了2段完整的演示轨迹，共计1705帧时序数据。数据以parquet格式存储为分块文件，同时附带来自两个RGB摄像头（camera1与camera2）的同步视频流（AV1编码，640×480分辨率，30fps），确保了多模态感知信息的完整性。每条轨迹记录了6维关节空间的动作指令与状态观测值，覆盖肩部、肘部、腕部及夹爪的位姿变化。

特点

该数据集最显著的特征在于其紧凑而高保真的结构设计。尽管仅包含2个演示片段，但总帧数达1705帧，时序分辨率高达30fps，为细粒度动作建模提供了充分的时间维度信息。数据特征精心划分为动作指令、状态观测与多视角图像三大模块，其中图像以压缩视频形式存储有效平衡了存储开销与视觉细节保留。特别地，数据集采用分块索引机制（chunk_size=1000），支持按需加载大规模序列，非常适合用于行为克隆与离线强化学习的算法验证。

使用方法

研究者可通过LeRobot库提供的标准接口直接加载该数据集。使用`from lerobot import Dataset`模块并指定路径即可读取全部演示，自动解析parquet数据与视频帧。由于数据已按训练集划分（split=train），用户可直接迭代访问每一时间步的动作`action`、状态`observation.state`及图像`observation.images.camera1/camera2`。数据集规模适中（数据文件100MB、视频文件200MB），便于在小样本模仿学习或快速原型开发中作为测试基准。可视化工具也集成在HuggingFace Spaces中，便于直接预览演示效果。

背景与挑战

背景概述

在机器人学习领域，精细操作技能的获取一直是研究焦点，尤其是针对非结构化环境中常见的人机协作任务。open-upper-drawer-r1_occ_test数据集诞生于这一背景下，由KS325团队基于Hugging Face的LeRobot框架构建，旨在为机器人开门等典型柜体操作提供标准化训练与评估数据。该数据集创建于近年来，采用so_follower机器人平台，通过双摄像头多视角记录高帧率（30fps）的动作与状态信息，共包含2个回合（episode）和1705帧数据，聚焦于单一任务——开启上层抽屉。其开源许可证（Apache-2.0）促进了研究社区内的广泛共享与复现，为模仿学习、视觉运动策略等方向提供了基准化测试范例，有力推动了机器人灵巧操作的可重复研究生态发展。

当前挑战

该数据集所解决的领域问题核心在于机器人操作任务的泛化性与数据效率挑战：现实中抽屉的尺寸、阻力及环境光照差异巨大，验证模型在有限示范（仅2回合）下能否实现稳定抓取，是评估是否具备少样本学习能力的关键。构建过程中遇到的挑战首先体现在硬件同步与标定层面——需确保两台640×480分辨率相机在不同视角下与机器人6自由度关节状态数据严格对齐，消除时间戳滞后与空间坐标系不一致带来的噪声；其次，操作策略的完整性受限于门把手定位精度与力控交互，开抽屉动作需柔顺适应突发摩擦变化，而已有数据仅有17秒时长，如何从如此少量高维（动作、图像、状态）序列中提取鲁棒技能，是数据集本身对现有学习算法提出的严峻考验。

常用场景

经典使用场景

在机器人操作领域，open-upper-drawer-r1_occ_test数据集为研究精细的推拉抽屉动作提供了标准化的训练与测试基准。该数据集通过SO-Follower机器人平台采集，记录了机械臂六自由度关节角度与夹爪位置，并同步捕获双视角视觉信息，适用于模仿学习、行为克隆以及基于视觉的运动策略等经典研究范式。研究者可借助其中的动作序列与状态观测，训练机器人完成上层抽屉的精准开启，从而验证算法在约束环境下的可控性与泛化能力。

解决学术问题

该数据集直面机器人领域中长期存在的非结构化环境操作难题，尤其是对带有铰链或导轨约束的家具部件（如抽屉）的交互问题。通过提供高保真、多模态的示范数据，它帮助学界攻克从状态估计到动作映射的系列挑战，使算法能在微观尺度上学习力位混合控制策略。其意义在于填补了精细操作场景中公开数据集的空白，推动了机器人从简单的抓取放置向复杂任务执行能力的拓展，为具身智能研究注入了关键数据动力。

衍生相关工作

围绕该数据特性，已涌现出一系列衍生工作，如基于扩散策略的动作生成模型（Diffusion Policy）和利用时序Transformer进行状态-动作联合预测的算法。研究者还将其与sim-to-real迁移框架结合，在仿真环境中大规模扩增训练数据，或通过逆强化学习从演示中推断奖励函数。此外，该数据集常作为开放抽屉系列任务的一部分，被引入到多技能组合学习、长时域任务规划等前沿课题中，持续激发着机器人操作社区的理论创新与方法迭代。