KS325/open-upper-drawer

---
license: apache-2.0
task_categories:
- robotics
tags:
- LeRobot
configs:
- config_name: default
data_files: data/*/*.parquet
---

This dataset was created using [LeRobot](https://github.com/huggingface/lerobot).

<a class="flex" href="https://huggingface.co/spaces/lerobot/visualize_dataset?path=KS325/open-upper-drawer">
<img class="block dark:hidden" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl.svg"/>
<img class="hidden dark:block" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl-dark.svg"/>
</a>

## Dataset Description

- **Homepage:** [More Information Needed]
- **Paper:** [More Information Needed]
- **License:** apache-2.0

## Dataset Structure

[meta/info.json](meta/info.json):
```json
{
"codebase_version": "v3.0",
"robot_type": "so_follower",
"total_episodes": 40,
"total_frames": 35012,
"total_tasks": 1,
"chunks_size": 1000,
"data_files_size_in_mb": 100,
"video_files_size_in_mb": 200,
"fps": 30,
"splits": {
"train": "0:40"
},
"data_path": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet",
"video_path": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4",
"features": {
"action": {
"dtype": "float32",
"names": [
"shoulder_pan.pos",
"shoulder_lift.pos",
"elbow_flex.pos",
"wrist_flex.pos",
"wrist_roll.pos",
"gripper.pos"
],
"shape": [
6
]
},
"observation.state": {
"dtype": "float32",
"names": [
"shoulder_pan.pos",
"shoulder_lift.pos",
"elbow_flex.pos",
"wrist_flex.pos",
"wrist_roll.pos",
"gripper.pos"
],
"shape": [
6
]
},
"observation.images.camera1": {
"dtype": "video",
"shape": [
480,
640,
3
],
"names": [
"height",
"width",
"channels"
],
"info": {
"video.height": 480,
"video.width": 640,
"video.codec": "av1",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"video.fps": 30,
"video.channels": 3,
"has_audio": false
}
},
"observation.images.camera2": {
"dtype": "video",
"shape": [
480,
640,
3
],
"names": [
"height",
"width",
"channels"
],
"info": {
"video.height": 480,
"video.width": 640,
"video.codec": "av1",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"video.fps": 30,
"video.channels": 3,
"has_audio": false
}
},
"timestamp": {
"dtype": "float32",
"shape": [
1
],
"names": null
},
"frame_index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"episode_index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"task_index": {
"dtype": "int64",
"shape": [
1
],
"names": null
}
}
}
```

## Citation

**BibTeX:**

```bibtex
[More Information Needed]
```

搜集汇总

数据集介绍

构建方式

在机器人操作领域，数据集的构建往往依赖于真实物理环境中的交互记录。open-upper-drawer数据集借助LeRobot平台，通过so_follower型机器人执行打开上层抽屉的任务，系统采集了40个完整操作片段。每个片段以30帧每秒的速率记录，包含机器人关节位置状态、双视角视觉图像及时间戳等多模态信息，并以分块Parquet格式高效存储，总数据量达数百兆字节，确保了数据的完整性与可处理性。

特点

该数据集在机器人学习领域展现出鲜明的多模态特性，不仅涵盖六维关节位置的动作与状态向量，还同步提供两个摄像头采集的480x640分辨率RGB视频流。数据以时序帧序列组织，包含超过三万五千帧的密集标注，支持从低级控制到高级视觉理解的跨层次研究。其统一的结构化特征定义与分块存储方案，为大规模机器人行为数据的快速加载与并行处理提供了便利。

使用方法

研究人员可利用该数据集训练或评估机器人操作策略，特别是抽屉开启这类精细操控任务。通过加载Parquet文件，可访问每一帧的动作、状态及同步的双视角图像，进而构建端到端的模仿学习或强化学习模型。数据集已预分为训练集，支持以片段或帧为单位进行采样，便于开展时序预测、行为克隆或多传感器融合等实验，推动机器人灵巧操作能力的发展。

背景与挑战

背景概述

在机器人操作学习领域，模仿学习与强化学习等数据驱动方法正逐步成为实现复杂任务自主执行的关键途径。open-upper-drawer数据集应运而生，它由HuggingFace的LeRobot项目团队创建，专注于机械臂执行打开上层抽屉这一具体操作任务。该数据集收录了40条完整轨迹，包含超过35000帧的多模态观测数据，如关节状态与双视角视觉信息，旨在为机器人操作策略的端到端训练提供高质量的真实世界交互记录。其构建依托开源机器人学习框架，体现了社区推动机器人泛化能力发展的集体努力，为具身智能研究提供了宝贵的实证资源。

当前挑战

该数据集致力于解决机器人操作中基于视觉的精细物体操控问题，其核心挑战在于如何从高维视觉与状态观测中学习鲁棒且泛化的控制策略。具体而言，机械臂与抽屉交互涉及复杂的接触动力学与部分可观测性，要求模型能够理解场景几何并预测动作后果。在数据构建层面，挑战体现在真实世界数据采集的耗时性与一致性保障，包括传感器同步、轨迹标注的精确性，以及多视角视频数据的高效存储与处理。此外，有限的任务多样性（仅单一任务）与数据规模可能制约策略的泛化能力，对后续算法设计提出了更高要求。

常用场景

经典使用场景

在机器人操作学习领域，open-upper-drawer数据集为机械臂执行特定任务提供了丰富的演示数据。该数据集记录了机械臂执行打开上层抽屉动作的全过程，包含关节位置、图像观测及时间戳等多模态信息。研究人员利用这些数据训练模仿学习或强化学习模型，使机器人能够从人类演示中学习精细的操作策略，实现自主完成类似任务的能力。

解决学术问题

该数据集有效解决了机器人操作中样本效率低下和泛化能力不足的学术难题。通过提供真实世界的多模态交互数据，它支持端到端策略学习的研究，减少了在模拟环境中训练带来的领域差距问题。数据集的结构化设计促进了动作表示学习、状态估计及任务规划等关键技术的发展，为机器人自主操作系统的构建奠定了数据基础。

衍生相关工作

围绕该数据集，学术界衍生了一系列经典研究工作，主要集中在机器人模仿学习与视觉运动策略的探索。例如，基于LeRobot框架的研究者利用类似数据集开发了高效的行为克隆算法，提升了策略的鲁棒性。同时，这些工作推动了多视角视觉融合、时序动作预测等技术的进步，为更复杂的操作任务提供了可扩展的解决方案。