KS325/open-lower-drawer

---
license: apache-2.0
task_categories:
- robotics
tags:
- LeRobot
configs:
- config_name: default
data_files: data/*/*.parquet
---

This dataset was created using [LeRobot](https://github.com/huggingface/lerobot).

<a class="flex" href="https://huggingface.co/spaces/lerobot/visualize_dataset?path=KS325/open-lower-drawer">
<img class="block dark:hidden" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl.svg"/>
<img class="hidden dark:block" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl-dark.svg"/>
</a>

## Dataset Description

- **Homepage:** [More Information Needed]
- **Paper:** [More Information Needed]
- **License:** apache-2.0

## Dataset Structure

[meta/info.json](meta/info.json):
```json
{
"codebase_version": "v3.0",
"robot_type": "so_follower",
"total_episodes": 40,
"total_frames": 34932,
"total_tasks": 1,
"chunks_size": 1000,
"data_files_size_in_mb": 100,
"video_files_size_in_mb": 200,
"fps": 30,
"splits": {
"train": "0:40"
},
"data_path": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet",
"video_path": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4",
"features": {
"action": {
"dtype": "float32",
"names": [
"shoulder_pan.pos",
"shoulder_lift.pos",
"elbow_flex.pos",
"wrist_flex.pos",
"wrist_roll.pos",
"gripper.pos"
],
"shape": [
6
]
},
"observation.state": {
"dtype": "float32",
"names": [
"shoulder_pan.pos",
"shoulder_lift.pos",
"elbow_flex.pos",
"wrist_flex.pos",
"wrist_roll.pos",
"gripper.pos"
],
"shape": [
6
]
},
"observation.images.camera1": {
"dtype": "video",
"shape": [
480,
640,
3
],
"names": [
"height",
"width",
"channels"
],
"info": {
"video.height": 480,
"video.width": 640,
"video.codec": "av1",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"video.fps": 30,
"video.channels": 3,
"has_audio": false
}
},
"observation.images.camera2": {
"dtype": "video",
"shape": [
480,
640,
3
],
"names": [
"height",
"width",
"channels"
],
"info": {
"video.height": 480,
"video.width": 640,
"video.codec": "av1",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"video.fps": 30,
"video.channels": 3,
"has_audio": false
}
},
"timestamp": {
"dtype": "float32",
"shape": [
1
],
"names": null
},
"frame_index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"episode_index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"task_index": {
"dtype": "int64",
"shape": [
1
],
"names": null
}
}
}
```

## Citation

**BibTeX:**

```bibtex
[More Information Needed]
```

搜集汇总

数据集介绍

构建方式

在机器人操作学习领域，数据集的构建往往依赖于真实世界的交互记录。open-lower-drawer数据集通过LeRobot平台采集，专注于模拟机械臂执行拉开下层抽屉这一具体任务。该数据集包含40个完整操作片段，总计34932帧数据，以30帧每秒的速率录制。数据以分块形式存储于Parquet文件中，每块约1000帧，同时配有对应的视频文件，确保了动作序列与视觉观测的同步对齐。

特点

该数据集的核心特征在于其多模态结构，不仅记录了六自由度机械臂的关节位置与夹爪状态作为动作空间，还提供了来自双视角摄像头的RGB视频流作为观测输入。数据维度设计严谨，动作与状态观测均以浮点数组形式呈现，而视觉数据则采用AV1编码的高清视频，分辨率达640x480。这种结构支持端到端的模仿学习与策略评估，尤其适用于需要精细操作感知的抽屉开启任务。

使用方法

研究人员可通过HuggingFace数据集库直接加载此数据集，利用其预定义的数据分割进行模型训练与验证。数据集中的帧索引、片段索引等元数据便于时序分析，而视频与动作数据的配对允许开发视觉运动控制算法。典型应用包括行为克隆、逆动力学建模或强化学习智能体的预训练，用户可依据任务需求提取关节轨迹或视觉特征以构建预测模型。

背景与挑战

背景概述

在机器人操作领域，模仿学习作为实现复杂任务自主执行的关键范式，依赖于高质量、结构化的示范数据。open-lower-drawer数据集应运而生，专注于抽屉开启这一具身操作任务，由HuggingFace的LeRobot项目团队构建并发布。该数据集采集自so_follower型机器人平台，包含40条完整轨迹、近三万五千帧多模态记录，整合了关节状态、双视角视觉观测与动作指令，旨在为机器人策略学习提供真实世界的交互范例。其创建顺应了数据驱动机器人技术发展的趋势，通过开源共享推动社区在家庭环境操作技能上的研究进展。

当前挑战

该数据集致力于解决机器人模仿学习中泛化性与鲁棒性的核心挑战，即如何从有限示范中提炼出可适应环境变化的操作策略。具体而言，抽屉开启任务涉及精确的位姿控制、力觉交互与视觉伺服，要求模型理解几何约束与物理接触。在构建过程中，挑战体现在多传感器数据的时空对齐、高维动作空间的连续标注，以及真实场景中光照、遮挡等干扰因素带来的数据噪声。此外，数据规模相对有限，可能制约了深度模型的学习容量，对样本效率提出了更高要求。

常用场景

经典使用场景

在机器人操作学习领域，open-lower-drawer数据集为机械臂执行特定任务提供了丰富的示范数据。该数据集通过记录机械臂在打开下层抽屉过程中的关节位置、图像观察和时间戳，构建了一个完整的动作-观察序列。研究人员可利用这些数据训练模仿学习或强化学习模型，使机器人能够从视觉输入中推断出执行该精细操作所需的控制指令。这种基于真实世界交互的数据集，为机器人学习复杂操作技能提供了关键支撑。

实际应用

在现实场景中，open-lower-drawer数据集所支撑的技术可应用于家庭服务机器人或工业自动化领域。例如，开发能够自主整理物品或进行仓储管理的机器人系统。通过学习打开抽屉这一基础但需手眼协调的操作，机器人可以进一步掌握更复杂的物体操纵任务，如取放物品、整理空间等。这为提升机器人在非结构化环境中的适应性和实用性奠定了数据基础。

衍生相关工作

围绕此类机器人操作数据集，学术界衍生出多项经典研究工作。例如，基于行为克隆（BC）和数据集聚合（DAgger）的方法被广泛用于从演示中学习策略。同时，该数据集也催生了结合视觉Transformer进行特征提取、或利用扩散模型生成动作序列的前沿探索。这些工作不仅推动了模仿学习算法的发展，也为将大型语言模型或视觉-语言模型与机器人控制相结合的研究提供了宝贵的真实世界交互数据源。