KS325/open-lower-drawer-occ-r1_train

---
license: apache-2.0
task_categories:
- robotics
tags:
- LeRobot
configs:
- config_name: default
data_files: data/*/*.parquet
---

This dataset was created using [LeRobot](https://github.com/huggingface/lerobot).

<a class="flex" href="https://huggingface.co/spaces/lerobot/visualize_dataset?path=KS325/open-lower-drawer-occ-r1_train">
<img class="block dark:hidden" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl.svg"/>
<img class="hidden dark:block" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl-dark.svg"/>
</a>

## Dataset Description

- **Homepage:** [More Information Needed]
- **Paper:** [More Information Needed]
- **License:** apache-2.0

## Dataset Structure

[meta/info.json](meta/info.json):
```json
{
"codebase_version": "v3.0",
"robot_type": "so_follower",
"total_episodes": 14,
"total_frames": 12247,
"total_tasks": 1,
"chunks_size": 1000,
"data_files_size_in_mb": 100,
"video_files_size_in_mb": 200,
"fps": 30,
"splits": {
"train": "0:14"
},
"data_path": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet",
"video_path": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4",
"features": {
"action": {
"dtype": "float32",
"names": [
"shoulder_pan.pos",
"shoulder_lift.pos",
"elbow_flex.pos",
"wrist_flex.pos",
"wrist_roll.pos",
"gripper.pos"
],
"shape": [
6
]
},
"observation.state": {
"dtype": "float32",
"names": [
"shoulder_pan.pos",
"shoulder_lift.pos",
"elbow_flex.pos",
"wrist_flex.pos",
"wrist_roll.pos",
"gripper.pos"
],
"shape": [
6
]
},
"observation.images.camera1": {
"dtype": "video",
"shape": [
480,
640,
3
],
"names": [
"height",
"width",
"channels"
],
"info": {
"video.height": 480,
"video.width": 640,
"video.codec": "av1",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"video.fps": 30,
"video.channels": 3,
"has_audio": false
}
},
"observation.images.camera2": {
"dtype": "video",
"shape": [
480,
640,
3
],
"names": [
"height",
"width",
"channels"
],
"info": {
"video.height": 480,
"video.width": 640,
"video.codec": "av1",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"video.fps": 30,
"video.channels": 3,
"has_audio": false
}
},
"timestamp": {
"dtype": "float32",
"shape": [
1
],
"names": null
},
"frame_index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"episode_index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"task_index": {
"dtype": "int64",
"shape": [
1
],
"names": null
}
}
}
```

## Citation

**BibTeX:**

```bibtex
[More Information Needed]
```

This dataset was created using LeRobot and is primarily used in the field of robotics. The dataset structure includes 14 episodes, 12247 frames, and 1 task. The data content includes action data (e.g., shoulder_pan.pos, shoulder_lift.pos, etc.), state observation data (same as action data), video data from two cameras (resolution 480x640, 30fps), etc. The data storage formats are parquet and mp4, with a total dataset size of 300MB (100MB for data files and 200MB for video files). The dataset is licensed under apache-2.0.

搜集汇总

数据集介绍

构建方式

该数据集基于LeRobot框架构建，专注于机器人操作任务中的抽屉下开动作。数据采集过程采用so_follower机器人作为执行器，通过遥控或预编程方式记录14个完整回合的演示数据，总计包含12247个时间帧。每帧数据以Parquet格式存储结构化的状态与动作信息，同时通过两个摄像头以30帧每秒的速率同步采集480×640分辨率的彩色视频流。数据集按1000帧的粒度将数据切片为多个分块，便于高效读取与管理。

使用方法

使用者可通过LeRobot库直接加载该数据集，利用其提供的标准接口解析Parquet数据文件与关联的视频资源。数据集的默认配置下，全部14个回合均被划分为训练集，适用于训练端到端的机器人操控策略。在实际应用中，研究者既能提取连续的时间序列数据用于序列建模，也可按帧索引取样以进行单步监督学习。数据路径与元数据结构的设计保证了与LeRobot生态系统的高度兼容性，便于快速集成与实验复现。

背景与挑战

背景概述

在机器人学习领域，模仿学习作为一种使机器人通过观察人类演示来获取技能的有效范式，近年来备受瞩目。open-lower-drawer-occ-r1_train数据集应运而生，由Hugging Face社区基于LeRobot框架创建，旨在为机器人操作任务提供高质量的训练数据。该数据集聚焦于“打开下层抽屉”这一具体操作任务，通过so_follower型机器人采集了14个演示片段，共计12,247帧影像与状态信息，涵盖6维关节空间的动作与观测数据。尽管数据集规模有限，但其标准化格式与清晰的元数据结构（如动作命名、图像分辨率等）为后续研究提供了基准。该数据集虽未被正式论文收录，但因其依托LeRobot生态，有望推动低成本、可复现的机器人操作研究，尤其是在物体交互与精细控制领域奠定数据基础。

当前挑战

该数据集所解决的领域问题聚焦于机器人操作中“打开抽屉”这一典型任务，其核心挑战在于如何从异构演示中泛化出稳健的控制策略，尤其是面对抽屉开合力度、方向或环境光照变化时，机器人需保持动作的精确性与一致性。构建过程中，数据集面临诸多实践难题：采集14个片段虽覆盖有限变异性，但总帧数相对较少且任务单一，可能限制模型对复杂场景的适应能力；视频采用AV1编码虽保证质量，但解码复杂度高，增加了训练时的预处理负担；此外，数据仅依赖单台机器人本体与两台固定视角相机，缺乏触觉反馈与灵活视角，难以捕捉操作中的动态障碍或物体变形，这类数据稀缺性与环境耦合性共同构成了当前机器人操作学习的主要瓶颈。

常用场景

经典使用场景

在机器人学习与自主操作领域，open-lower-drawer-occ-r1_train数据集为模仿学习与行为克隆算法提供了宝贵的训练素材。该数据集记录了SO_Follower机械臂执行“拉下抽屉”这一精细操作任务的完整演示，包含14个回合、逾1.2万帧的高频（30FPS）状态-动作轨迹，以及来自双摄像头的视觉观测。研究者可借此数据训练端到端策略网络，学习从视觉输入到关节运动指令的映射关系，进而实现类似开门、推拉抽屉等结构化交互动作的复现与泛化。该数据集遵循LeRobot标准格式，便于与现有的预处理流程与模型评估体系无缝衔接。

解决学术问题

该数据集聚焦于机器人操作中非刚性物体交互的建模难题，特别是铰接式物体（如抽屉）的动力学参数估计与精准控制。通过提供同步的关节位置、速度信息及多视角视觉信号，它使得研究人员能够探究视觉运动策略在低容错场景下的泛化边界，解决了传统方法依赖精确物理模型导致的鲁棒性不足问题。其贡献在于为机器人领域提供了可复现的基准，助力验证新提出的模仿学习算法、域随机化技术或对比学习预训练框架在处理高自由度、局部视觉遮挡情况下的性能优劣，推动了从仿真环境向真实世界迁移的研究进程。

实际应用

在智能家居与工业自动化场景中，基于该数据集训练的机器人可被部署于家庭辅助、仓储物流或服务前台等环境中，执行诸如开启文件柜、拉取储物箱等基础但高频的任务。例如，在无障碍设施中，机器人可以学习安全地拉出低层抽屉，辅助行动不便者取用物品。此外，该数据集训练的模型也可集成至可移动操作平台，通过与路径规划模块协同工作，使机器人在图书馆、博物馆等公共场所完成引导或物品递送服务，从而切实降低重复性人力劳动强度，提升人机协作的可靠性和效率。

数据集最近研究

最新研究方向

在机器人学习领域，精细操作技能的迁移与泛化已成为核心突破点。open-lower-drawer-occ-r1_train数据集聚焦于“拉抽屉”这一典型家居操作任务，通过LeRobot框架采集了14个完整演示片段、逾1.2万帧高保真数据，涵盖6自由度关节控制轨迹及双视角视觉输入。当前前沿研究正利用此类结构化数据集，结合扩散策略或Transformer架构，推动机器人从单一任务模仿向组合式技能学习的跃迁。该数据集对于探索基于占用网络的动作表征、提升机器人在非结构化环境中的鲁棒性具有重要意义，尤其在家庭服务与人机协作场景中，为实现长期任务规划与闭环精细控制提供了高价值基准。