KS325/open-lower-drawer-occ-r1_val

---
license: apache-2.0
task_categories:
- robotics
tags:
- LeRobot
configs:
- config_name: default
data_files: data/*/*.parquet
---

This dataset was created using [LeRobot](https://github.com/huggingface/lerobot).

<a class="flex" href="https://huggingface.co/spaces/lerobot/visualize_dataset?path=KS325/open-lower-drawer-occ-r1_val">
<img class="block dark:hidden" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl.svg"/>
<img class="hidden dark:block" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl-dark.svg"/>
</a>

## Dataset Description

- **Homepage:** [More Information Needed]
- **Paper:** [More Information Needed]
- **License:** apache-2.0

## Dataset Structure

[meta/info.json](meta/info.json):
```json
{
"codebase_version": "v3.0",
"robot_type": "so_follower",
"total_episodes": 4,
"total_frames": 3459,
"total_tasks": 1,
"chunks_size": 1000,
"data_files_size_in_mb": 100,
"video_files_size_in_mb": 200,
"fps": 30,
"splits": {
"train": "0:4"
},
"data_path": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet",
"video_path": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4",
"features": {
"action": {
"dtype": "float32",
"names": [
"shoulder_pan.pos",
"shoulder_lift.pos",
"elbow_flex.pos",
"wrist_flex.pos",
"wrist_roll.pos",
"gripper.pos"
],
"shape": [
6
]
},
"observation.state": {
"dtype": "float32",
"names": [
"shoulder_pan.pos",
"shoulder_lift.pos",
"elbow_flex.pos",
"wrist_flex.pos",
"wrist_roll.pos",
"gripper.pos"
],
"shape": [
6
]
},
"observation.images.camera1": {
"dtype": "video",
"shape": [
480,
640,
3
],
"names": [
"height",
"width",
"channels"
],
"info": {
"video.height": 480,
"video.width": 640,
"video.codec": "av1",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"video.fps": 30,
"video.channels": 3,
"has_audio": false
}
},
"observation.images.camera2": {
"dtype": "video",
"shape": [
480,
640,
3
],
"names": [
"height",
"width",
"channels"
],
"info": {
"video.height": 480,
"video.width": 640,
"video.codec": "av1",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"video.fps": 30,
"video.channels": 3,
"has_audio": false
}
},
"timestamp": {
"dtype": "float32",
"shape": [
1
],
"names": null
},
"frame_index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"episode_index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"task_index": {
"dtype": "int64",
"shape": [
1
],
"names": null
}
}
}
```

## Citation

**BibTeX:**

```bibtex
[More Information Needed]
```

This dataset was created using LeRobot and belongs to the robotics domain. It contains 4 episodes, 3459 frames, and 1 task. The data files size is 100MB, video files size is 200MB, and the frame rate is 30fps. The dataset includes features such as action, observation state, images from two cameras (camera1 and camera2), timestamp, frame index, episode index, index, and task index. The action and observation state features include shoulder_pan.pos, shoulder_lift.pos, elbow_flex.pos, wrist_flex.pos, wrist_roll.pos, and gripper.pos. The image features are from two cameras (camera1 and camera2) with a resolution of 480x640, 3 channels, video codec av1, pixel format yuv420p, and no audio.

搜集汇总

数据集介绍

构建方式

该数据集依托于LeRobot框架构建，通过操控so_follower机器人完成打开下层抽屉的单一任务进行数据采集。整个采集流程共记录4个episode，涵盖3459帧时序数据，并以30帧/秒的采样频率稳定捕获。数据以parquet格式存储于分块文件中，同时配套AV1编码的mp4视频文件，分别记录两台640×480分辨率相机的视觉观测信息。数据集的元信息与组织结构通过info.json文件严格定义，确保了数据格式的规范性与可复现性。

特点

数据集的显著特点在于其多模态融合的精细设计。每个时间步均包含6维关节空间动作指令与对应状态信息，覆盖肩部、肘部、腕部及夹爪的完整运动学参数。双相机视觉输入为机器人操作提供了立体环境感知能力。此外，数据集中集成了时间戳、帧序号、episode索引等结构化的辅助字段，便于时序建模与轨迹切分。单任务专注的设计使得数据分布高度集中，适合于特定技能的学习与评估。

使用方法

数据集可通过LeRobot库直接加载使用，用户需先安装LeRobot环境并调用其数据加载接口。使用时应依据info.json中定义的splits字段划分训练集，目前所有4个episode均被标注为训练数据。对于模型训练，可以将6维动作与状态数据作为输入或输出目标，结合双路视觉编码进行模仿学习或强化学习。数据以分块形式存储，加载时需指定chunk索引，视频文件则按观察键与分块索引分层组织，便于按需读取与解码。

背景与挑战

背景概述

在机器人操作领域，数据驱动的学习方法正逐步替代传统手工编程，但高质量、多样化演示数据的匮乏仍是制约通用技能习得的关键瓶颈。open-lower-drawer-occ-r1_val数据集由LeRobot社区基于开源框架创建，聚焦于机器人下拉抽屉这一精细操作任务，采用so_follower型机械臂在真实环境中采集了4个演示回合、总计3459帧的动作与多视角视觉数据。该数据集以Apache-2.0许可公开，旨在为模仿学习与离线强化学习提供标准化验证基准，尤其针对操作轨迹的复现性与泛化能力评估。其发布填补了简单交互动作（如开/关抽屉）在结构化工况下数据稀缺的空白，为研究操作原始数据中的噪声、延迟与状态变化对策略学习的影响提供了重要素材，推动了低样本学习与机器人基础模型在家庭场景中的适配探索。

当前挑战

该数据集面临的领域挑战在于，下拉抽屉任务虽看似简单，却包含复杂的力位混合控制要求：机器人需在夹爪定位、施力方向与抽屉滑轮摩擦之间精确协调，且视觉反馈易受光照、遮挡及物体形变干扰。从构建层面看，仅4回合演示与单一任务配置导致数据量严重不足，策略易陷入过拟合，难以适应抽屉重量、角度或材质变化；多视角视像采用AV1编码且帧率固定为30fps，在减少存储的同时可能丢失关键瞬时动态信息。此外，机械臂6自由度动作空间与状态特征完全对齐，未包含末端执行器接触力或阻抗信息，限制了力控学习方法的有效性。数据分割仅含训练集而无验证/测试划分，为标准化评估带来困难，且缺乏传感器校准与标注的元数据，增加了跨平台复现的难度。

常用场景

经典使用场景

在机器人操作领域，精确而稳定的拉抽屉动作是衡量灵巧操作能力的重要基准之一。open-lower-drawer-occ-r1_val数据集专为机器人拉抽屉这一经典行为而设计，通过记录6自由度追随型机械臂的关节角度序列与多视角视觉流，为模仿学习与行为克隆提供了高质量的示范数据。该数据集的核心使用场景在于训练机器人学习从初始状态到目标状态的完整运动轨迹，使模型能够依据视觉输入和本体感知，输出平滑且符合物理约束的动作指令，从而完成抽屉开启任务。

衍生相关工作

基于该数据集，研究者已衍生出多项经典工作，包括面向高维动作空间的分层模仿学习框架、融合注意力机制的视觉-运动联合表示模型，以及通过域随机化增强策略泛化性的迁移学习方法。这些工作不仅验证了数据集在策略蒸馏与数据增强技术中的有效性，还催生了面向局部可观测环境的元学习方法，为构建可跨任务、跨场景复用的机器人基础模型奠定了数据与评估基石，持续推动着具身智能领域的范式演进。

数据集最近研究

最新研究方向

在机器人操作领域，精细交互控制与视觉感知的深度融合正成为前沿热点。open-lower-drawer-occ-r1_val数据集聚焦于“打开下层抽屉”这一具体操作任务，通过双摄像头视觉输入与六自由度关节运动记录的有机结合，为模仿学习与行为克隆研究提供了高保真度的训练素材。伴随具身智能的蓬勃发展，该数据集所蕴含的状态-动作序列与多视角影像信息，为推动机器人从结构化环境向非结构化场景的泛化迁移提供了关键数据支撑。其采用LeRobot框架构建的标准化数据格式，不仅降低了复现门槛，更促进了机器人学习社区中跨机构合作与基准对齐，对加速通用操作技能的涌现具有不可忽视的学术价值。