BrunoM42/robocasa_target_RinseSinkBasin

---
license: apache-2.0
task_categories:
- robotics
tags:
- LeRobot
configs:
- config_name: default
data_files: data/*/*.parquet
---

This dataset was created using [LeRobot](https://github.com/huggingface/lerobot).

## Dataset Description

- **Homepage:** [More Information Needed]
- **Paper:** [More Information Needed]
- **License:** apache-2.0

## Dataset Structure

[meta/info.json](meta/info.json):
```json
{
"codebase_version": "v3.0",
"robot_type": "PandaOmron",
"total_episodes": 509,
"total_frames": 211036,
"total_tasks": 1,
"chunks_size": 1000,
"fps": 20,
"splits": {
"train": "0:509"
},
"data_path": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet",
"video_path": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4",
"features": {
"observation.images.robot0_eye_in_hand": {
"dtype": "video",
"shape": [
256,
256,
3
],
"names": [
"height",
"width",
"channel"
],
"video_info": {
"video.fps": 20,
"video.codec": "h264",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"has_audio": false
},
"info": {
"video.height": 256,
"video.width": 256,
"video.codec": "h264",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"video.fps": 20,
"video.channels": 3,
"has_audio": false
}
},
"observation.images.robot0_agentview_left": {
"dtype": "video",
"shape": [
256,
256,
3
],
"names": [
"height",
"width",
"channel"
],
"video_info": {
"video.fps": 20,
"video.codec": "h264",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"has_audio": false
},
"info": {
"video.height": 256,
"video.width": 256,
"video.codec": "h264",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"video.fps": 20,
"video.channels": 3,
"has_audio": false
}
},
"observation.images.robot0_agentview_right": {
"dtype": "video",
"shape": [
256,
256,
3
],
"names": [
"height",
"width",
"channel"
],
"video_info": {
"video.fps": 20,
"video.codec": "h264",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"has_audio": false
},
"info": {
"video.height": 256,
"video.width": 256,
"video.codec": "h264",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"video.fps": 20,
"video.channels": 3,
"has_audio": false
}
},
"annotation.human.task_description": {
"dtype": "int64",
"shape": [
1
],
"fps": 20
},
"annotation.human.task_name": {
"dtype": "int64",
"shape": [
1
],
"fps": 20
},
"observation.state": {
"dtype": "float64",
"shape": [
16
],
"fps": 20
},
"action": {
"dtype": "float64",
"shape": [
12
],
"fps": 20
},
"next.reward": {
"dtype": "float32",
"shape": [
1
],
"fps": 20
},
"next.done": {
"dtype": "bool",
"shape": [
1
],
"fps": 20
},
"timestamp": {
"dtype": "float32",
"shape": [
1
],
"names": null,
"fps": 20
},
"frame_index": {
"dtype": "int64",
"shape": [
1
],
"names": null,
"fps": 20
},
"episode_index": {
"dtype": "int64",
"shape": [
1
],
"names": null,
"fps": 20
},
"index": {
"dtype": "int64",
"shape": [
1
],
"names": null,
"fps": 20
},
"task_index": {
"dtype": "int64",
"shape": [
1
],
"names": null,
"fps": 20
}
},
"data_files_size_in_mb": 100,
"video_files_size_in_mb": 200
}
```

## Citation

**BibTeX:**

```bibtex
[More Information Needed]
```

搜集汇总

数据集介绍

构建方式

在机器人操作领域，robocasa_target_RinseSinkBasin数据集依托LeRobot平台构建，专门聚焦于清洗水槽盆这一具体任务。该数据集通过PandaOmron机器人采集了509个完整操作片段，总计包含211,036帧数据，以每秒20帧的速率记录。数据以分块形式存储于Parquet文件中，每块约1000帧，确保了高效的数据管理与访问。同时，配套的视频文件以MP4格式保存，采用H.264编码，分辨率统一为256x256像素，为视觉分析提供了标准化输入。

使用方法

研究人员可通过LeRobot框架加载该数据集，其标准化格式支持即插即用的训练流程。数据集已预划分为训练集，涵盖全部509个片段，可直接用于行为克隆或离线强化学习算法的验证。每个数据块包含观测、动作、奖励与终止状态的序列，用户可依据帧索引重构完整操作轨迹。视频数据可通过指定路径访问，配合元数据中的任务描述，能够实现细粒度的任务语义分析。该数据集适用于家庭场景下的机器人技能泛化研究，特别是水槽相关操作的视觉-动作映射建模。

背景与挑战

背景概述

在机器人学习领域，具身智能的发展亟需高质量、大规模的真实世界交互数据。robocasa_target_RinseSinkBasin数据集应运而生，专注于家庭环境中的日常操作任务，特别是厨房场景下的水槽清洗操作。该数据集由LeRobot项目团队构建，依托PandaOmron机器人平台，采集了509个完整交互片段，涵盖超过21万帧的多视角视觉观测与动作序列。其核心研究问题在于推动机器人从感知到执行的端到端学习，旨在提升机器人在非结构化环境中的操作泛化能力与任务适应性，为模仿学习与强化学习算法提供了宝贵的真实数据基础。

当前挑战

该数据集致力于解决机器人操作任务中复杂场景理解与精细动作生成的挑战。具体而言，水槽清洗任务涉及动态流体交互、多物体操作以及视觉遮挡等复杂物理现象，要求模型具备强大的时空推理与自适应控制能力。在构建过程中，数据采集面临真实环境的高可变性，包括光照变化、物体摆放差异以及操作过程中的意外扰动，确保数据的一致性与覆盖度成为关键难题。同时，大规模多模态数据的同步记录、存储与标注，尤其是高帧率视频与状态动作序列的对齐，对数据处理管道提出了极高的技术要求。

常用场景

经典使用场景

在机器人操作学习领域，robocasa_target_RinseSinkBasin数据集为研究机器人执行家庭环境中的精细操作任务提供了关键资源。该数据集聚焦于清洗水槽盆这一具体场景，通过记录PandaOmron机械臂在模拟或真实环境中的操作序列，包括多视角视觉观测、状态信息及动作指令，为开发基于视觉的机器人控制策略奠定了数据基础。研究人员可利用这些时序数据训练模型，使机器人学习如何准确执行涉及物体交互和环境适应的复杂任务。

解决学术问题

该数据集直接应对机器人学中模仿学习与强化学习算法在真实世界泛化能力不足的挑战。通过提供大规模、高质量的任务演示数据，它有助于解决从视觉输入到连续动作空间的映射问题，减少对精确环境建模的依赖。其意义在于推动了数据驱动的机器人技能获取方法的发展，使机器人能够更灵活地适应动态且非结构化的家庭环境，为具身智能研究提供了重要的实证支撑。

实际应用

robocasa_target_RinseSinkBasin数据集的实际应用直接指向家庭服务机器人的功能开发。基于此类数据训练的模型，可使机器人自主完成厨房清洁中的特定步骤，如冲洗水槽。这不仅能提升家用机器人的实用性与自动化水平，也为养老助残等场景中需要精细操作辅助的机器人系统提供了技术原型，加速了从实验室研究到实际产品落地的转化进程。

数据集最近研究

最新研究方向

在机器人操作学习领域，robocasa_target_RinseSinkBasin数据集聚焦于家庭环境中的精细任务执行，特别是清洗水槽盆这一具体场景。该数据集通过LeRobot平台构建，包含多视角视觉观测与机器人状态动作序列，为模仿学习与强化学习算法提供了丰富的训练资源。当前研究前沿集中于利用此类大规模真实世界数据，探索视觉-语言-动作的多模态对齐方法，以提升机器人在非结构化环境中的泛化能力。随着具身智能和通用机器人技术的兴起，该数据集支持了从感知到决策的端到端学习框架，推动了机器人自主执行复杂日常任务的发展，对服务机器人的实用化部署具有重要参考价值。