pepijn223/robomme_data_lerobot_video

---
license: apache-2.0
task_categories:
- robotics
tags:
- LeRobot
configs:
- config_name: default
data_files: data/*/*.parquet
---

This dataset was created using [LeRobot](https://github.com/huggingface/lerobot).

<a class="flex" href="https://huggingface.co/spaces/lerobot/visualize_dataset?path=pepijn223/robomme_data_lerobot_video">
<img class="block dark:hidden" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl.svg"/>
<img class="hidden dark:block" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl-dark.svg"/>
</a>

## Dataset Description

- **Homepage:** [More Information Needed]
- **Paper:** [More Information Needed]
- **License:** apache-2.0

## Dataset Structure

[meta/info.json](meta/info.json):
```json
{
"codebase_version": "v3.0",
"robot_type": "panda",
"total_episodes": 1600,
"total_frames": 768897,
"total_tasks": 116,
"chunks_size": 1000,
"data_files_size_in_mb": 100,
"video_files_size_in_mb": 200,
"fps": 10,
"splits": {
"train": "0:1600"
},
"data_path": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet",
"video_path": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4",
"features": {
"image": {
"dtype": "video",
"shape": [
256,
256,
3
],
"names": [
"height",
"width",
"channel"
],
"fps": 10,
"info": {
"video.height": 256,
"video.width": 256,
"video.codec": "av1",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"video.fps": 10,
"video.channels": 3,
"has_audio": false
}
},
"wrist_image": {
"dtype": "video",
"shape": [
256,
256,
3
],
"names": [
"height",
"width",
"channel"
],
"fps": 10,
"info": {
"video.height": 256,
"video.width": 256,
"video.codec": "av1",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"video.fps": 10,
"video.channels": 3,
"has_audio": false
}
},
"state": {
"dtype": "float32",
"shape": [
8
],
"names": [
"state"
],
"fps": 10
},
"actions": {
"dtype": "float32",
"shape": [
8
],
"names": [
"actions"
],
"fps": 10
},
"exec_start_idx": {
"dtype": "int32",
"shape": [
1
],
"names": [
"execution start idx in current episode"
],
"fps": 10
},
"is_demo": {
"dtype": "bool",
"shape": [
1
],
"names": [
"is video demo"
],
"fps": 10
},
"step_idx": {
"dtype": "int32",
"shape": [
1
],
"names": [
"step_idx"
],
"fps": 10
},
"epis_idx": {
"dtype": "int32",
"shape": [
1
],
"names": [
"epis_idx"
],
"fps": 10
},
"simple_subgoal": {
"dtype": "string",
"shape": [
1
],
"names": [
"simple subgoal"
],
"fps": 10
},
"grounded_subgoal": {
"dtype": "string",
"shape": [
1
],
"names": [
"detailed subgoal with grounding information, e.g, object location"
],
"fps": 10
},
"simple_subgoal_online": {
"dtype": "string",
"shape": [
1
],
"names": [
"simple subgoal online"
],
"fps": 10
},
"grounded_subgoal_online": {
"dtype": "string",
"shape": [
1
],
"names": [
"detailed subgoal with grounding information, e.g, object location"
],
"fps": 10
},
"timestamp": {
"dtype": "float32",
"shape": [
1
],
"names": null
},
"frame_index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"episode_index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"task_index": {
"dtype": "int64",
"shape": [
1
],
"names": null
}
}
}
```

## Citation

**BibTeX:**

```bibtex
[More Information Needed]
```

搜集汇总

数据集介绍

构建方式

在机器人学习领域，大规模高质量的数据集对于推动模仿学习与强化学习算法的进步至关重要。robomme_data_lerobot_video数据集依托LeRobot框架构建，系统采集了Franka Panda机械臂执行多样化任务时的多模态交互数据。其构建过程以任务执行为核心，记录了1600个完整交互片段，涵盖116种不同任务，数据以10帧每秒的频率同步采集环境图像、腕部摄像头视频、机器人状态与动作指令，并结构化存储为Parquet格式文件，确保了数据序列的完整性与高效存取。

使用方法

为便于研究者使用，数据集已预先划分为训练集，用户可通过标准的HuggingFace数据集库进行加载与迭代。数据以分块（chunk）形式组织，通过指定数据文件路径即可访问对应的Parquet数据块及其关联的MP4视频文件。典型的使用流程包括加载特定任务或片段的数据，进而提取图像、状态、动作及文本子目标等多模态序列，适用于机器人行为克隆、视觉语言模型微调、离线强化学习等多种研究场景的模型训练与评估。

背景与挑战

背景概述

在机器人学习领域，高质量、大规模的数据集是推动模仿学习与强化学习算法发展的关键基石。robomme_data_lerobot_video数据集由HuggingFace的LeRobot项目团队创建，旨在为机器人操作任务提供丰富的多模态演示数据。该数据集聚焦于解决机器人如何通过视觉观察与状态信息学习复杂操作技能这一核心研究问题，其内容涵盖了1600个 episodes、超过76万帧的图像与动作序列，涉及116项不同任务，为训练端到端的机器人策略模型提供了重要资源。

当前挑战

该数据集致力于应对机器人模仿学习中从高维视觉输入到连续动作映射的泛化难题，其挑战在于如何有效融合图像、手腕相机视频与机器人状态信息，以学习能够适应多种任务和环境的稳健策略。在构建过程中，面临数据采集的规模化与一致性挑战，包括确保大量演示 episode 的多样性与质量，同步记录多路视频流与精确的动作状态数据，以及高效存储与处理数百GB的视频与结构化数据，同时维护数据标注的准确性与任务目标的清晰表述。

常用场景

经典使用场景

在机器人学习领域，robomme_data_lerobot_video数据集以其丰富的多模态记录成为模仿学习与强化学习研究的基石。该数据集收录了Panda机械臂执行116项任务的1600个完整交互序列，涵盖图像、状态与动作数据，为研究者提供了从视觉感知到运动控制的端到端训练素材。其经典应用场景在于训练机器人通过观察人类演示或自主探索，学习复杂操作技能，如物体抓取与放置，从而推动机器人行为泛化能力的提升。

解决学术问题

该数据集有效应对了机器人学习中数据稀缺与多模态对齐的挑战。通过提供同步的视频流、机器人状态及动作标签，它支持研究者探索视觉-动作映射、序列决策建模等核心问题。其标注的子目标信息进一步促进了分层强化学习与任务分解方法的发展，为解决长期任务规划中的信用分配难题提供了实证基础，显著加速了机器人自主技能学习的算法创新。

实际应用

在实际机器人部署中，robomme_data_lerobot_video数据集能够直接服务于工业自动化与家庭服务机器人的技能编程。基于该数据训练的模型可赋能机械臂完成装配、分拣等精细操作，降低传统编程的复杂度。同时，其多视角视频数据支持仿真到实物的迁移学习，增强机器人在动态环境中的适应能力，为智能制造与个性化辅助设备开发提供了可靠的数据支撑。

数据集最近研究

最新研究方向

在机器人学习领域，视觉动作数据集正成为推动具身智能发展的关键资源。robomme_data_lerobot_video数据集以其丰富的多视角视频流、精确的状态动作对以及细粒度的子目标标注，为机器人模仿学习与强化学习算法提供了高质量的仿真与真实世界交互数据。当前研究前沿聚焦于利用此类大规模视频动作序列，训练端到端的视觉运动策略模型，特别是在多任务泛化与零样本迁移学习方面展现出巨大潜力。结合近期兴起的扩散模型与视觉语言模型，该数据集正被用于探索以自然语言指令为引导的机器人任务规划与执行，旨在实现机器人对复杂开放世界环境的自适应与理解能力，从而推动家庭服务与工业自动化等场景的智能化进程。