amandlek/mimicgen_datasets

该数据集是MimicGen数据集的官方发布版本，包含超过48,000个任务演示，涵盖12个任务。数据集分为多个类别：source（120个人类演示，用于自动生成其他数据集）、core（26,000个任务演示，涵盖12个任务）、object（2,000个任务演示，针对Mug Cleanup任务使用不同的杯子）、robot（16,000个任务演示，涵盖4个不同的机械臂和2个任务）、large_interpolation（6,000个任务演示，涵盖6个任务，对现代模仿学习方法提出显著挑战）。数据集以hdf5文件格式提供，与robomimic兼容。

This dataset is the official release version of the MimicGen dataset, containing over 48,000 task demonstrations spanning 12 distinct tasks. The dataset is divided into multiple categories: source (120 human demonstrations for automatically generating other datasets), core (26,000 task demonstrations covering all 12 tasks), object (2,000 task demonstrations using different mugs for the Mug Cleanup task), robot (16,000 task demonstrations involving 4 different robotic arms and 2 tasks), and large_interpolation (6,000 task demonstrations across 6 tasks that pose significant challenges to modern imitation learning methods). The dataset is provided in HDF5 file format and is compatible with RoboMimic.

原始信息汇总

数据集卡片 for MimicGen 数据集

数据集概述

本仓库包含为 CoRL 2023 论文 "MimicGen: A Data Generation System for Scalable Robot Learning using Human Demonstrations" 发布的官方数据集。

数据集包含超过 48,000 个任务演示，分布在 12 个任务中，分为以下类别：

• source: 用于自动生成其他数据集的 120 个人类演示，涵盖 12 个任务
• core: 26,000 个任务演示，涵盖 12 个任务（26 个任务变体）
• object: 2000 个任务演示，涉及 Mug Cleanup 任务和不同杯子
• robot: 16,000 个任务演示，涉及 4 种不同机械臂和 2 个任务（4 个任务变体）
• large_interpolation: 6000 个任务演示，涉及 6 个任务，对现代模仿学习方法构成重大挑战

数据集结构

每个数据集是一个 hdf5 文件，与 robomimic 兼容。数据集结构在 这里 解释。

每个任务都有一个默认的重置分布（D_0）。源人类演示（通常是 10 个演示）是在这个分布上收集的，随后使用 MimicGen 在不同的任务重置分布（例如 D_0, D_1, D_2）、对象和机器人上生成大型数据集（通常是 1000 个演示）。

数据集分为不同类型：

• source: 用于生成所有数据的源人类数据集，通常包括每个任务的 D_0 变体上收集的 10 个人类演示。
• core: 使用 MimicGen 生成的不同任务重置分布的数据集，对应论文中图 4 的核心结果。
• object: 使用 MimicGen 生成的不同对象的数据集，对应论文附录 G 的结果。
• robot: 使用 MimicGen 生成的不同机器人的数据集，对应论文附录 F 的结果。
• large_interpolation: 使用 MimicGen 生成的大量插值段的数据集，对应论文附录 H 的结果。

注意: 我们发现 large_interpolation 数据集对模仿学习构成重大挑战，并有显著的改进空间。

引用

如果您在工作中使用了这些数据集，请引用 MimicGen 论文：

bibtex @inproceedings{mandlekar2023mimicgen, title={MimicGen: A Data Generation System for Scalable Robot Learning using Human Demonstrations}, author={Mandlekar, Ajay and Nasiriany, Soroush and Wen, Bowen and Akinola, Iretiayo and Narang, Yashraj and Fan, Linxi and Zhu, Yuke and Fox, Dieter}, booktitle={7th Annual Conference on Robot Learning}, year={2023} }

搜集汇总

背景与挑战

背景概述

该数据集是为机器人学习研究设计的，包含超过48,000个任务演示，分为五个类别，支持不同任务、对象和机器人的学习。数据集通过人类演示自动生成，结构为hdf5文件，与robomimic兼容，需引用相关论文使用。