haosulab/ManiSkill2

ManiSkill2是一个用于学习泛化机器人操作技能的统一基准，包含20个任务家族、2000多个对象模型和400万以上示范帧。它支持视觉输入学习算法，可以在工作站的1个GPU和16个进程上以2000 FPS的速度收集样本。适用于研究2D和3D视觉强化学习、模仿学习、感知-规划-行动等多种算法。

ManiSkill2 is a unified benchmark for learning generalizable robotic manipulation skills, featuring 20 task families, over 2000 object models, and more than 4 million demonstration frames. It supports visual input learning algorithms, enabling sample collection at approximately 2000 FPS with 1 GPU and 16 processes on a workstation. It is suitable for studying a variety of algorithms, including 2D and 3D vision-based reinforcement learning, imitation learning, sense-plan-act, and more.

原始信息汇总

ManiSkill2 数据集概述

数据集描述

ManiSkill2 是一个用于学习通用机器人操作技能的统一基准，由SAPIEN驱动。该数据集包含20个预设任务家族，涵盖2000多个多样化的物体模型和超过400万个演示帧。此外，它支持快速视觉输入学习算法，使得基于CNN的策略能够在工作站上以约2000帧/秒的速度收集样本。

数据集内容

• 任务类型：涵盖2D和3D视觉强化学习、模仿学习、感知-规划-行动等多种算法研究。
• 数据类型：包括资产、机器人演示和预训练模型。

数据集使用

• 资产下载：通过命令行工具mani_skill2.utils.download_asset下载所有或特定任务的资产。
• 演示数据下载：通过命令行工具mani_skill2.utils.download_demo下载所有或特定任务的演示数据。

许可证

• 整体数据集：遵循Apache-2.0许可证。
• 资产：遵循CC BY-NC 4.0许可证。
• 软体环境：遵循NVIDIA源代码许可证。

引用信息

若使用ManiSkill2或其资产、模型和演示，请使用以下BibTeX条目进行引用：

@inproceedings{gu2023maniskill2, title={ManiSkill2: A Unified Benchmark for Generalizable Manipulation Skills}, author={Gu, Jiayuan and Xiang, Fanbo and Li, Xuanlin and Ling, Zhan and Liu, Xiqiaing and Mu, Tongzhou and Tang, Yihe and Tao, Stone and Wei, Xinyue and Yao, Yunchao and Yuan, Xiaodi and Xie, Pengwei and Huang, Zhiao and Chen, Rui and Su, Hao}, booktitle={International Conference on Learning Representations}, year={2023} }

搜集汇总

数据集介绍

构建方式

ManiSkill2数据集的构建，是在SAPIEN模拟环境中进行的。它包含了20个任务家族，超过2000个不同的物体模型，以及400万以上的示范帧。此数据集通过集成强化学习算法和视觉输入学习算法，实现了快速的数据采集和学习，从而使得基于CNN的政策能够在工作站的1个GPU和16个进程中以大约2000 FPS的速度收集样本。

使用方法

使用ManiSkill2数据集时，用户需要通过mani_skill2软件包来下载数据，因为目前通过HuggingFace数据集直接加载并不理想。用户可以下载所有资产或特定任务的资产，同时也可以通过命令行工具下载示范数据集。详细的操作指南和可用环境介绍可以在数据集的示范文档页面找到。

背景与挑战

背景概述

ManiSkill2数据集，作为机器人操纵领域的一项重要研究成果，由haosulab实验室于2023年推出。该数据集凭借其超过2000种物体模型和400万帧的机器人示范动作，为研究通用机器人操纵技能提供了统一基准。其研发团队包括Gu, Jiayuan等多位学者，该数据集的推出显著推动了机器人视觉强化学习、模仿学习等领域的研究进展。

当前挑战

ManiSkill2数据集在构建过程中面临了多项挑战，其中包括如何实现算法在视觉输入下的快速学习，以及如何确保数据集在多样化任务中的泛化能力。此外，数据集的构建还需克服技术难题，如高效率的数据下载与处理，以及软体环境下的独特许可问题。

常用场景

经典使用场景

在机器人学及强化学习领域，ManiSkill2数据集以其丰富的任务家庭、多样的对象模型和大量的示范帧，成为研究通用机器人操作技能学习的统一基准。该数据集的经典使用场景在于，通过其提供的4M+示范帧，研究者能够训练CNN基础的政策，以实现每秒2000帧的采样速度，从而高效地进行视觉输入学习算法的研究。

解决学术问题

ManiSkill2数据集解决了机器人操作技能学习中的泛化问题，使得研究者在面对多样化的任务时，能够通过该数据集提供的丰富环境进行算法的测试和优化。它支持多种算法的研究，包括基于视觉的强化学习、模仿学习、感知-规划-执行等，极大地推动了机器人学领域学术研究的进展。

实际应用

在实际应用中，ManiSkill2数据集为开发具备复杂操作能力的机器人提供了实验基础。其多样化的任务设置和丰富的对象模型使得机器人能够在各种环境下进行操作学习，从而提高机器人在真实世界中的应用能力和适应性。

数据集最近研究

最新研究方向

在机器人操控领域，ManiSkill2数据集以其丰富的任务家族和多样化的对象模型，成为研究通用机器人操控技能的重要基准。近期，该数据集推动了视觉输入学习算法的快速发展，特别是基于CNN的政策能够在工作站的1 GPU和16个进程中以约2000 FPS的速度收集样本。研究者们正利用ManiSkill2探索二维与三维视觉基础的强化学习、模仿学习、感知-规划-行动等多种算法，以推动机器人操控技能的泛化学习。