haosulab/ManiSkill

---
license: apache-2.0
language:
- en
tags:
- robotics
- reinforcement learning
- embodied ai
- computer vision
- simulation
- Embodied AI
size_categories:
- 1M<n<10M
task_categories:
- reinforcement-learning
- robotics
viewer: false
---

# ManiSkill Data


[](https://badge.fury.io/py/mani-skill2) [](https://colab.research.google.com/github/haosulab/ManiSkill2/blob/main/examples/tutorials/1_quickstart.ipynb)
[](https://haosulab.github.io/ManiSkill2)
[](https://discord.gg/x8yUZe5AdN)
<!-- [](https://haosulab.github.io/ManiSkill2) -->

ManiSkill is a unified benchmark for learning generalizable robotic manipulation skills powered by [SAPIEN](https://sapien.ucsd.edu/). **It features 20 out-of-box task families with 2000+ diverse object models and 4M+ demonstration frames**. Moreover, it empowers fast visual input learning algorithms so that **a CNN-based policy can collect samples at about 2000 FPS with 1 GPU and 16 processes on a workstation**. The benchmark can be used to study a wide range of algorithms: 2D & 3D vision-based reinforcement learning, imitation learning, sense-plan-act, etc.
This is the huggingface datasets page for all data related to [ManiSkill2](https://github.com/haosulab/ManiSkill2),
including **assets, robot demonstrations, and pretrained models.** Note previously there is a ManiSkill and ManiSkill2, we are rebranding it all to just ManiSkill and the python package versioning tells you which iteration.

For detailed information about ManiSkill, head over to our [GitHub repository](https://github.com/haosulab/ManiSkill2), [website](https://maniskill2.github.io/), or [ICLR 2023 paper](https://arxiv.org/abs/2302.04659)
[documentation](https://maniskill.readthedocs.io/en/dev/)

**Note that to download the data you must use the mani_skill package to do so as shown below, currently loading through HuggingFace datasets does not work as intended just yet**

## Assets

Some environments require you to download additional assets, which are stored here.

You can download task-specific assets by running

```
python -m mani_skill.utils.download_asset ${ENV_ID}
```

## Demonstration Data

We provide a command line tool (mani_skill.utils.download_demo) to download demonstrations from here.

```
# Download the demonstration dataset for a specific task
python -m mani_skill2.utils.download_demo ${ENV_ID}
# Download the demonstration datasets for all rigid-body tasks to "./demos"
python -m mani_skill2.utils.download_demo rigid_body -o ./demos
```

To learn how to use the demonstrations and what environments are available, go to the demonstrations documentation page: https://maniskill.readthedocs.io/en/dev/user_guide/datasets/datasets.html

## License

All rigid body environments in ManiSkill are licensed under fully permissive licenses (e.g., Apache-2.0).

The assets are licensed under [CC BY-NC 4.0](https://creativecommons.org/licenses/by-nc/4.0/legalcode).

## Citation

If you use ManiSkill or its assets, models, and demonstrations, please cite using the following BibTeX entry for now:

```
@inproceedings{gu2023maniskill2,
title={ManiSkill2: A Unified Benchmark for Generalizable Manipulation Skills},
author={Gu, Jiayuan and Xiang, Fanbo and Li, Xuanlin and Ling, Zhan and Liu, Xiqiaing and Mu, Tongzhou and Tang, Yihe and Tao, Stone and Wei, Xinyue and Yao, Yunchao and Yuan, Xiaodi and Xie, Pengwei and Huang, Zhiao and Chen, Rui and Su, Hao},
booktitle={International Conference on Learning Representations},
year={2023}
}
```

A ManiSkill3 bibtex will be made later.

---
license: Apache-2.0
language:
- en
tags:
- 机器人学
- 强化学习
- 具身人工智能（Embodied AI）
- 计算机视觉
- 仿真
size_categories:
- 1M<n<10M
task_categories:
- 强化学习
- 机器人学
viewer: false
---

# ManiSkill 数据集


[](https://badge.fury.io/py/mani-skill2) [](https://colab.research.google.com/github/haosulab/ManiSkill2/blob/main/examples/tutorials/1_quickstart.ipynb)
[](https://haosulab.github.io/ManiSkill2)
[](https://discord.gg/x8yUZe5AdN)
<!-- [](https://haosulab.github.io/ManiSkill2) -->

ManiSkill是一款由[SAPIEN]驱动的、用于学习通用型机器人操作技能的统一基准测试平台。**其内置20类开箱即用的任务套件，涵盖2000余种多样化物体模型与超400万帧演示数据**。此外，该平台支持快速视觉输入学习算法，**基于卷积神经网络（Convolutional Neural Network, CNN）的策略可在单工作站配备1块GPU与16个进程的环境下，实现约2000 FPS的样本采集效率**。本基准可用于研究多种算法：基于2D与3D视觉的强化学习、模仿学习、感知-规划-行动（sense-plan-act）等。
本文档为Hugging Face数据集页面，收录所有与[ManiSkill2](https://github.com/haosulab/ManiSkill2)相关的数据，**包含资产文件、机器人演示数据与预训练模型**。请注意此前存在ManiSkill与ManiSkill2两个版本，目前我们已将其统一重命名为ManiSkill，具体版本可通过Python包版本号区分。

如需了解ManiSkill的详细信息，请访问我们的[GitHub仓库](https://github.com/haosulab/ManiSkill2)、[官方网站](https://maniskill2.github.io/)或[ICLR 2023论文](https://arxiv.org/abs/2302.04659)与[文档](https://maniskill.readthedocs.io/en/dev/)。

**注意：目前需通过`mani_skill`官方包下载数据（详见下文），暂无法直接通过Hugging Face数据集加载功能正常获取数据**

## 资产文件
部分环境需要下载额外的资产文件，均存储于此。
您可通过以下命令下载指定任务所需的资产：

python -m mani_skill.utils.download_asset ${ENV_ID}

## 演示数据
我们提供了命令行工具`mani_skill.utils.download_demo`用于从本数据集下载演示数据。

# 下载指定任务的演示数据集
python -m mani_skill2.utils.download_demo ${ENV_ID}
# 下载所有刚体任务的演示数据集至"./demos"目录
python -m mani_skill2.utils.download_demo rigid_body -o ./demos

如需了解如何使用演示数据以及可用环境列表，请访问演示数据文档页面：https://maniskill.readthedocs.io/en/dev/user_guide/datasets/datasets.html

## 许可证
ManiSkill中的所有刚体环境均采用完全宽松的开源许可证（如Apache-2.0）。
资产文件采用[CC BY-NC 4.0](https://creativecommons.org/licenses/by-nc/4.0/legalcode)许可证。

## 引用
如您使用ManiSkill及其资产、模型与演示数据，请引用以下当前适用的BibTeX条目：
bibtex
@inproceedings{gu2023maniskill2,
title={ManiSkill2: A Unified Benchmark for Generalizable Manipulation Skills},
author={Gu, Jiayuan and Xiang, Fanbo and Li, Xuanlin and Ling, Zhan and Liu, Xiqiaing and Mu, Tongzhou and Tang, Yihe and Tao, Stone and Wei, Xinyue and Yao, Yunchao and Yuan, Xiaodi and Xie, Pengwei and Huang, Zhiao and Chen, Rui and Su, Hao},
booktitle={International Conference on Learning Representations},
year={2023}
}

后续将更新ManiSkill3的引用条目。

原始信息汇总

ManiSkill 数据集

概述

ManiSkill 是一个统一的基准测试，用于学习可泛化的机器人操作技能，由 SAPIEN 提供支持。该基准测试包含 20 个现成的任务系列，拥有 2000+ 种多样化的物体模型和 400 万+ 演示帧。此外，它还支持快速视觉输入学习算法，使得基于 CNN 的策略可以在配备 1 个 GPU 和 16 个进程的工作站上以约 2000 FPS 的速度收集样本。该基准测试可用于研究广泛的算法，包括 2D & 3D 基于视觉的强化学习、模仿学习、感知-规划-执行等。

数据内容

数据集包括以下内容：

• 资产：某些环境需要下载额外的资产。
• 机器人演示：提供命令行工具下载演示数据。
• 预训练模型：包括预训练的模型。

数据下载

资产下载

可以通过以下命令下载特定任务的资产： bash python -m mani_skill.utils.download_asset ${ENV_ID}

演示数据下载

可以通过以下命令下载演示数据： bash

下载特定任务的演示数据集

python -m mani_skill2.utils.download_demo ${ENV_ID}

下载所有刚体任务的演示数据集到 "./demos"

python -m mani_skill2.utils.download_demo rigid_body -o ./demos

许可证

• 所有刚体环境在 ManiSkill 中都采用完全许可的许可证（例如，Apache-2.0）。
• 资产采用 CC BY-NC 4.0 许可证。

引用

如果使用 ManiSkill 或其资产、模型和演示，请使用以下 BibTeX 条目进行引用： bibtex @inproceedings{gu2023maniskill2, title={ManiSkill2: A Unified Benchmark for Generalizable Manipulation Skills}, author={Gu, Jiayuan and Xiang, Fanbo and Li, Xuanlin and Ling, Zhan and Liu, Xiqiaing and Mu, Tongzhou and Tang, Yihe and Tao, Stone and Wei, Xinyue and Yao, Yunchao and Yuan, Xiaodi and Xie, Pengwei and Huang, Zhiao and Chen, Rui and Su, Hao}, booktitle={International Conference on Learning Representations}, year={2023} }

AI搜集汇总

数据集介绍

构建方式

ManiSkill数据集的构建依托于SAPIEN引擎，整合了20个任务家族，包含2000余种不同的物体模型和400万以上的示范帧。该数据集通过高效率的视觉输入学习算法，实现了基于CNN的策略在单个GPU和16个工作进程上以约2000 FPS的速度收集样本，为机器人操作技能的泛化学习提供了丰富的实验基础。

特点

该数据集的特点在于其多样性、泛化性和实用性。不仅包含了丰富的任务类型和物体模型，还支持多种学习算法的研究，如基于视觉的强化学习、模仿学习、感知-规划-行动等。ManiSkill数据集在Apache-2.0许可下提供，确保了其使用的灵活性和广泛性。

使用方法

使用ManiSkill数据集时，用户需通过mani_skill包进行数据下载。具体操作包括使用命令行工具下载特定任务的资产和示范数据。用户可以参考官方文档，了解如何利用这些示范数据以及可用的环境，以便更好地进行研究和开发。

背景与挑战

背景概述

ManiSkill数据集，由haosulab实验室研发，致力于推动机器人操作技能学习的通用性研究。该数据集创建于2023年，核心研究人员包括Jiayuan Gu等，依托于SAPIEN模拟环境，提供了20个任务家族、2000余种对象模型以及400万帧以上的演示数据。ManiSkill数据集的问世，为机器人操作技能的强化学习、模仿学习、感知-规划-执行等算法研究提供了丰富的实验资源，对推动该领域的发展具有重要意义。

当前挑战

在构建ManiSkill数据集的过程中，研究人员面临着多个挑战：首先，如何设计多样化的任务以适应不同的学习场景；其次，确保数据集的视觉输入学习算法能够实现高速采样，这对于算法的实时性至关重要；最后，数据集的规模和复杂性要求在数据管理和访问方面做出创新，以保证数据的高效利用。此外，数据集在解决机器人操作领域问题时，还需克服如何实现技能的通用性和适应性等挑战。

常用场景

经典使用场景

在机器人学及强化学习领域，ManiSkill数据集以其丰富的任务家族及物体模型，成为研究通用机器人操作技能的重要资源。该数据集支持二维与三维视觉基础的强化学习、模仿学习、感知-规划-行动等多种算法研究，其经典使用场景在于评估和训练机器人在复杂环境中的操作能力，如抓取、搬运等任务。

解决学术问题

ManiSkill数据集解决了学术研究中如何实现机器人操作技能的泛化问题，提供了丰富的演示数据和预训练模型，有助于研究人员开展视觉输入学习算法的研究，进而提升机器人的学习效率和操作精度。其对于理解机器人如何在多样化环境中有效执行任务具有重大意义和影响。

衍生相关工作

基于ManiSkill数据集，学术界和产业界已经衍生出一系列相关工作，如改进的强化学习算法、新的模仿学习方法以及针对特定操作任务的优化策略，这些研究进一步推动了机器人操作技能的发展和应用。