iGibson

iGibson是一个提供快速视觉渲染和基于Bullet物理仿真的模拟环境。它配备了15个全交互式的高质量场景、数百个从真实家庭和办公室重建的大型3D场景，并兼容CubiCasa5K和3D-Front等数据集，额外提供8000多个交互式场景。iGibson的主要特性包括领域随机化、与运动规划器的集成以及易于使用的工具来收集人类演示数据。凭借这些场景和功能，iGibson使研究人员能够训练和评估使用视觉信号解决导航和操作任务（如开门、抓取和放置物体或在橱柜中搜索）的机器人代理。

iGibson is a simulated environment with fast visual rendering and Bullet physics-based simulation. It offers 15 fully interactive high-quality scenes, hundreds of large 3D scenes reconstructed from real households and offices, and provides over 8,000 additional interactive scenes while being compatible with datasets including CubiCasa5K and 3D-Front. The key features of iGibson include domain randomization, integration with motion planners, and easy-to-use tools for collecting human demonstration data. Leveraging these scenes and functionalities, iGibson enables researchers to train and evaluate robotic agents that utilize visual signals to tackle navigation and manipulation tasks such as opening doors, grasping and placing objects, or searching within cabinets.

原始信息汇总

iGibson 数据集概述

数据集简介

iGibson 是一个基于 Bullet 的快速视觉渲染和物理仿真模拟环境。它包括十五个完全交互式的高质量场景，数百个从真实家庭和办公室重建的大型3D场景，以及与 CubiCasa5K 和 3D-Front 数据集的兼容性，提供了8000+额外的交互式场景。iGibson 允许研究人员在这些场景和功能的基础上训练和评估使用视觉信号解决导航和操作任务（如开门、拿起和放置物体或搜索内阁）的机器人代理。

最新更新

• iGibson 2.0 更新，支持物体状态，包括温度、湿度、清洁度等级以及切换和切片状态，以覆盖更广泛的任务。

• iGibson 2.0 实现了一套谓词逻辑函数，将模拟器状态映射到逻辑状态，如烹饪或浸湿。

• iGibson 2.0 包括一个虚拟现实（VR）接口，用于让人类沉浸在场景中收集演示。

• iGibson 1.0 更新，发布 iGibson 数据集，包括15个完全交互式场景和500+对象模型，注释有材料和物理属性。

数据集特点

• 支持域随机化、集成运动规划器以及易于使用的人类演示收集工具。
• 具有基于物理的渲染、1光束和16光束LiDAR。
• 兼容 Gibson 数据集和 Stanford 2D-3D-Semantics 数据集。

引用信息

• 如果使用 iGibson 或其资产和模型，请考虑引用以下出版物：

@inproceedings{li2022igibson, title = {iGibson 2.0: Object-Centric Simulation for Robot Learning of Everyday Household Tasks}, author = {Li, Chengshu and Xia, Fei and Martin-Martin, Roberto and Lingelbach, Michael and Srivastava, Sanjana and Shen, Bokui and Vainio, Kent Elliott and Gokmen, Cem and Dharan, Gokul and Jain, Tanish and Kurenkov, Andrey and Liu, Karen and Gweon, Hyowon and Wu, Jiajun and Fei-Fei, Li and Savarese, Silvio}, booktitle = {Proceedings of the 5th Conference on Robot Learning}, pages = {455--465}, year = {2022}, editor = {Faust, Aleksandra and Hsu, David and Neumann, Gerhard}, volume = {164}, series = {Proceedings of Machine Learning Research}, month = {08--11 Nov}, publisher = {PMLR}, pdf = {https://proceedings.mlr.press/v164/li22b/li22b.pdf}, url = {https://proceedings.mlr.press/v164/li22b.html}, }

@inproceedings{shen2021igibson, title={iGibson 1.0: a Simulation Environment for Interactive Tasks in Large Realistic Scenes}, author={Bokui Shen and Fei Xia and Chengshu Li and Roberto Martin-Martin and Linxi Fan and Guanzhi Wang and Claudia Perez-DArpino and Shyamal Buch and Sanjana Srivastava and Lyne P. Tchapmi and Micael E. Tchapmi and Kent Vainio and Josiah Wong and Li Fei-Fei and Silvio Savarese}, booktitle={2021 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS)}, year={2021}, pages={accepted}, organization={IEEE} }

文档和资源

• iGibson 文档：iGibson Documentation
• iGibson 网站：iGibson Webpage
• 数据集下载指南：Dataset Download Guide

贡献

• iGibson 的 GitHub 仓库：iGibson GitHub
• 鼓励和感谢错误报告、改进建议以及社区开发。

致谢

• iGibson 使用了来自几个开源仓库的代码，感谢这些作者的贡献。

搜集汇总

数据集介绍

构建方式

iGibson是一款基于Bullet的快速视觉渲染和物理模拟的仿真环境。其构建方式涉及十五个完全交互式的高质量场景，以及从真实家庭和办公室重建的数百个大型3D场景。此外，它与CubiCasa5K和3D-Front等数据集兼容，提供了8000多个额外的交互式场景。该环境还具备域随机化、与运动规划器集成以及易于收集人类演示的工具等特点。

特点

iGibson的特点在于其丰富的场景和功能。场景方面，不仅包括完全交互式的高质量场景，还涵盖了从真实世界重建的大量3D场景。功能方面，iGibson支持物体状态，包括温度、湿度、清洁度以及切换和切片状态，能够覆盖更广泛的任务。此外，它还实现了将模拟器状态映射到逻辑状态的谓词逻辑函数，并包含了虚拟现实（VR）接口，以便沉浸式地收集人类演示。

使用方法

使用iGibson时，用户可以遵循其详尽的文档，包括安装指南、快速入门指南、代码示例和APIs。对于数据集的安装和数据下载，用户可以访问提供的安装指南和数据下载指南。此外，iGibson还支持与VR接口结合使用，为用户提供更加沉浸式的体验。

背景与挑战

背景概述

iGibson是一款基于Bullet物理引擎的仿真环境，旨在为机器人提供快速视觉渲染和物理仿真。该数据集由斯坦福大学视觉学习组（SVL）研发，并于2020年首次推出。iGibson具备十五个完全交互的高质量场景，以及从真实家庭和办公室重建的数百个大型3D场景，并与CubiCasa5K和3D-Front数据集兼容，增加了8000多个交互式场景。iGibson的出现为机器人导航和操作任务提供了丰富的视觉信号训练和评估平台，如开门、拾取和放置物体、 cabinet内搜索等，对机器人学习领域产生了显著影响。

当前挑战

iGibson在构建过程中面临的主要挑战包括场景的真实性构建、物体状态的模拟以及物理属性的精确标注。此外，数据集在兼容性、物理渲染、动态光照支持、操作系统兼容性等方面也不断进行优化升级。研究者在使用iGibson时，需克服如何有效利用仿真环境进行机器人学习和任务执行的问题，同时，数据集的扩展性和可定制性也是当前及未来研究的重点。

常用场景

经典使用场景

在机器人学领域，iGibson作为一个模拟环境，其经典的使用场景在于为机器人提供大量真实且互动的3D场景，以进行视觉信号处理和物理模拟。该环境支持机器人进行导航和操作任务，例如开门、拾取和放置物体、在橱柜中搜索等，从而在复杂的交互式场景中训练和评估机器人代理。

解决学术问题

iGibson解决了机器人学习在真实世界中进行交互式任务时的模拟训练问题。通过提供高度互动和多样化的3D场景，该数据集使得研究人员能够在受控的环境下研究机器人如何处理复杂的日常家庭任务，进而推动机器人学习领域在感知、决策和操作方面的学术研究。

衍生相关工作

iGibson的推出催生了一系列相关的研究工作，如基于该环境的机器人学习算法、交互式任务规划和模拟器性能优化等。此外，iGibson的扩展版本增加了对物体状态的支持，如温度、湿度、清洁度等，这些特性使得衍生工作能够探索更为复杂的任务，如烹饪、清洁等日常家务活动。