House3D
收藏资源简介：
House3D是由加州大学伯克利分校和Facebook人工智能研究所共同创建的虚拟3D环境数据集，旨在为智能体导航和场景理解研究提供多样化且逼真的训练与测试平台。该数据集基于SUNCG数据集构建，包含45,622个人类设计的3D房屋场景，涵盖从单间工作室到多层住宅的各种类型，场景中包含超过80类别的3D物体、纹理和布局标注。House3D通过场景级、像素级和任务级的数据增强技术，支持强化学习智能体在复杂环境中的泛化能力研究。其丰富的标注信息和多样化的场景设计使其成为研究3D导航、视觉理解以及语义泛化的理想数据集。
House3D is a virtual 3D environment dataset co-created by the University of California, Berkeley and Facebook AI Research. It aims to provide a diverse and realistic training and testing platform for research on AI agent navigation and scene understanding. Built upon the SUNCG dataset, it contains 45,622 human-designed 3D house scenes covering various types ranging from single-room studios to multi-story residential buildings. The scenes are annotated with over 80 categories of 3D objects, textures, and spatial layouts. House3D supports research on the generalization ability of reinforcement learning agents in complex environments through scene-level, pixel-level, and task-level data augmentation techniques. With its rich annotation information and diverse scene designs, it has become an ideal dataset for research on 3D navigation, visual understanding, and semantic generalization.
House3D 数据集概述
数据集简介
House3D 是一个虚拟的3D室内环境，包含数千个室内场景，这些场景具有多样的类型、布局和物体，来源于 SUNCG 数据集。数据集包含超过45k个室内3D场景，范围从工作室到带有游泳池和健身房的二层房屋。所有3D物体都完全标注了类别标签。
数据集特性
- 支持多种模态的观察，包括RGB图像、深度、分割掩膜和俯视图2D地图。
- 渲染器每秒运行数千帧，适用于大规模强化学习训练。
使用说明
使用说明可以在 INSTRUCTION.md 中找到。
研究项目
- RoomNav：提出了一种概念学习任务，其中代理需要导航到由高级概念指定的目的地，例如“餐厅”。
- Embodied QA：是一种新的AI任务，代理在3D环境中的随机位置生成，并被问到一个自然语言问题（例如：“汽车是什么颜色？”）。
引用
若在研究中使用该平台，可以引用以下论文：
@article{wu2018building, title={Building generalizable agents with a realistic and rich 3D environment}, author={Wu, Yi and Wu, Yuxin and Gkioxari, Georgia and Tian, Yuandong}, journal={arXiv preprint arXiv:1801.02209}, year={2018} }
许可
House3D 依据 Apache 2.0 许可 发布。
