M3DLayout
收藏资源简介：
M3DLayout 是一个用于3D室内布局生成的大规模、多源数据集，旨在解决当前3D布局生成模型因数据规模、多样性和标注质量限制而受限的问题。该数据集包含21,367个布局和超过433k个对象实例，整合了真实世界扫描、专业CAD设计和程序生成场景三种来源。每个布局都配有详细的结构化文本描述，包括全局场景摘要、大型家具的关系布局和小型物品的细粒度排列。数据集分为三个部分：scene_dataset（原始场景，包含分离的对象几何和纹理）、rendering_dataset（场景渲染图像）和layout_dataset（从场景中提取的布局信息）。M3DLayout支持多种应用场景，如场景生成/理解/重建、具身AI、图像/文本到布局/场景的转换等。数据集的总大小在未压缩前约为3TB（scene_dataset）、250GB（rendering_dataset）和31MB（layout_dataset）。
M3DLayout is a large-scale, multi-source dataset for 3D indoor layout generation, aiming to address the limitations of current 3D layout generation models imposed by constraints on data scale, diversity and annotation quality. This dataset contains 21,367 layouts and over 433k object instances, integrating three sources: real-world scans, professional CAD designs, and procedurally generated scenes. Each layout is accompanied by detailed structured text descriptions, including global scene summaries, relational layouts of large furniture, and fine-grained arrangements of small items. The dataset is divided into three parts: scene_dataset (raw scenes containing separated object geometry and textures), rendering_dataset (scene rendering images), and layout_dataset (layout information extracted from the scenes). M3DLayout supports a variety of application scenarios, such as scene generation, understanding and reconstruction, embodied AI, image/text-to-layout/scene translation, and more. The total size of the dataset before compression is approximately 3TB (scene_dataset), 250GB (rendering_dataset), and 31MB (layout_dataset).
M3DLayout 数据集概述
数据集基本信息
- 数据集名称: M3DLayout: A Multi-Source Dataset of 3D Indoor Layouts and Structured Descriptions for 3D Generation
- 许可证: cc-by-nc-4.0
- 语言: 英语 (en)
- 数据规模: 100K < n < 1M
- 数据量: 包含 21,367 个布局和超过 433k 个物体实例。
数据集简介
M3DLayout 是一个用于 3D 室内布局生成的大规模、多源数据集。它旨在解决当前 3D 室内布局生成模型因现有数据集规模有限、多样性不足和标注质量不高而受到限制的问题。该数据集整合了三个不同的数据源：真实世界扫描、专业 CAD 设计和程序化生成的场景。每个布局都配有详细的结构化文本描述，涵盖全局场景摘要、大型家具的关系性摆放以及小型物品的细粒度排列。
数据集构成
数据集分为三个部分：
1. 场景数据集 (scene_dataset)
- 内容:
- Infinigen: 15999 个房间（8392 个正常物体密度房间 + 7607 个相对低物体密度房间），包含 scene.blend 文件、分割后的物体和纹理。
- Matterport3D: 90 栋房屋，经过处理后每个房屋被分割为独立的 ply 物体。
- 3D-Front: 5173 个房间，可直接从 3D-Front 官方链接 下载原始数据。
- 用途: 适用于场景生成/理解/重建、具身 AI 等任务，并可进一步用于提取点云或进行检测、分割、编辑。
- 原始大小: 3TB（压缩前）。
2. 渲染数据集 (rendering_dataset)
- 内容:
- Infinigen (15864 个房间): 地板掩码、斜视角场景渲染图、俯视场景渲染图、文本描述、详细的每场景 JSON 文件。
- Matterport3D (90 栋房屋): 每个房间的地板掩码、每个房间的俯视布局渲染图、多层级的详细每场景 JSON 文件。
- 3D-Front (5173 个房间): 地板掩码、俯视场景渲染图。
- 用途: 适用于图像/文本到布局/场景的转换或其他 2D 任务。
- 原始大小: 250GB（压缩前）。
3. 布局数据集 (layout_dataset)
- 内容: 包含 Infinigen、Matterport3D 和 3D-Front 数据源的
<data_source>_train.json、<data_source>_test.json和<data_source>_val.json文件。内容包括物体数量、类别、位置、边界框大小、旋转、多层级详细描述等。 - 用途: 适用于利用中间场景布局进行下游研究。
- 原始大小: 31MB（压缩前）。
评估与潜力
通过基于文本条件扩散模型建立的基准测试表明，该数据集为训练布局生成模型提供了坚实的基础。其多源构成增强了多样性，特别是 Inf3DLayout 子集提供了丰富的小物体信息，能够生成更复杂和详细的场景。
相关资源
- GitHub 仓库: https://github.com/Graphic-Kiliani/M3DLayout-code
- 论文: https://arxiv.org/abs/2509.23728
- 项目主页: https://graphic-kiliani.github.io/M3DLayout/
- 后处理工具: 提供了来自 Object-Retrieval-Layout2Scene 的
render.py、util.py和visualization_mlayout.py函数，用于对 infinigen 场景数据进行后处理（可视化/过滤/渲染等）。
引用
如果使用本数据集，请引用： bibtex @article{zhang2025m3dlayout, title={M3DLayout: A Multi-Source Dataset of 3D Indoor Layouts and Structured Descriptions for 3D Generation}, author={Yiheng, Zhang and Zhuojiang, Cai and Mingdao, Wang and Meitong, Guo and Tianxiao, Li and Li, Lin and Yuwang, Wang}, journal={arXiv preprint arXiv:2509.23728}, year={2025}, url={https://arxiv.org/abs/2509.23728}, }
联系方式
如有关于数据集的任何问题或寻求合作，请联系: e1349382@u.nus.com。
