M3DLayout

M3DLayout 是一个用于3D室内布局生成的大规模、多源数据集，旨在解决当前3D布局生成模型因数据规模、多样性和标注质量限制而受限的问题。该数据集包含21,367个布局和超过433k个对象实例，整合了真实世界扫描、专业CAD设计和程序生成场景三种来源。每个布局都配有详细的结构化文本描述，包括全局场景摘要、大型家具的关系布局和小型物品的细粒度排列。数据集分为三个部分：scene_dataset（原始场景，包含分离的对象几何和纹理）、rendering_dataset（场景渲染图像）和layout_dataset（从场景中提取的布局信息）。M3DLayout支持多种应用场景，如场景生成/理解/重建、具身AI、图像/文本到布局/场景的转换等。数据集的总大小在未压缩前约为3TB（scene_dataset）、250GB（rendering_dataset）和31MB（layout_dataset）。

原始信息汇总

M3DLayout 数据集概述

数据集基本信息

• 数据集名称: M3DLayout: A Multi-Source Dataset of 3D Indoor Layouts and Structured Descriptions for 3D Generation
• 许可证: cc-by-nc-4.0
• 语言: 英语 (en)
• 数据规模: 100K < n < 1M
• 数据量: 包含 21,367 个布局和超过 433k 个物体实例。

数据集简介

M3DLayout 是一个用于 3D 室内布局生成的大规模、多源数据集。它旨在解决当前 3D 室内布局生成模型因现有数据集规模有限、多样性不足和标注质量不高而受到限制的问题。该数据集整合了三个不同的数据源：真实世界扫描、专业 CAD 设计和程序化生成的场景。每个布局都配有详细的结构化文本描述，涵盖全局场景摘要、大型家具的关系性摆放以及小型物品的细粒度排列。

数据集构成

数据集分为三个部分：

1. 场景数据集 (scene_dataset)

• 内容:
  • Infinigen: 15999 个房间（8392 个正常物体密度房间 + 7607 个相对低物体密度房间），包含 scene.blend 文件、分割后的物体和纹理。
  • Matterport3D: 90 栋房屋，经过处理后每个房屋被分割为独立的 ply 物体。
  • 3D-Front: 5173 个房间，可直接从 3D-Front 官方链接 下载原始数据。
• 用途: 适用于场景生成/理解/重建、具身 AI 等任务，并可进一步用于提取点云或进行检测、分割、编辑。
• 原始大小: 3TB（压缩前）。

2. 渲染数据集 (rendering_dataset)

• 内容:
  • Infinigen (15864 个房间): 地板掩码、斜视角场景渲染图、俯视场景渲染图、文本描述、详细的每场景 JSON 文件。
  • Matterport3D (90 栋房屋): 每个房间的地板掩码、每个房间的俯视布局渲染图、多层级的详细每场景 JSON 文件。
  • 3D-Front (5173 个房间): 地板掩码、俯视场景渲染图。
• 用途: 适用于图像/文本到布局/场景的转换或其他 2D 任务。
• 原始大小: 250GB（压缩前）。

3. 布局数据集 (layout_dataset)

• 内容: 包含 Infinigen、Matterport3D 和 3D-Front 数据源的 <data_source>_train.json、<data_source>_test.json 和 <data_source>_val.json 文件。内容包括物体数量、类别、位置、边界框大小、旋转、多层级详细描述等。
• 用途: 适用于利用中间场景布局进行下游研究。
• 原始大小: 31MB（压缩前）。

评估与潜力

通过基于文本条件扩散模型建立的基准测试表明，该数据集为训练布局生成模型提供了坚实的基础。其多源构成增强了多样性，特别是 Inf3DLayout 子集提供了丰富的小物体信息，能够生成更复杂和详细的场景。

相关资源

• GitHub 仓库: https://github.com/Graphic-Kiliani/M3DLayout-code
• 论文: https://arxiv.org/abs/2509.23728
• 项目主页: https://graphic-kiliani.github.io/M3DLayout/
• 后处理工具: 提供了来自 Object-Retrieval-Layout2Scene 的 render.py、util.py 和 visualization_mlayout.py 函数，用于对 infinigen 场景数据进行后处理（可视化/过滤/渲染等）。

引用

如果使用本数据集，请引用： bibtex @article{zhang2025m3dlayout, title={M3DLayout: A Multi-Source Dataset of 3D Indoor Layouts and Structured Descriptions for 3D Generation}, author={Yiheng, Zhang and Zhuojiang, Cai and Mingdao, Wang and Meitong, Guo and Tianxiao, Li and Li, Lin and Yuwang, Wang}, journal={arXiv preprint arXiv:2509.23728}, year={2025}, url={https://arxiv.org/abs/2509.23728}, }

联系方式

如有关于数据集的任何问题或寻求合作，请联系: [e-mail]。

搜集汇总

数据集介绍

构建方式

在三维室内场景生成领域，数据集的构建质量直接决定了模型对复杂空间关系的理解能力。M3DLayout数据集通过整合三个异构数据源来构建：来自真实世界扫描的Matterport3D、专业CAD设计的3D-Front，以及程序化生成的Infinigen场景。这一构建过程不仅采集了原始的三维几何与纹理数据，还进一步提取了统一的布局表示，并为每个场景配对了多层次的结构化文本描述，涵盖了全局场景摘要、大型家具的相对位置以及小型物品的细粒度排列。这种多源融合策略确保了数据在规模、多样性与标注一致性上的显著提升。

特点

M3DLayout的核心特征在于其规模宏大、来源多样且标注体系精细。数据集包含超过2.1万个室内布局和43.3万个物体实例，其多源性覆盖了从真实扫描到合成生成的全谱系场景，极大地丰富了模型训练的环境多样性。尤为突出的是，每个布局都关联着结构化的多级文本描述，这种语义与几何的紧密对齐为文本驱动的生成任务提供了精准的控制信号。此外，数据集以三种形式发布——包含原始几何的完整场景数据集、用于二维任务的渲染图像数据集，以及专为布局研究设计的轻量级布局数据集，为不同研究方向提供了高度适配的数据接口。

使用方法

针对不同的研究目标，M3DLayout提供了清晰的使用路径。若研究聚焦于三维场景生成、理解、重建或具身智能，可直接下载完整的场景数据集，利用其中分离的物体几何进行点云提取或进一步的检测、分割任务。对于涉及图像或文本到布局/场景的二维任务，渲染图像数据集提供了丰富的视觉与文本配对数据。若研究核心在于利用场景布局这一中间表示进行下游探索，轻量级的布局数据集则是最佳选择，其中包含了物体类别、边界框、旋转及多级描述等关键信息。数据集配套的代码库还提供了可视化、过滤与渲染等后处理工具，进一步便利了科研实践。

背景与挑战

背景概述

在文本驱动的三维场景生成领域，物体布局作为连接高层语言指令与精细几何输出的关键中间表示，不仅为保障物理合理性提供结构蓝图，也支撑语义可控性与交互式编辑。然而，现有三维室内布局生成模型的学习能力受限于数据集规模、多样性与标注质量的不足。为应对这一挑战，研究团队于2025年推出了M3DLayout数据集，该数据集整合了真实世界扫描、专业CAD设计与程序化生成场景三大来源，涵盖21,367个布局与超过43.3万个物体实例，每个布局均配有描述全局场景摘要、大型家具关系布局及细粒度小物件排列的结构化文本。这一大规模、多源且标注丰富的资源为模型学习多样化室内环境中的复杂空间与语义模式奠定了坚实基础。

当前挑战

M3DLayout数据集旨在解决文本驱动三维场景生成中布局规划的挑战，其核心在于如何从自然语言描述中准确推断出符合物理约束与语义逻辑的三维物体空间配置。具体挑战包括：模型需同时理解全局场景语义与局部物体关系，并生成多样且合理的布局方案；在构建过程中，研究团队面临多源数据融合的复杂性，需统一不同来源（如Matterport3D、3D-Front与Infinigen）在格式、尺度与语义标注上的差异，并确保结构化文本描述能精确捕捉从宏观场景到微观物件的多层次空间信息。此外，数据集的庞大规模与三维几何处理的算力需求也为存储、渲染与高效访问带来了技术挑战。

常用场景

经典使用场景

在文本驱动的三维室内场景生成领域，M3DLayout数据集作为关键的中间表示，其经典应用场景在于训练和评估布局生成模型。该数据集通过整合真实扫描、专业CAD设计和程序化生成场景，提供了多样化的三维室内布局与结构化文本描述，使得模型能够学习复杂空间关系与语义模式。研究人员通常利用其布局数据，结合扩散模型等生成架构，探索从自然语言指令到几何布局的映射，为后续三维物体放置与场景合成奠定基础。

解决学术问题

M3DLayout数据集有效应对了当前三维室内布局生成研究中数据规模有限、多样性不足以及标注质量不高的核心挑战。它通过大规模、多源的数据整合，为模型提供了丰富的空间与语义学习资源，从而支持对物理合理性、语义可控性及交互编辑等关键问题的深入探索。该数据集的推出显著提升了布局生成模型的泛化能力与细节表现，推动了文本到三维场景合成这一交叉领域的技术边界拓展。

衍生相关工作

围绕M3DLayout数据集，已衍生出多项经典研究工作，主要集中在文本条件扩散模型在布局生成上的基准测试与性能评估。相关研究利用其提供的多级描述与渲染图像，探索了从全局场景摘要到细粒度物体排列的生成任务。此外，基于该数据集的开源代码库也促进了布局可视化、过滤及后处理工具的开发，为后续场景生成、理解与重建等下游任务提供了可复现的实验框架与技术支持。