3D-FRONT

该数据集是一个大规模的室内场景数据集，包含了专业设计的房间，其中填充了高质量的3D模型。该数据集旨在支持室内场景理解、室内场景合成以及语义分割等任务。数据集被划分为训练集（18,109个房间）和测试集（953个房间）。每个房间的平均物体数量为6.1，超过99%的房间内物体数量在1到20个之间。该数据集包含了6,813个独特的房屋和19,062个已布置的房间，适用于室内场景重新规划布置的任务。

This is a large-scale indoor scene dataset comprising professionally designed rooms furnished with high-quality 3D models. It is designed to support tasks including indoor scene understanding, indoor scene synthesis, and semantic segmentation. The dataset is split into a training set (18,109 rooms) and a test set (953 rooms). The average number of objects per room is 6.1, and over 99% of the rooms contain 1 to 20 objects. This dataset includes 6,813 unique houses and 19,062 furnished rooms, and is applicable to indoor scene re-layout and re-planning tasks.

搜集汇总

数据集介绍

构建方式

在三维室内场景合成领域，数据集的构建质量直接决定了模型的泛化能力与物理合理性。3D-FRONT数据集通过从专业室内设计平台获取大量带标注的室内场景数据，构建了一个包含多样化房间类型、家具布局及语义信息的资源库。其构建过程首先从公开的设计资源中收集原始三维模型与布局方案，随后通过自动化与人工结合的方式，为每个场景标注详细的边界框、物体类别、空间关系及功能语义。为确保数据的物理合理性，构建过程中引入了碰撞检测与空间约束验证，剔除存在明显穿透或悬浮问题的异常布局，最终形成了一套规模可观、标注精细且覆盖多种室内场景类型的结构化数据集。

特点

该数据集的核心特点在于其丰富的场景多样性与精细的语义标注体系。它不仅涵盖了卧室、客厅等常见场景，更包含了厨房、浴室、游戏室等多种专业空间类型，有效拓展了模型训练的覆盖范围。在标注层面，数据集提供了每个物体的精确三维边界框、朝向、尺寸以及高层次的功能语义描述，如“床应靠墙放置”或“书桌面向窗户”。这种多层次标注结构为模型学习空间常识与物理约束提供了坚实基础。此外，数据集在构建时注重布局的合理性与真实性，通过物理验证确保了大多数场景符合日常生活的空间使用习惯，从而为生成模型提供了高质量的学习范例。

使用方法

在三维场景生成的研究与应用中，3D-FRONT数据集主要作为训练与评估基准，用于提升模型的空间推理与布局生成能力。研究人员通常利用其标注的二维俯视布局与三维边界框信息，训练模型理解物体间的相对位置、尺寸比例及功能关联。具体而言，可将场景描述文本与对应的布局数据配对，通过监督学习使模型学会从语言指令到数值化布局的映射。在评估阶段，生成的结果可通过与该数据集的真实布局进行对比，计算碰撞率、越界率等物理指标，或利用其语义标注验证生成场景与指令的一致性。该数据集也常被用于构建思维链标注，以激发大模型的空间规划潜能，推动直接数值化布局生成技术的发展。

背景与挑战

背景概述

3D-FRONT数据集由上海人工智能实验室、香港大学及香港中文大学的研究团队于2021年共同创建，旨在为三维室内场景合成领域提供高质量的布局与语义标注数据。该数据集的核心研究问题聚焦于解决三维室内场景生成中布局规划的物理合理性与语义一致性难题，通过提供大量带家具布局、房间结构和物体语义信息的场景数据，为基于学习的场景合成方法奠定了关键基础。其影响力深远，已成为推动具身智能、虚拟现实及数字内容生成等领域发展的核心基准之一，为后续研究如ATISS、LayoutGPT等模型提供了不可或缺的训练与评估资源。

当前挑战

该数据集致力于解决三维室内场景布局生成这一核心领域问题，其挑战在于如何从文本描述直接生成符合物理规律且语义对齐的数值化三维布局。现有方法常受限于数据规模与多样性，导致模型过拟合或依赖预定义约束，难以处理开放词汇与细粒度指令。在构建过程中，挑战主要体现在数据采集与标注的复杂性上：需在保证场景多样性与真实性的同时，精确标注大量物体的三维位置、尺寸、朝向及语义关系；此外，数据分布需覆盖不同房间类型与功能布局，以反映真实世界场景的复杂分布，避免模型陷入特定模式记忆。

常用场景

经典使用场景

在三维室内场景合成领域，3D-FRONT数据集作为大规模、富含语义的家具场景基准，常被用于训练和评估布局生成模型的物理合理性与语义对齐能力。该数据集通过提供带有精确布局标注和物体语义信息的室内场景，为研究者构建从文本描述到三维空间布局的映射关系奠定了数据基础。其经典使用场景体现在驱动自回归变换器或基于大语言模型的布局规划器，学习物体间的空间关系与功能约束，从而生成符合常识且结构连贯的室内场景。

衍生相关工作

围绕3D-FRONT数据集，学术界衍生出一系列经典的场景合成与布局生成工作。ATISS利用该数据集训练自回归变换器，实现了基于平面图的物体集生成与交互编辑。LayoutGPT则将其作为评估基准，验证了大语言模型在从文本到布局的视觉规划任务中的竞争力。Holodeck与InstructScene进一步引入场景图作为中间表示，增强了布局的语义控制能力。近期提出的DirectLayout框架，通过在该数据集上构建思维链标注与生成式布局奖励，推动了大模型在直接数值布局生成中的空间推理能力，显著提升了生成场景的开放词汇适应性与细粒度指令遵循水平。

数据集最近研究

最新研究方向

在三维室内场景合成领域，3D-FRONT数据集正推动着从依赖预定义约束的优化方法向基于大语言模型直接生成数值化布局的前沿范式转变。近期研究聚焦于利用链式思维（CoT）激活与基于CoT的生成式布局奖励，以增强模型的可泛化空间推理能力。通过将布局生成分解为鸟瞰图生成、三维空间提升与迭代资产-布局对齐三个阶段，新方法有效解决了现有技术在处理细粒度用户指令时出现的物体错位与遗漏问题。这一方向不仅显著提升了生成场景的物理合理性与语义一致性，也为具身智能与数字内容创作提供了更为灵活可控的合成工具，标志着室内场景生成从数据驱动迈向逻辑与数据协同驱动的新阶段。

相关研究论文

• Direct Numerical Layout Generation for 3D Indoor Scene Synthesis via Spatial Reasoning

  上海人工智能实验室, 香港大学, 香港中文大学 · 2025年