Structured3D

arXiv2025-09-30 收录

下载链接：

https://github.com/bertjiazheng/structured3d

下载链接

链接失效反馈

官方服务：

资源简介：

该数据集名为Structured3D，包含了3500个场景的平面图注释，其中3000个用于训练，250个用于验证，另外250个用于测试。该数据集用于训练和评估所提出的方法，包含了经过处理的RGB-D全景图像，以便获得点云数据。规模上，该数据集覆盖了3500个场景，任务是对楼层平面图进行重建。

This dataset is named Structured3D. It includes floor plan annotations for 3500 scenes, with 3000 samples allocated for training, 250 for validation, and the remaining 250 for testing. This dataset is utilized to train and evaluate the proposed method, and contains processed RGB-D panoramic images for deriving point cloud data. In terms of scale, this dataset covers 3500 scenes, and its core task is floor plan reconstruction.

搜集汇总

数据集介绍

构建方式

在三维场景建模领域，获取大规模且精确标注的数据一直是一项挑战。Structured3D数据集通过利用专业室内设计资源，构建了一个包含丰富三维结构标注的合成数据集。其构建过程始于从设计师创建的三千五百个房屋设计中自动提取几何图元，如平面、直线和交点，并基于“图元+关系”的统一表示方法，系统化地编码了多种结构关系，包括平面-线关联、立方体对称性及曼哈顿世界假设。随后，采用行业领先的渲染引擎，在随机视角下生成超过十九万张高分辨率、逼真的二维全景与透视图，同时提供深度图与语义掩码，确保了数据的多样性与真实性。

使用方法

Structured3D数据集适用于多种计算机视觉任务，尤其在结构化三维场景理解方面展现出广泛用途。研究人员可利用其丰富的标注训练深度学习模型，进行房间布局估计、平面检测、线框解析等任务。数据集支持多任务与多模态学习，例如通过结合深度预测提升布局估计的域适应性能。在实际应用中，用户可加载提供的图像与标注文件，基于统一表示推导所需结构，或直接使用预提取的平面、线框等标注。数据集还支持图像合成任务，如修复与视角生成，为三维建模研究提供了可靠的基准与扩展基础。

背景与挑战

背景概述

在计算机视觉领域，从二维图像中推断三维信息一直是核心研究课题。随着深度学习技术的兴起，基于学习的方法在检测和利用三维场景中的显著结构（如线条、平面、对称性）方面展现出巨大潜力。然而，高质量的三维结构标注数据往往依赖人工标注，这一过程不仅耗时且易受视角、遮挡等因素影响，导致现有数据集规模有限且多样性不足。为应对这一挑战，由KooLab、上海科技大学及宾夕法尼亚州立大学的研究团队于2020年联合推出了Structured3D数据集。该数据集基于专业室内设计文件，自动提取丰富的三维结构标注，并利用行业领先的渲染引擎生成超过19.6万张逼真的二维图像，涵盖3500个场景中的21835个房间。其核心创新在于提出“基元+关系”的统一表示方法，能够高效捕获多种三维结构及其相互关系，为结构化三维建模任务提供了大规模、高质量的数据支持，显著推动了场景理解与重建领域的研究进展。

当前挑战

Structured3D数据集旨在解决三维场景结构化建模中的关键挑战，其核心问题在于如何从二维图像中准确推断出全局或半全局的三维几何结构（如平面、线框、布局）。这一任务的难点在于，真实场景中结构实例数量庞大，且受纹理缺失、光照变化和遮挡等因素干扰，传统基于局部特征的方法难以稳定检测复杂结构。在数据集构建过程中，研究团队面临两大挑战：首先，从专业设计文件中自动提取精确的三维结构标注需克服数据格式异构性与几何关系复杂性，确保基元（如点、线、面）与关系（如拓扑、对称性）的完整性与一致性；其次，生成逼真二维渲染图像时，需模拟真实光照与材质效果，以缩小合成数据与真实场景之间的域差异，确保数据在训练深度学习模型时的有效性。这些挑战的应对使得Structured3D成为推动三维视觉方法发展的重要基石。

常用场景

经典使用场景

在三维场景建模领域，Structured3D数据集凭借其丰富的三维结构标注与逼真的二维渲染图像，为结构化三维建模任务提供了经典的应用场景。该数据集通过自动提取专业室内设计中的几何基元（如平面、线条、交点）及其关系，构建了统一的“基元+关系”表示，使得研究人员能够训练深度学习模型，从单张图像中推断房间布局、平面检测、线框重建等复杂结构。其大规模合成数据有效弥补了真实数据标注成本高、多样性有限的不足，成为推动三维场景理解技术发展的关键资源。

解决学术问题

Structured3D数据集主要解决了三维计算机视觉中结构化建模的若干核心学术问题。传统方法依赖局部特征检测，易受纹理缺失、遮挡等因素干扰，导致重建结果噪声较多且难以捕捉全局结构。该数据集通过提供精确的三维结构标注（如曼哈顿布局、立方体、平面关系），使学习型方法能够直接利用全局几何约束，提升模型在复杂室内环境中的重建精度与鲁棒性。此外，其多模态标注（如深度图、语义掩码）支持跨任务联合学习，促进了领域自适应等前沿研究方向的发展。

实际应用

在实际应用层面，Structured3D数据集为室内设计、增强现实与机器人导航等领域提供了重要支撑。例如，在室内设计自动化中，基于该数据训练的模型能够从二维图像快速重建三维房间布局，辅助设计师进行空间规划与可视化。在增强现实应用中，精准的结构感知能力有助于虚拟物体与真实场景的几何对齐。此外，该数据集的高质量合成图像还可用于图像修复、新颖视角合成等视觉任务，推动智能系统在真实环境中的部署与性能提升。

数据集最近研究