Building3D

Building3D是由卡尔加里大学创建的一个城市规模的数据集，专注于从点云中学习屋顶结构。该数据集包含超过16万座建筑的详细信息，包括点云数据、网格模型和线框模型，覆盖了爱沙尼亚16个城市约998平方公里的区域。数据集的创建过程涉及从高精度扫描仪收集的原始点云数据中提取建筑信息，并通过专业软件进行处理和编辑。Building3D数据集的应用领域广泛，包括智能城市、自主导航、城市规划和地图制作等，旨在解决大规模城市建模中的数据稀缺问题，推动深度学习技术在特定领域的应用。Building3D is an urban-scale dataset developed by the University of Calgary, focusing on learning roof structures from point clouds. This dataset contains detailed information of over 160,000 buildings, including point cloud data, mesh models and wireframe models, covering an area of approximately 998 square kilometers across 16 cities in Estonia. The creation of the Building3D dataset involves extracting building information from raw point cloud data collected by high-precision scanners, followed by processing and editing via professional software. The Building3D dataset has a wide range of application scenarios including smart cities, autonomous navigation, urban planning and cartography, aiming to address the data scarcity problem in large-scale urban modeling and promote the application of deep learning technologies in specific fields.

搜集汇总

数据集介绍

构建方式

Building3D数据集的构建方式独具匠心。它由爱沙尼亚土地局提供的原始数据经过处理后生成，覆盖了16个城市，总面积约为998平方公里。该数据集包含约160,000个建筑的点云数据，以及对应的网格和线框模型。为了进行3D建筑重建，研究人员首先将原始点云和网格模型投影到XY平面上，并移除与网格模型投影区域外的无关点云，从而获得仅包含建筑点云的数据。此外，为了获取更精细的点云数据，研究人员只保留了距离对应网格模型最近点云中的点。每个建筑点云数据都存储为XYZ格式，包含XYZ坐标、RGB颜色、近红外信息、强度和反射率等信息。

特点

Building3D数据集具有以下几个显著特点：1. 规模庞大：Building3D是目前最大的城市规模建筑建模数据集，包含大量真实世界的数据，有助于推动城市建模领域的研究。2. 数据类型丰富：该数据集不仅包含网格模型和真实世界的LiDAR点云数据，还首次发布了线框模型，将3D建筑重建问题转化为分类问题，为相关研究提供了新的思路。3. 建筑屋顶类型多样：Building3D数据集涵盖了超过60种不同的屋顶类型，远超其他可比数据集，为研究屋顶重建和分类提供了丰富的数据资源。4. 应用领域广泛：除了城市建模，Building3D数据集还可以扩展到建筑语义分割、部件分割、网格简化、足迹检测和空中路径规划等多个下游应用领域。

使用方法

Building3D数据集的使用方法如下：1. 数据预处理：在使用Building3D数据集之前，需要进行数据预处理，例如数据清洗、数据增强等，以确保数据的质量和可用性。2. 模型训练：根据研究需求选择合适的模型，例如深度学习模型或传统方法，并使用Building3D数据集进行训练。3. 模型评估：使用Building3D数据集提供的评估指标，例如平均角偏移量（ACO）、精度、召回率、F1分数、3D网格IoU和均方根误差（RMSE）等，对训练好的模型进行评估。4. 应用开发：根据研究目标，将训练好的模型应用于城市建模、建筑语义分割、部件分割、网格简化、足迹检测和空中路径规划等下游应用领域。

背景与挑战

背景概述

城市建模作为计算机视觉、计算机图形学、摄影测量和遥感等领域的重要课题，在智慧城市、自动驾驶、城市规划与测绘等方面应用广泛。然而，现有的 3D 建模数据集主要关注家具、汽车等常见物体，缺乏建筑物数据集，成为将深度学习技术应用于城市建模等特定领域的主要障碍。为了推动城市建模研究，Wang 等人于 2023 年 7 月发布了 Building3D 数据集，这是一个包含超过 16 万座建筑物及其对应点云、网格和线框模型的都市规模数据集，覆盖爱沙尼亚 16 座城市约 998 平方公里的区域。Building3D 数据集是迄今为止最大规模的城市建筑物建模数据集，为监督学习和自监督学习方法提供了宝贵的基准数据，推动了城市建模、空中路径规划、网格简化、语义/部分分割等相关领域的研究。

当前挑战

Building3D 数据集面临着一些挑战。首先，数据集中存在较高的类内方差，不同建筑物的屋顶结构差异较大，增加了建模难度。其次，数据不平衡也是一个问题，不同屋顶类型的样本数量差异较大，影响了模型的泛化能力。此外，数据集中存在大量噪声，包括点云的缺失、不完整和遮挡等问题，对模型的鲁棒性提出了挑战。最后，由于缺乏真实世界数据集，现有的 3D 建模方法主要集中在小规模数据集或合成数据集上，难以应对 Building3D 数据集中大规模、复杂且噪声较大的真实场景。

常用场景

经典使用场景

Building3D数据集为城市规模的三维屋顶建模提供了丰富的数据基础，包括超过16万座建筑及其对应的点云、网格和线框模型。该数据集的经典使用场景包括：1）训练和评估深度学习方法，用于从点云中学习屋顶结构；2）研究自监督学习在三维重建中的应用；3）探索城市建模、空中路径规划、网格简化以及语义/部件分割等领域的新方法。

解决学术问题

Building3D数据集解决了现有三维建模数据集缺乏建筑物数据的难题，为深度学习技术在城市建模等特定领域中的应用提供了可能。该数据集具有高类内差异、数据不平衡和大尺度噪声等挑战，促使研究人员探索更鲁棒的算法和方法。此外，Building3D数据集还提供了网格和线框模型，将三维重建问题转化为分类问题，为研究提供了新的思路。

衍生相关工作

Building3D数据集的发布推动了三维重建和城市建模领域的相关研究。例如：1）基于Building3D数据集，研究人员开发了新的深度学习方法，如Point-Transformer和Point-BERT，用于屋顶重建和点云理解；2）Building3D数据集也促进了自监督学习在三维重建中的应用，如Point-MAE和Point-M2AE等；3）此外，Building3D数据集还被用于研究网格简化、语义分割和路径规划等问题。