UrbanBIS

UrbanBIS是由深圳大学创建的一个大规模3D城市数据集，包含25亿个标注点，覆盖面积达10.78平方公里，涵盖六个真实城市场景。数据集通过航空摄影测量技术获取，提供了丰富的城市对象语义标注，包括建筑、车辆、植被、道路和桥梁等，并首次引入了建筑子类别的精细分类。UrbanBIS的创建过程复杂且成本高昂，涉及无人机图像采集、3D城市重建、3D网格标注等多个步骤。该数据集主要用于支持大规模城市级别的语义和建筑实例分割，以及其他高级任务和应用，如图像重建和场景完成，为智能城市应用提供了重要平台。UrbanBIS is a large-scale 3D urban dataset created by Shenzhen University. It contains 2.5 billion annotated points, covers an area of 10.78 square kilometers, and encompasses six real urban scenarios. Acquired via aerophotogrammetry technology, the dataset provides rich semantic annotations for urban objects including buildings, vehicles, vegetation, roads, bridges and more, and introduces fine-grained classification of building subcategories for the first time. The development of UrbanBIS is complex and costly, involving multiple steps such as UAV image collection, 3D urban reconstruction and 3D grid annotation. This dataset is primarily designed to support large-scale urban-level semantic and building instance segmentation, as well as other advanced tasks and applications like image reconstruction and scene completion, serving as an important platform for smart city applications.

搜集汇总

数据集介绍

构建方式

UrbanBIS 数据集的构建过程采用了无人机摄影测量技术，通过无人机平台收集图像数据，并使用 [Zhou et al. 2020b] 的方法生成轨迹，以加快重建过程并提高重建模型的质量。数据集包含了六个不同城市的真实城市场景，覆盖总面积为 10.78 平方公里，共有 3,370 座建筑，由 113,346 张航拍照片捕捉。数据集的构建过程涉及了无人机图像采集、三维城市重建、三维网格标注、点云采样和细粒度建筑标注等多个步骤，总计耗费了约 1,600 个小时的人工标注工作。

使用方法

UrbanBIS 数据集可用于多种研究任务和应用，包括：1) 语义分割：数据集提供了城市级语义注释，可用于训练和评估城市级语义分割模型；2) 实例分割：数据集提供了建筑级实例注释，可用于训练和评估建筑级实例分割模型；3) 多视角立体：数据集提供了高分辨率的航拍照片，可用于训练和评估多视角立体模型；4) 城市细节层次生成：数据集提供了高质量的三维重建模型，可用于训练和评估城市细节层次生成模型；5) 航空路径规划：数据集可用于训练和评估航空路径规划模型；6) 自主导航：数据集可用于训练和评估自主导航模型；7) 道路网络提取：数据集可用于训练和评估道路网络提取模型。

背景与挑战

背景概述

在三维机器学习领域，城市级理解和分析是近年来备受关注的研究课题。然而，现有的数据集主要关注对象级（例如对象识别、部件分割、形状合成等）或室内场景级（例如语义分割、实例分割、平面图识别等）的任务，缺乏针对城市级大规模分析和理解的数据集。UrbanBIS 数据集的创建旨在填补这一空白，它是一个包含 6 个真实城市场景、25 亿个点、覆盖 10.78 平方公里的三维城市数据集。UrbanBIS 不仅提供了丰富的城市级语义信息（例如建筑物、车辆、植被、道路和桥梁），还提供了建筑物实例级别的标注和细粒度的建筑物类别信息。这使得 UrbanBIS 成为支持城市级语义分割和建筑物实例分割的重要平台，并为众多智能城市应用（例如 3D 重建、深度预测、多视图立体、空中路径规划、自主导航和道路网络提取等）提供了宝贵的资源。

当前挑战

UrbanBIS 数据集面临着一些挑战。首先，现有的三维实例分割方法主要面向室内场景，而 UrbanBIS 需要处理大规模的城市级场景，这要求方法具有更高的效率和鲁棒性。其次，UrbanBIS 包含了丰富的建筑物类别，这对模型提出了更高的识别和分类能力要求。此外，不同场景之间存在着较大的差异，这要求模型具有良好的泛化能力，以适应不同的城市环境和建筑物类型。为了应对这些挑战，UrbanBIS 提出了一个名为 B-Seg 的新方法，它采用了端到端的框架和高效的策略来处理大规模的点云数据，并在 UrbanBIS 上取得了更好的准确性和更快的推理速度。

常用场景

经典使用场景

UrbanBIS 数据集是一个大规模的 3D 城市理解基准数据集，支持城市级语义和建筑级实例分割。它包含了六个真实城市场景，2.5 亿个点，覆盖了 10.78 平方公里的区域，以及 3,370 个建筑。UrbanBIS 提供了丰富的城市对象语义级标注，包括建筑、车辆、植被、道路和桥梁等，以及建筑实例级的标注。此外，UrbanBIS 是第一个引入细粒度建筑子类别的 3D 数据集，考虑了不同建筑类型的各种形状。UrbanBIS 还提供了高分辨率航空摄影照片和高质量的大型 3D 重建模型，这将促进多视图立体、城市 LOD 生成、航空路径规划、自主导航、道路网络提取等研究，从而成为许多智能城市应用的重要平台。

解决学术问题

UrbanBIS 数据集解决了现有城市数据集规模小、语义标注不完整、缺乏实例级标注和细粒度语义信息等问题。它提供了大规模、真实世界的数据集，涵盖了丰富的城市对象和建筑类别，并进行了语义级和实例级的标注。UrbanBIS 的发布为 3D 机器学习在城市级分析和理解方面的研究提供了重要的数据基础。

实际应用

UrbanBIS 数据集在实际应用中具有广泛的应用前景。它可以用于城市规划、城市管理、交通管理、环境保护等领域。例如，UrbanBIS 可以用于分析城市建筑的分布、形态和功能，为城市规划提供数据支持；可以用于监测城市交通状况，为交通管理提供数据支持；可以用于监测城市环境状况，为环境保护提供数据支持。

数据集最近研究

最新研究方向

UrbanBIS 数据集为精细城市建筑实例分割领域带来了新的研究方向。该数据集不仅提供了大规模的城市级语义和建筑级实例分割标注，还首次引入了细粒度的建筑子类别，考虑了不同建筑类型的多样化形状。这为 3D 机器学习在城市级别的应用提供了重要的数据基础，例如多视图立体、城市 LOD 生成、空中路径规划、自主导航、道路网络提取等。此外，UrbanBIS 还提出了 B-Seg，一种用于处理大规模点云场景的建筑实例分割方法，其端到端框架采用简单而有效的策略，在 UrbanBIS 上实现了更好的准确性和更快的推理速度。UrbanBIS 和 B-Seg 的提出，为城市级 3D 机器学习的研究和应用提供了重要的平台和工具，具有重要的学术价值和应用前景。

相关研究论文

• UrbanBIS: a Large-scale Benchmark for Fine-grained Urban Building Instance Segmentation

  深圳大学 · 2023年