Campus3D

Campus3D是一个丰富的注释3D点云数据集，由新加坡国立大学通过无人机图像的摄影测量处理生成，覆盖面积1.58平方公里。该数据集包含0.94亿个点，具有2,530个基于模态的实例，24个语义类别和6个基于模式的区域。数据集通过层次多标签进行点级注释，支持语义和实例分割任务，旨在推动户外场景的自动重建和理解。

Campus3D is a richly annotated 3D point cloud dataset developed by the National University of Singapore via photogrammetric processing of unmanned aerial vehicle (UAV) imagery, spanning an area of 1.58 square kilometers. It comprises 94 million points, along with 2,530 modality-based instances, 24 semantic categories, and 6 pattern-based regions. The dataset is annotated with point-level hierarchical multi-labels, supporting semantic and instance segmentation tasks, and is intended to advance automated reconstruction and understanding of outdoor scenes.

搜集汇总

数据集介绍

构建方式

Campus3D数据集通过使用无人机(UAV)图像进行摄影测量处理而生成，这些图像覆盖了新加坡国立大学(NUS)1.58平方公里校园的各个区域。无人机图像的采集采用了两种飞行路线策略：网格和圆形，以获取不同高度的建筑物细节。随后，利用Pix4D软件进行摄影测量处理和点云生成。数据集的点云经过了逐点标注，标注内容包括层次结构和实例标签，从而为场景理解提供了丰富的语义信息。

特点

Campus3D数据集的特点在于其丰富的标注信息，包括层次结构和实例标签。数据集的点云被标注为五层层次结构，从粗粒度到细粒度，每一层都对应着不同的语义类别。此外，数据集中的每个实例都被单独标注，这有助于3D模型重建和场景理解。数据集包含9.371亿个点，2,530个基于模式的实例，24个语义类别和6个基于图案的区域。

使用方法

使用Campus3D数据集的方法包括数据预处理、特征学习和模型训练。数据预处理阶段包括点云简化、采样和分割。特征学习阶段可以使用PointNet++、PointCNN和DGCNN等模型。模型训练阶段可以使用多任务学习(MT)和层次结构集成(HE)等方法，以利用层次标签之间的关系并提高分割性能。数据集的标注信息可以帮助模型学习不同粒度级别的语义信息，并提高分割的准确性。

背景与挑战

背景概述

Campus3D 数据集由新加坡国立大学工业系统工程与管理系的研究团队创建，旨在促进室外场景理解的深度学习研究。该数据集基于无人机图像的摄影测量处理生成，并使用点云数据进行了逐点标注，包括层次结构和实例级别的标签。Campus3D 数据集旨在解决现有数据集在室外场景重建方面的局限性，例如测量范围有限、易受遮挡和成本高昂等问题。该数据集的创建为室外场景重建的研究提供了丰富的标注数据和有效的学习框架。

当前挑战

Campus3D 数据集面临的挑战包括： 1) 室外场景重建的挑战：现有数据集在室外场景重建方面存在局限性，例如测量范围有限、易受遮挡和成本高昂等问题。Campus3D 数据集旨在解决这些问题，为室外场景重建的研究提供更全面的数据。 2) 层次结构标注的挑战：Campus3D 数据集采用层次结构进行标注，需要解决层次结构中标签之间的关系问题。为了解决这个问题，研究团队提出了一个新的度量指标，用于评估不同粒度级别之间的预测一致性。此外，还提出了一种两阶段方法，包括多任务学习和层次结构集成，以确保预测结果的一致性。 3) 数据预处理和采样方法的挑战：为了提高计算效率和模型输入的固定大小，需要对 Campus3D 数据集进行数据预处理和采样。研究团队探索了两种采样方法：随机块采样和随机中心 K 近邻采样，并发现随机块采样方法在语义分割任务中表现更好。

常用场景

经典使用场景

Campus3D数据集主要用于户外场景的理解，包括语义分割和实例分割。该数据集通过无人机图像进行摄影测量处理生成，并带有分层和多实例标签。其经典使用场景包括：1. 利用分层标签进行场景重建，例如根据屋顶和墙壁的结构重建建筑物模型；2. 进行多任务学习，例如同时学习语义标签和实例标签；3. 评估不同粒度级别的预测一致性，例如确保预测结果在粗略级别和精细级别之间的一致性。

解决学术问题

Campus3D数据集解决了户外场景重建中的两个主要问题：1. 现有数据集主要针对室内场景，而Campus3D提供了丰富的户外场景数据；2. 现有数据集的标注主要针对室内物体或交通元素，而Campus3D提供了分层标注，包括从粗略级别到精细级别的标签。这些标注可以更好地支持场景重建，例如重建建筑物模型的屋顶和墙壁结构。

衍生相关工作

Campus3D数据集衍生了以下相关工作：1. 基于该数据集提出的分层学习框架，包括多任务学习和分层集成；2. 基于该数据集建立的语义分割和实例分割基准；3. 基于该数据集进行的采样方法研究，例如随机块采样和随机中心K近邻采样。