PixelsPointsPolygons

P^3数据集是一个大规模的多模态建筑矢量化基准数据集，由航空LiDAR点云、高分辨率航空影像和矢量化的2D建筑轮廓组成，跨越三个大洲收集而成。该数据集包含超过10亿个精度达到分米级的LiDAR点，以及地面采样距离为25厘米的RGB图像。P^3数据集不仅提供了图像模态，还融入了密集的3D信息，为建筑矢量化任务提供了一个互补的视角。

The P^3 dataset is a large-scale multimodal benchmark dataset for building vectorization. It comprises airborne LiDAR point clouds, high-resolution aerial imagery, and vectorized 2D building footprints, and was collected across three continents. This dataset contains over 1 billion LiDAR points with decimeter-level accuracy, as well as RGB images with a ground sampling distance (GSD) of 25 centimeters. Beyond offering image modalities, the P^3 dataset also integrates dense 3D information, providing a complementary perspective for building vectorization tasks.

原始信息汇总

数据集概述：Pixels Points Polygons (P³)

基本信息

• 许可证: CC-BY-4.0
• 数据集名称: Pixels Point Polygons
• 数据规模: 100K < n < 1M
• 任务类别:
  • 图像分割
  • 目标检测
• 标签:
  • 航空影像
  • 环境
  • 多模态
  • 地球观测
  • 图像
  • 激光雷达
  • ALS
  • 点云
  • 建筑物
  • 多边形
  • 矢量化
• 语言: 英语

数据集描述

P³数据集是一个大规模多模态基准数据集，用于建筑物矢量化。数据集由航空激光雷达点云、高分辨率航空影像和矢量化2D建筑物轮廓组成，覆盖三大洲。数据集包含超过100亿个分米级精度的LiDAR点和地面采样距离为25厘米的RGB图像。

亮点

• 全球范围内的多模态数据集，包含航空影像、航空激光雷达点云和建筑物多边形。
• 提供用于训练和评估最先进深度学习方法的库。

数据集下载

数据集可通过以下链接下载： https://huggingface.co/datasets/rsi/PixelsPointsPolygons

代码

下载代码

bash git clone https://github.com/raphaelsulzer/PixelsPointsPolygons

环境配置

创建名为ppp的conda环境并安装所有依赖： bash bash install.sh

或手动安装： bash pip install -r requirements-torch-cuda.txt pip install .

训练

bash torchrun --nproc_per_node=<num GPUs> train.py model=<model> encoder=<encoder> model.batch_size=<batch size> ...

预测

bash torchrun --nproc_per_node=<num GPUs> predict.py model=<model> checkpoint=best_val_iou ...

评估

bash python evaluate.py model=<model> checkpoint=best_val_iou

引用

如果使用本数据集，请引用相关文献（具体引用格式见原数据集页面）。

致谢

本数据集受益于以下开源工作：

1. Frame Field Learning
2. HiSup
3. Pix2Poly

搜集汇总

数据集介绍

构建方式

在遥感与地理信息系统领域，PixelsPointsPolygons数据集通过融合多源空间数据实现了建筑矢量化的创新突破。该数据集构建过程整合了分米级精度的机载LiDAR点云、25厘米地面采样距离的高分辨率航拍影像以及二维建筑轮廓矢量数据，覆盖三大洲的广域地理范围。技术团队采用严格的坐标配准与数据清洗流程，确保10亿以上LiDAR点云与光学影像的空间一致性，并通过半自动化标注系统生成高质量多边形标注，为多模态学习提供了基准数据支撑。

使用方法

研究者可通过HuggingFace平台直接获取标准化数据包，配套开源工具链支持端到端的模型训练与评估。使用流程包含三个关键环节：通过conda环境配置依赖库，调用Hydra框架灵活调整模型架构与超参数，利用分布式训练脚本启动多GPU训练。数据集已预置FrameFieldLearning等三种先进算法的实现方案，用户可通过修改配置文件快速比较不同模态组合下的性能表现。预测阶段支持加载最佳检查点生成建筑多边形，评估模块提供IoU等几何精度指标计算功能。

背景与挑战

背景概述

PixelsPointsPolygons（P³）数据集由Raphael Sulzer等人联合LuxCarta Technology和Inria研究中心共同构建，旨在为建筑矢量化的多模态研究提供大规模基准。该数据集整合了来自三大洲的航空LiDAR点云、高分辨率航空影像及二维建筑轮廓矢量数据，包含超过100亿个分米级精度的LiDAR点及地面采样距离为25厘米的RGB图像。相较于传统以影像为主的数据集，P³通过融合密集三维信息，为建筑多边形预测提供了更丰富的几何特征支持，显著推动了遥感、地理信息系统与计算机视觉交叉领域的发展。

当前挑战

该数据集面临的核心挑战包括：1）多模态数据对齐问题，需解决LiDAR点云与影像数据在时空分辨率、坐标系及覆盖范围上的差异；2）建筑多边形矢量化的几何精度优化，尤其在复杂屋顶结构或遮挡场景下的边缘拟合；3）跨区域泛化能力，因数据采集涵盖欧洲、北美等不同建筑风格区域，需克服域适应问题。构建过程中，团队需处理海量点云的存储与计算效率瓶颈，并设计统一标注规范以协调多源异构数据。

常用场景

经典使用场景

PixelsPointsPolygons数据集在遥感图像处理和地理信息系统领域具有广泛的应用价值。该数据集通过结合高分辨率航空影像和LiDAR点云数据，为建筑物轮廓的精确矢量化提供了多模态数据支持。其经典使用场景包括建筑物检测、城市规划和三维建模等任务，尤其在需要高精度地理空间信息的应用中表现突出。

解决学术问题

该数据集解决了多模态数据融合在建筑物矢量化中的关键问题，填补了现有数据集在三维信息利用上的不足。通过提供分米级精度的LiDAR点云和高分辨率影像，研究人员能够更深入地探索建筑物轮廓提取的算法优化，提升几何精度和模型鲁棒性，推动了遥感图像分割和目标检测领域的研究进展。

实际应用

在实际应用中，PixelsPointsPolygons数据集被广泛用于城市数字化、灾害评估和基础设施管理。例如，城市规划部门可以利用该数据集生成的建筑物多边形进行土地利用分析，而应急管理部门则可通过三维建模快速评估灾害影响范围。这些应用显著提升了地理空间数据的利用效率和决策支持能力。

数据集最近研究

最新研究方向

近年来，随着遥感技术和深度学习的发展，多模态数据融合在建筑矢量化的研究中展现出巨大潜力。PixelsPointsPolygons（P³）数据集作为一项全球性、多模态的建筑矢量化基准，整合了高分辨率航空影像、激光雷达点云和二维建筑轮廓数据，为研究者提供了丰富的多源信息。当前，该数据集的前沿研究方向主要集中在多模态融合算法的优化，特别是激光雷达点云与航空影像的协同处理，以提升建筑多边形预测的精度和几何质量。此外，端到端学习框架和混合学习框架的应用也成为研究热点，旨在通过深度学习模型直接从多模态数据中提取特征并生成矢量化的建筑轮廓。这一研究方向不仅推动了遥感图像分割和目标检测技术的进步，也为城市规划、环境监测等实际应用提供了强有力的技术支持。