Map your City Dataset (MyCD)

Map your City Dataset (MyCD)是一个新的多模态数据集，由欧洲空间局（ESA）等机构创建。该数据集整合了俯视高分辨率卫星图像、地球观测多光谱数据和街道视图图像三种模态的数据，这些数据在地理位置上与特定建筑相对应。数据集覆盖了欧洲6个国家的19个城市，根据建筑建造时期分为7个类别。该数据集的目的是为了预测建筑的建造年份，应用于可持续发展和气候研究。Map your City Dataset (MyCD) is a novel multimodal dataset created by institutions including the European Space Agency (ESA). It integrates three modalities of data: high-resolution overhead satellite imagery, Earth observation multispectral data, and street view imagery, all geolocated to specific buildings. The dataset covers 19 cities across 6 European countries and is categorized into 7 classes based on the construction periods of buildings. It is designed to predict the construction year of buildings, with applications in sustainable development and climate research.

搜集汇总

数据集介绍

构建方式

Map your City Dataset (MyCD) 是一个多模态基准数据集，包含俯视图非常高分辨率 (VHR) 图像、地球观测 (EO) 多光谱数据以及街道视图图像。这些模态数据是针对特定建筑物进行空间对齐的，并标注有建筑物的建造时期。数据集的构建方法包括从欧洲城市的街道视图和地球观测数据中收集图像，并对这些图像进行标注，分为训练集和测试集。

特点

MyCD 数据集的特点在于其多模态特性，包括街道视图、俯视图 VHR 图像和 EO 多光谱数据。数据集覆盖了欧洲六个国家的十九个城市，包含七种建筑建造时期的类别。此外，数据集在测试时考虑了未见过的新城市，以及在不包含街道视图的情况下进行推理的场景，这为研究模型的泛化能力提供了有力的支持。

使用方法

使用 MyCD 数据集的方法包括：首先，对数据进行预处理，包括归一化、直方图均衡化等；其次，采用适当的深度学习模型进行训练和推理；最后，通过评估指标如平均生产者精度 (MPA) 来衡量模型性能。数据集提供了三种模态的数据，可以在训练时全部使用，也可以在推理时仅使用其中两种模态。

背景与挑战

背景概述

Map your City Dataset (MyCD) 是一个多模态基准数据集，包含俯视图高分辨率卫星图像、地球观测多光谱数据和街道视图图像。该数据集由欧洲空间局 (ESA) 的 Φ-lab 等机构创建，旨在通过人工智能技术自动估算建筑物的建造年份，以支持可持续发展、城市规划和建筑安全。MyCD 数据集涵盖了 6 个欧洲国家的 19 个城市，包含从 1900 年至今的 7 个建筑时期类别。该数据集的创建时间为 2024 年，主要研究人员包括 Nikolaos Dionelis、Nicolas Longépé、Alessandra Feliciotti 等。

当前挑战

MyCD 数据集构建过程中遇到的挑战主要包括：1) 多模态数据融合，即如何有效结合街道视图、俯视图卫星图像和地球观测数据；2) 模型泛化能力，即模型在新城市（训练数据中未出现的城市）上的表现；3) 缺失模态处理，即在推断过程中如何处理缺失的街道视图图像。

常用场景

经典使用场景

Map your City Dataset (MyCD)被广泛应用于估计建筑年代的研究中，经典的使用场景包括利用其多模态数据对建筑进行分类，以预测其建造时期。该数据集结合了街景图像、高分辨率卫星图像和地球观测数据，为研究者提供了一个全面的工具，以探索不同城市中建筑的年代分布。

解决学术问题

MyCD解决了建筑年代数据在全球范围内不一致和不均匀的问题。通过提供一个包含多种模态的欧洲城市数据集，它帮助研究者克服了仅依赖单一数据源进行建筑年代估计的局限性，提高了预测的准确性和模型的泛化能力。

衍生相关工作

MyCD的发布促进了相关领域的研究，衍生出了一系列相关工作。这些工作包括使用MyCD进行建筑功能映射、街景图像与卫星图像的匹配、以及基于Transformer模型的多模态学习等。这些研究进一步推动了地球观测数据在 urban analytics 和其他领域中的应用。