FLYAWARE

FLYAWARE是第一个包含恶劣天气数据用于航空器语义分割的数据集。该数据集通过增强Syndrone数据集并添加不同天气条件而生成。

FLYAWARE is the first dataset for aircraft semantic segmentation that incorporates adverse weather data. It is developed by augmenting the Syndrone dataset and adding diverse weather conditions.

原始信息汇总

HyperFLAW 数据集概述

数据集简介

HyperFLAW 数据集是为论文 "When Cars meet Drones: Hyperbolic Federated Learning for Source-Free Domain Adaptation in Adverse Weather" 开发的，该论文被 WACV 2025 接受。该数据集主要用于在恶劣天气条件下进行联邦学习中的源自由域适应，特别是在自动驾驶车辆和无人机之间的协作场景中。

数据集组成

HyperFLAW 数据集包含以下几个子数据集：

预训练数据集

1. SELMA 数据集

   • 来源：SELMA 官方网站
   • 下载方式：
     • 注册并访问下载页面。
     • 选择 Computer Vision。
     • 选择所有城镇和传感器 CAM_DESK 和 SEGCAM_DESK。
     • 分别下载以下条件的数据：
       1. 天气：Clear，时间：Night
       2. 天气：Clear, HardRain, MidFog，时间：Noon
     • 将所有下载的文件放入名为 SELMA 的文件夹中。

2. FLYAWARE-S 数据集

   • 来源：FLYAWARE-S 下载链接
   • 下载方式：
     • 下载所有部分并合并为一个 zip 文件。
     • 使用命令 zip -F FLYAWARE-S.zip --out combined.zip 和 unzip combined.zip 解压。
   • 该数据集基于 Syndrone 数据集，增加了不同天气条件。

客户端数据集

1. HyperFLAW-ACDC 数据集

   • 来源：HyperFLAW-ACDC 下载链接
   • 该数据集是 ACDC 数据集的修改版本，增加了不同天气条件和来自 Cityscapes 数据集的图像。

2. FLYAWARE-R 数据集

   • 来源：FLYAWARE-R 下载链接
   • 该数据集基于 UAVid 数据集，增加了不同天气条件。

3. FLYAWARE-R-XL 数据集

   • 来源：FLYAWARE-R-XL 下载链接
   • 该数据集基于 FLYAWARE-R 数据集，增加了来自 Visdrone 数据集的图像。

数据集结构

所有数据集应放在同一个文件夹中，文件夹结构如下：

datasets ├── SELMA │ ├── Town01_Opt_ClearNight │ │ ├── CAM_DESK │ │ │ ├── Town01_Opt_ClearNight_5300274882951739.jpg │ │ │ ... │ │ │ └── Town01_Opt_ClearNight_18438957881020911553.jpg │ │ └── SEGCAM_DESK │ │ ├── Town01_Opt_ClearNight_5300274882951739.png │ │ ... │ │ └── Town01_Opt_ClearNight_18438957881020911553.png │ ... │ └── Town10HD_Opt_MidFoggyNoon │ └── ... ├── FLYAWARE-S │ ├── renders │ │ ├── Town01_Opt_120 │ │ │ ├── ClearNight │ │ │ │ ├── bboxes │ │ │ │ │ ├── 00000.json │ │ │ │ │ ... │ │ │ │ │ └── 02999.json │ │ │ │ ├── height20m │ │ │ │ │ ├── camera │ │ │ │ │ │ ├── 00000.json │ │ │ │ │ │ ... │ │ │ │ │ │ └── 02999.json │ │ │ │ │ ├── depth │ │ │ │ │ │ ├── 00000.png │ │ │ │ │ │ ... │ │ │ │ │ │ └── 02999.png │ │ │ │ │ ├── rgb │ │ │ │ │ │ ├── 00000.png │ │ │ │ │ │ ... │ │ │ │ │ │ └── 02999.png │ │ │ │ │ └── semantic │ │ │ │ │ ├── 00000.png │ │ │ │ │ ... │ │ │ │ │ └── 02999.png │ │ │ ├── ClearNoon │ │ │ │ └── ... │ │ │ ├── HardRainNoon │ │ │ │ └── ... │ │ │ └── MidFoggyNoon │ │ │ └── ... │ │ ├── ... │ │ └── Town10HD_Opt_120 │ ├── trajectories │ │ ├── keyframes_Town01_Opt_120.csv │ │ ... │ │ └── keyframes_Town10HD_Opt_120.csv │ ├── test.txt │ └── train.txt ├── FLYAWARE-R │ ├── gt │ │ ├── day │ │ │ ├── test │ │ │ │ ├── 00000.png │ │ │ │ ... │ │ │ │ └── 00068.png │ │ │ └── train │ │ │ ├── 00000.png │ │ │ ... │ │ │ └── 00199.png │ │ ├── fog │ │ │ └── ... │ │ ├── night │ │ │ └── ... │ │ └── rain │ │ └── ... │ ├── rgb │ │ ├── day │ │ │ ├── test │ │ │ │ ├── 00000.png │ │ │ │ ... │ │ │ │ └── 00068.png │ │ │ └── train │ │ │ ├── 00000.png │ │ │ ... │ │ │ └── 00199.png │ │ ├── fog │ │ │ └── ... │ │ ├── night │ │ │ └── ... │ │ └── rain │ │ └── ... │ └── splits │ ├── heterogeneous │ │ ├── test │ │ │ └── test_user.json │ │ └── train │ │ └── clients.json │ └── homogeneous_only_clear │ └── ... └── FLYAWARE-R-XL ├── gt │ └── ... ├── rgb │ └── ... └── splits └── ...

引用

如果使用该数据集，请引用以下论文：

bibtex @inproceedings{rizzoli2024cars, title={When Cars meet Drones: Hyperbolic Federated Learning for Source-Free Domain Adaptation in Adverse Weather}, author={Rizzoli, Giulia and Caligiuri, Matteo and Shenaj, Donald and Barbato, Francesco and Zanuttigh, Pietro}, booktitle={Winter Conference on Applications of Computer Vision (WACV)}, year={2025}, organization={IEEE} }

搜集汇总

数据集介绍

构建方式

FLYAWARE数据集的构建基于多个现有数据集的整合与增强，旨在模拟恶劣天气条件下自动驾驶车辆与无人机协同工作的场景。首先，通过下载并整合SELMA数据集，该数据集提供了不同天气和时间条件下的图像数据。随后，FLYAWARE-S数据集从Syndrone数据集中提取并增加了多种天气条件，以增强数据多样性。此外，FLYAWARE-R和FLYAWARE-R-XL数据集分别从UAVid和Visdrone数据集中提取，并进行了天气条件的增强处理。最终，所有数据集被整合到一个统一的文件结构中，以支持联邦学习环境下的语义分割任务。

特点

FLYAWARE数据集的显著特点在于其多源数据的融合与恶劣天气条件的模拟，这为自动驾驶和无人机领域的研究提供了丰富的数据支持。数据集包含了多种天气条件下的图像数据，如晴天、雨天、雾天和夜间，这些数据能够有效模拟真实世界中的复杂环境。此外，数据集的结构设计支持联邦学习框架下的语义分割任务，使得不同客户端可以在不共享数据的情况下协同训练模型。

使用方法

使用FLYAWARE数据集进行研究时，首先需下载并解压所有相关数据集，并将其放置在同一目录下。接着，通过配置文件指定数据集路径和实验参数，使用提供的脚本进行预训练和适应性训练。数据集支持多种实验设置，包括预训练阶段和联邦学习环境下的适应性训练。实验结果可以通过wandb平台进行记录和分析。此外，数据集还提供了预训练和完整模型的检查点，方便研究人员直接加载和评估模型性能。

背景与挑战

背景概述

FLYAWARE数据集是由Giulia Rizzoli等研究人员在2024年创建的，旨在解决自动驾驶车辆和无人机在恶劣天气条件下的语义分割问题。该数据集首次引入了包含不同天气条件的数据，特别是针对空中车辆的语义分割任务。FLYAWARE数据集的构建基于多个现有数据集，如SELMA、Syndrone、ACDC和UAVid，通过增强这些数据集的天气多样性，为联邦学习（Federated Learning）在自动驾驶领域的应用提供了新的研究平台。该数据集的发布对于推动自动驾驶技术在复杂环境中的适应性和鲁棒性具有重要意义。

当前挑战

FLYAWARE数据集面临的挑战主要集中在两个方面。首先，数据集的构建过程中需要处理不同天气条件下的图像数据，这要求研究人员开发新的数据增强和处理技术，以确保数据的质量和一致性。其次，该数据集旨在支持联邦学习在自动驾驶领域的应用，这涉及到如何在保护数据隐私的同时，有效地进行跨客户端的模型训练和适应。此外，由于涉及多种自主代理（如汽车和无人机），数据集还需要解决不同代理之间的异质性问题，这增加了模型设计和训练的复杂性。

常用场景

经典使用场景

在自动驾驶和无人机领域，FLYAWARE数据集被广泛用于研究恶劣天气条件下的语义分割问题。该数据集通过整合来自不同自主代理（如汽车和无人机）的数据，提供了一个独特的平台，用于评估和改进联邦学习算法在多变天气环境中的适应性。具体而言，研究人员利用FLYAWARE数据集进行源域自由的域适应训练，通过在服务器端进行监督预训练，然后在客户端进行无监督训练，以实现模型在不同天气条件下的动态适应。

解决学术问题

FLYAWARE数据集解决了自动驾驶和无人机领域中恶劣天气条件下语义分割的学术难题。传统的联邦学习方法在面对不同天气条件时表现不佳，而FLYAWARE通过引入天气感知策略和双曲空间原型，有效解决了这一问题。该数据集的引入不仅提升了模型在复杂环境中的鲁棒性，还为跨域适应研究提供了新的视角，推动了联邦学习在实际应用中的进一步发展。

衍生相关工作

FLYAWARE数据集的发布催生了一系列相关研究工作，特别是在联邦学习和域适应领域。例如，基于FLYAWARE的研究者们开发了多种天气感知模型，这些模型能够根据实时天气数据动态调整其参数，以提高在不同天气条件下的性能。此外，FLYAWARE还启发了对多模态数据融合的研究，通过结合视觉和传感器数据，进一步提升了自动驾驶和无人机系统的整体性能。