AIWD16

AIWD16是一个多任务天气数据集，包含图像分类（天气转换）、目标检测、语义分割、实例分割和视觉问答（VQA）的标注。分类标签包括六种天气转换类型：Cloudy_to_Rainy、Rainy_to_Cloudy、Rainy_to_Sunny、Sunny_to_Foggy、Foggy_to_Sunny和Sunny_to_Rainy。数据集目录结构包括图像数据、分类标签、检测标注、语义分割标注、实例分割标注和VQA标注。该数据集主要用于自动驾驶在过渡性天气条件下的场景识别、目标检测和分割等任务。

原始信息汇总

AIWD16 数据集概述

数据集基本信息

• 数据集名称：AIWD16
• 许可证：apache-2.0
• 任务类别：图像分类、目标检测、图像分割、视觉问答、图像到文本

数据集内容与任务

• 核心描述：一个多任务天气数据集，包含以下任务的标注：
  • 图像分类（天气转换）
  • 目标检测
  • 语义分割
  • 实例分割
  • 视觉问答（VQA）

图像分类标签

• Cloudy_to_Rainy
• Rainy_to_Cloudy
• Rainy_to_Sunny
• Sunny_to_Foggy
• Foggy_to_Sunny
• Sunny_to_Rainy

目录结构

• images/ — 图像数据
• metadata.csv — 分类标签
• Det_annotations/ — 目标检测标注
• SS_annotations/ — 语义分割标注
• Inseg_annotations/ — 实例分割标注
• VQA_annotations/ — 视觉问答标签

引用文献

期刊文章

1. Madhavi Kondapally, K. Naveen Kumar, C. Krishna Mohan, Towards a Transitional Weather Scene Recognition Approach for Autonomous Vehicles, IEEE Transactions on Intelligent Transportation Systems, Vol. 25, No. 6, pp. 5201–5210, 2024.
2. Madhavi Kondapally, K. Naveen Kumar, C. Gayathri, TWFNet: Introducing Transitional Weather Conditions for Autonomous Driving with a Spatio-temporal Forecasting Network, Pattern Recognition, Vol. 171, Article 112154, 2026.
3. Madhavi Kondapally, K. Naveen Kumar, C. Krishna Mohan, Eyes on the Road, Words in the Changing Skies: Vision-Language Assistance for Autonomous Driving in Transitional Weather, Transactions on Machine Learning Research (TMLR), 2026.

会议论文

4. Madhavi Kondapally, K. Naveen Kumar, C. Krishna Mohan, Object Detection in Transitional Weather Conditions for Autonomous Vehicles, International Joint Conference on Neural Networks (IJCNN), IEEE, Yokohama, Japan, 2024.
5. Madhavi Kondapally, K. Naveen Kumar, C. Krishna Mohan, CaRS: A Causal Intervention Segmentation Framework and Benchmark Dataset for Autonomous Driving under Transitional Weather Conditions, IEEE Winter Conference on Applications of Computer Vision (WACV), Arizona, USA, 2026.
6. Madhavi Kondapally, K. Naveen Kumar, C. Krishna Mohan, TransWardX: An Explainable Black-box Object Detection Attack for Autonomous Driving in Transitional Weather Conditions, International Conference on Pattern Recognition (ICPR), Springer LNCS, 2024.
7. Madhavi Kondapally, C. Krishna Mohan, Weather Scene Perception for Autonomous Vehicles, International Workshop on Computer Vision and Artificial Intelligence, IEICE Proceedings, Japan.

BibTeX 引用格式

bibtex @ARTICLE{10323218, author = {Kondapally, Madhavi and Kumar, K. Naveen and Vishnu, Chalavadi and Mohan, C. Krishna}, journal = {IEEE Transactions on Intelligent Transportation Systems}, title = {Towards a Transitional Weather Scene Recognition Approach for Autonomous Vehicles}, year = {2024}, volume = {25}, number = {6}, pages = {5201--5210}, doi = {10.1109/TITS.2023.3331882} }

@article{MADHAVI2026112154, title = {TWFNet: Introducing transitional weather conditions for autonomous driving with a spatio-temporal forecasting network}, journal = {Pattern Recognition}, volume = {171}, pages = {112154}, year = {2026}, author = {Kondapally, Madhavi and Kumar, K. Naveen and Gayathri, C.}, doi = {10.1016/j.patcog.2025.112154} }

@INPROCEEDINGS{10651445, author = {Kondapally, Madhavi and Kumar, K. Naveen and Krishna Mohan, C.}, booktitle = {International Joint Conference on Neural Networks (IJCNN)}, title = {Object Detection in Transitional Weather Conditions for Autonomous Vehicles}, year = {2024}, pages = {1--8}, doi = {10.1109/IJCNN60899.2024.10651445} }

搜集汇总

数据集介绍

构建方式

在自动驾驶技术蓬勃发展的背景下，AIWD16数据集应运而生，旨在应对复杂多变的过渡性天气场景。该数据集的构建聚焦于捕捉天气状态转换的关键瞬间，例如从多云到降雨或从晴朗到有雾的动态过程。其构建过程系统性地采集了涵盖多种天气过渡阶段的真实世界图像，并辅以精细的多任务标注。标注工作不仅包括图像级别的天气转换分类，还延伸至目标检测、语义分割、实例分割以及视觉问答等多个维度，从而形成了一个层次丰富、结构严谨的多模态数据集，为深入研究自动驾驶在非稳态环境下的感知能力奠定了坚实的数据基础。

特点

AIWD16数据集的核心特点在于其专注于天气状态的动态过渡性，这区别于传统静态天气分类数据集。它精心定义了六类典型的天气转换标签，如“晴朗转有雾”或“降雨转多云”，精准刻画了天气变化的连续性。此外，数据集提供了五位一体的综合标注体系，在同一批图像数据上同步支持分类、检测、分割与视觉问答任务，实现了视觉理解任务的全覆盖。这种多任务、多粒度的标注设计，使得该数据集能够全面评估和推动自动驾驶系统在复杂、动态气象条件下的环境感知与推理能力，具有高度的学术与应用价值。

使用方法

为有效利用AIWD16数据集进行研究与开发，使用者需遵循其清晰的目录结构。图像数据存放于‘images/’文件夹，而对应的多任务标注则分别位于‘Det_annotations/’、‘SS_annotations/’、‘Inseg_annotations/’及‘VQA_annotations/’等指定路径。数据集的核心分类标签信息记录在‘metadata.csv’文件中。研究人员可根据具体任务需求，灵活加载相应的图像与标注文件。例如，进行天气转换分类研究可直接结合图像与CSV文件；若开展目标检测或分割任务，则需解析对应格式的标注文件。这种模块化的数据组织方式，便于用户快速切入特定子任务，同时也支持进行跨任务的联合建模与评估。

背景与挑战

背景概述

随着自动驾驶技术的飞速发展，环境感知系统在复杂气象条件下的鲁棒性成为关键研究议题。AIWD16数据集由Madhavi Kondapally及其合作者于2024年构建，旨在应对自动驾驶车辆在动态天气转换场景中的多任务感知挑战。该数据集聚焦于天气过渡状态，如从晴朗转为有雾或从多云转为降雨，为图像分类、目标检测、语义分割、实例分割及视觉问答提供了统一标注框架。其核心研究问题在于提升自动驾驶系统对非稳态天气现象的适应能力，相关成果已发表于《IEEE Transactions on Intelligent Transportation Systems》等权威期刊，推动了智能交通领域对动态环境理解的理论与方法创新。

当前挑战

在自动驾驶领域，动态天气转换对感知系统构成了严峻考验，传统模型往往难以准确识别快速变化的天气状态及其对道路目标的遮蔽效应。AIWD16数据集致力于解决这一领域挑战，其构建过程亦面临多重困难：首先，天气过渡场景的数据采集需精确同步气象变化与视觉特征，对时序标注的一致性要求极高；其次，多任务标注体系需协调分类、检测与分割的语义层次，确保跨任务注释的互洽性；此外，实例分割在雨雾交织等低能见度条件下，物体边界模糊性加剧了标注难度，要求标注者具备专业气象学与计算机视觉交叉知识。

常用场景

经典使用场景

在自动驾驶领域，环境感知系统需应对复杂多变的天气条件，AIWD16数据集以其多任务标注特性，为研究过渡性天气场景下的视觉理解提供了经典范例。该数据集广泛应用于图像分类、目标检测、语义分割及视觉问答等任务，尤其聚焦于天气状态间的动态转换，如从晴朗到雾霾或从多云到降雨的过渡过程，为算法在非稳态环境中的鲁棒性评估奠定了数据基础。

实际应用

在实际应用中，AIWD16数据集直接服务于自动驾驶车辆的感知模块优化，提升其在雨转晴、雾转晴等过渡天气中的行车安全性。基于该数据集训练的模型可集成于车载视觉系统，实现更精准的障碍物检测、道路场景分割以及环境问答交互，从而增强车辆在气象突变时的决策可靠性，为智能交通系统的全天候运行提供技术保障。

衍生相关工作

围绕AIWD16数据集，学术界衍生出一系列经典研究工作，例如TWFNet时空预测网络用于天气过渡条件下的驾驶场景预报，CaRS框架专注于因果干预分割以提升分割鲁棒性，以及TransWardX可解释黑盒攻击检测方法用于评估目标检测模型的安全性。这些成果均发表于IEEE Transactions on Intelligent Transportation Systems、Pattern Recognition等权威期刊与会议，显著推动了过渡性天气自动驾驶研究领域的进展。