IDDAW_OFFICIAL

IDD-AW（India Driving Dataset – Adverse Weather）是一个针对自动驾驶在恶劣天气条件下的语义分割基准数据集。该数据集基于印度驾驶场景，专门涵盖雨、雾、低光照和雪等恶劣天气条件，并提供了配对的RGB和近红外（NIR）图像，以及密集的Level-3语义标签（共26个类别）。数据集的训练集包含143个行车记录（drives），共3430帧；验证集包含18个行车记录，共475帧。每个帧对应三个已配准的PNG图像：RGB图像、NIR图像和Level-3语义标签图。标签图为单通道，像素值对应类别ID（0-25）。目录结构划分为train/和val/，每个子集下包含rgb/、nir/和gt_labels/三个子目录，以driveId和帧索引组织文件。该数据集适用于自动驾驶场景下的安全语义分割任务，特别是在恶劣天气条件下评估和提升分割模型的鲁棒性。IDD-AW (India Driving Dataset – Adverse Weather) is a semantic segmentation benchmark dataset for autonomous driving under adverse weather conditions. Based on Indian driving scenarios, it specifically covers adverse weather conditions such as rain, fog, low light, and snow, and provides paired RGB and near-infrared (NIR) images along with dense Level-3 semantic labels (26 categories). The training set contains 143 drives (3430 frames), and the validation set contains 18 drives (475 frames). Each frame corresponds to three registered PNG images: RGB image, NIR image, and Level-3 semantic label map. The label map is a single-channel image with pixel values corresponding to category IDs (0-25). The directory structure is divided into train/ and val/, each containing three subdirectories: rgb/, nir/, and gt_labels/, organized by driveId and frame index. This dataset is suitable for safe semantic segmentation tasks in autonomous driving scenarios, especially for evaluating and improving the robustness of segmentation models under adverse weather conditions.

原始信息汇总

IDD-AW: 印度驾驶数据集——恶劣天气

数据集简介

IDD-AW（India Driving Dataset – Adverse Weather）是一个面向自动驾驶的语义分割基准数据集，专注于雨、雾、低光照和雪等恶劣天气条件下的场景理解。数据集提供配对的 RGB + 近红外（NIR） 图像以及密集的 Level-3 语义标签（共26个类别），旨在推动安全语义分割研究。

数据集规模

划分	驾驶序列数	帧数
train	143	3430
val	18	475

每帧包含三个对齐的 PNG 文件：RGB 图像、NIR 图像和 Level-3 标签图。数据集中已移除一帧无真值标签的训练帧（drive 175，frame 00000028），确保所有帧均具有完整配对。

目录结构

train/ , val/ rgb/<driveId>/<frame>_rgb.png # RGB 图像 nir/<driveId>/<frame>_nir.png # 近红外图像 gt_labels/<driveId>/<frame>_labellevel3Ids.png # Level-3 语义标签

• <driveId> 为整数文件夹名称（如 58、175）
• <frame> 为8位零填充索引（如 00000028）
• 标签图为单通道，像素值为类别ID

语义类别（Level-3，共26类）

ID	类别名称	RGB 调色板
0	road	(128, 64, 128)
1	drivable fallback	(81, 0, 81)
2	sidewalk	(244, 35, 232)
3	non drivable fallback	(152, 251, 152)
4	person	(220, 20, 60)
5	rider	(255, 0, 0)
6	motorcycle	(0, 0, 230)
7	bicycle	(119, 11, 32)
8	autorickshaw	(255, 204, 54)
9	car	(0, 0, 142)
10	truck	(0, 0, 70)
11	bus	(0, 60, 100)
12	vehicle fallback	(0, 0, 90)
13	curb	(196, 196, 196)
14	wall	(102, 102, 156)
15	fence	(190, 153, 153)
16	guard rail	(180, 165, 180)
17	billboard	(174, 64, 67)
18	traffic sign	(220, 220, 0)
19	traffic light	(250, 170, 30)
20	pole	(153, 153, 153)
21	obs-str-bar-fallback	(169, 187, 214)
22	building	(70, 70, 70)
23	bridge	(150, 100, 100)
24	vegetation	(107, 142, 35)
25	sky	(70, 130, 180)

使用示例

下载数据集

python from huggingface_hub import snapshot_download

snapshot_download( "Furqan7007/IDDAW_OFFICIAL", repo_type="dataset", local_dir="IDDAW", )

加载单帧数据

python from pathlib import Path import numpy as np from PIL import Image

root = Path("IDDAW/train") rgb = np.array(Image.open(root / "rgb/58/00000000_rgb.png")) nir = np.array(Image.open(root / "nir/58/00000000_nir.png")) label = np.array(Image.open(root / "gt_labels/58/00000000_labellevel3Ids.png"))

引用信息

该数据集基于 WACV 2024 论文《IDD-AW: A Benchmark for Safe Semantic Segmentation in Adverse Weather》，引用格式： bibtex @inproceedings{iddaw2024, title = {IDD-AW: A Benchmark for Safe Semantic Segmentation in Adverse Weather}, author = {Shaik, Furqan Ahmed and others}, booktitle = {WACV}, year = {2024} }

其他信息

• 许可证：其他（需确认具体许可，参见 https://iddaw.github.io/）
• 任务类别：图像分割
• 标签：语义分割、自动驾驶、恶劣天气、近红外、安全分割
• 数据集规模：1K < N < 10K

搜集汇总

数据集介绍

构建方式

该数据集基于印度驾驶场景，针对雨、雾、低光照及雪等恶劣天气条件，构建了同时包含RGB与近红外（NIR）图像对的语义分割基准。数据采集自真实驾驶环境，每个图像帧均配有像素级精细的Level-3语义标签，涵盖26个类别。数据集划分明确，训练集包含143个驾驶序列共3430帧，验证集包含18个驾驶序列共475帧，所有图像均经过严格配准，确保RGB、NIR与标签图的空间一致性。构建过程中剔除了一个缺少真实标签的帧，保证数据完整性与可用性。

特点

该数据集的核心特色在于其多模态与恶劣天气适应性，同时提供RGB与NIR图像，能够捕捉可见光之外的细节，提升在低能见度条件下的语义理解能力。类别体系细致，覆盖了从道路、车辆到交通设施等26种交通相关对象，尤其是包含印度特有的交通工具如自动三轮车（autorickshaw），体现了地域特异性。每个类别均定义了标准RGB调色板，便于可视化与评估。数据划分合理，训练与验证规模适中，适合开发与验证面向安全关键场景的语义分割模型。

使用方法

使用该数据集时，可通过Hugging Face提供的snapshot_download接口便捷下载完整数据，或按需仅获取特定子集或驾驶序列。加载图像时，需分别读取RGB、NIR与标签文件，并注意标签图为单通道像素值对应类别ID。数据适用于训练和评估语义分割模型，尤其是在恶劣天气下的鲁棒性测试。建议将RGB与NIR图像作为多模态输入，标签图作为监督信号。此外，官方提供了规范的文件命名与目录结构，便于用户集成至现有数据处理流程。

背景与挑战

背景概述

IDD-AW（India Driving Dataset – Adverse Weather）由Furqan Ahmed Shaik等人于2024年在WACV会议上提出，是针对自动驾驶在恶劣天气下安全语义分割的基准数据集。该数据集创建于印度驾驶场景，包含雨、雾、低光照和雪等天气条件，提供RGB与近红外（NIR）双模态图像以及26类Level-3密集语义标签。其核心研究问题在于提升自动驾驶系统在复杂天气下的感知鲁棒性，通过引入NIR模态增强视觉信息，弥补可见光在低能见度下的不足。该数据集填补了现有基准（如Cityscapes、IDD）在恶劣天气场景上的空白，为安全关键的自驾系统提供了评估平台，对领域内模型泛化能力研究具有重要影响。

当前挑战

该数据集所解决的领域问题是自动驾驶语义分割在恶劣天气下的性能退化，如雨雾导致图像模糊、低光照降低对比度，以及雪天反射干扰，这些挑战要求模型融合多模态信息（RGB+NIR）以实现稳健分割。构建过程中，数据集面临多方面的挑战：首先，需在复杂印度交通场景中获取恶劣天气下的真实图像，并确保RGB与NIR严格对齐；其次，标注26个细粒度类别（如autorickshaw、guard rail）需要精确的像素级语义，耗时且易出错；此外，数据集中一个训练帧因缺少标签被移除，反映出数据筛选与质量控制的严谨性。这些挑战不仅限于数据采集，还涉及标签一致性及跨天气泛化，为后续研究提供了明确攻克方向。

常用场景

经典使用场景

IDD-AW数据集作为面向自动驾驶领域在恶劣天气条件下进行语义分割的专门基准，其经典使用场景聚焦于多模态感知与鲁棒性评估。研究者利用其同步采集的RGB与近红外（NIR）图像对，结合26类密集语义标签，系统性地验证和提升分割模型在雨、雾、低照度及雪等复杂气象环境下的性能。该数据集尤其适用于开发跨光谱融合算法，探索可见光与红外信息的互补特性，以及评估模型对光照变化和天气干扰的适应性，成为推动安全自动驾驶视觉感知技术发展的关键测试平台。

解决学术问题

该数据集精准回应了自动驾驶视觉感知在非理想天气下性能骤降的学术痛点，为语义分割领域提供了首个包含配对RGB-NIR图像的恶劣天气基准。其稠密Level-3标注和精细类别划分，解决了既有数据集在天气多样性、光谱信息缺失及场景地域性方面的局限，使得研究者能够量化分析天气退化因素对分割精度的影响，并据此设计针对性的数据增强、图像复原或域适应策略。IDD-AW的发布显著促进了鲁棒模型评估体系的建立，为对比不同算法在极端条件下的泛化能力提供了标准化参照，对提升自动驾驶系统的环境感知可靠性具有里程碑意义。

衍生相关工作

IDD-AW数据集自发布以来，催生了众多衍生研究工作，尤其在恶劣天气语义分割领域激发了大量算法创新。基于该基准，研究者提出了多种针对天气退化鲁棒的模型架构，如引入近红外分支的多光谱注意力融合网络、利用域随机化与风格迁移的天气不变特征学习框架，以及结合物理模型与深度学习的去雨去雾增强分割方法。此外，该数据集被用作评测基准，促进了无监督域适应技术在从清晰天气到恶劣天气迁移中的发展，并衍生出关于标签噪声、类别不平衡及小目标分割等细分方向的研究。这些工作不仅推动了语义分割技术本身的进步，也为构建全天候自动驾驶感知系统奠定了理论与实验基础。