IDD-AW

IDD-AW数据集由IIIT海得拉巴的机器学习实验室创建，专注于非结构化交通场景中的安全与鲁棒分割，特别是在恶劣天气条件下的驾驶场景。数据集包含5000对高质量图像，每张图像均配有像素级标注，涵盖雨、雾、低光和雪等恶劣天气条件。此外，每帧图像都配有近红外（NIR）图像，增强了模型的预测能力。IDD-AW数据集的创建旨在解决现有数据集在安全性和鲁棒性方面的不足，通过引入新的评价指标‘安全均交并比（Safe mIoU）’，该指标能够更准确地反映驾驶场景中的安全关切。

The IDD-AW dataset was created by the Machine Learning Lab at IIIT Hyderabad, focusing on safe and robust semantic segmentation in unstructured traffic scenarios, especially driving scenarios under adverse weather conditions. The dataset contains 5000 pairs of high-quality images, each paired with pixel-level annotations covering adverse weather conditions such as rain, fog, low light, and snow. Additionally, each frame is accompanied by near-infrared (NIR) images to enhance the predictive capability of models. The IDD-AW dataset was developed to address the shortcomings of existing datasets in terms of safety and robustness. By introducing a novel evaluation metric named "Safe mean Intersection over Union (Safe mIoU)", this metric can more accurately reflect safety concerns in driving scenarios.

搜集汇总

数据集介绍

构建方式

在自动驾驶领域，面对复杂多变的非结构化交通与恶劣天气条件，数据集的构建需兼顾真实性与多样性。IDD-AW数据集通过采用JAI FS-3200D-10GE双CMOS多光谱棱镜相机，同步捕获可见光（RGB）与近红外（NIR）波段图像，确保了数据在光谱维度上的丰富性。采集过程聚焦于雨、雾、低光照及雪四种恶劣天气场景，并在印度多个城乡及山区地点进行，以涵盖广泛的驾驶环境。图像筛选遵循三秒阈值原则以剔除重复帧，并通过人工校验确保RGB-NIR配对精确性。最终，从202段驾驶序列中精选出5000对高质量图像，每幅图像均经过专业标注团队耗时1.5至2.5小时完成像素级语义标注，标注体系沿用IDD数据集的四层级标签结构，包含30个细分类别，以精准刻画非结构化交通要素。

特点

IDD-AW数据集的突出特点在于其深度融合了非结构化交通场景与多种恶劣天气条件，为自动驾驶系统的鲁棒性评估提供了极具挑战性的基准。与现有同类数据集相比，它不仅提供了更大规模的标注图像数量，还创新性地为每一帧配备了配对的近红外图像，从而增强了模型在低可见度环境下的感知能力。数据集的标签体系设计精巧，采用四层级层次结构，涵盖30个类别，能够细致描述交通参与者、路边物体及远景等多元要素，更好地反映了真实世界驾驶的复杂性。此外，数据集中交通参与者的像素分布与实例数量显著高于其他数据集，尤其在雨、雾等条件下包含大量高密度交通场景，进一步提升了数据集的多样性与代表性。

使用方法

IDD-AW数据集主要用于训练和评估语义分割模型在恶劣天气及非结构化交通条件下的性能。研究者可将RGB图像、NIR图像或两者叠加作为模型输入，以探索多光谱信息对分割精度的提升效果。数据集已按天气条件划分为训练集和测试集，且划分时确保了驾驶序列的独立性，避免了数据泄漏，保障了评估的公正性。在评估指标方面，除了传统的平均交并比（mIoU），数据集倡导使用其提出的安全平均交并比（Safe mIoU）。该指标基于标签层次结构计算树距离，对将关键类别（如行人、车辆）误判为道路等危险错误施加更高惩罚，从而更贴合自动驾驶安全性的实际需求。通过在该数据集上进行基准测试，能够有效揭示模型在极端场景下的薄弱环节，推动更安全、更鲁棒的自动驾驶视觉系统发展。

背景与挑战

背景概述

在自动驾驶技术迅猛发展的背景下，确保车辆在复杂交通与恶劣天气条件下的安全性与鲁棒性成为核心研究议题。IDD-AW数据集由印度海得拉巴国际信息技术学院的机器学习实验室与DRDO的DYSL-AI团队于2023年联合创建，旨在填补现有驾驶场景分割数据集中在非结构化交通与多种恶劣天气条件下数据不足的空白。该数据集提供了5000对高质量图像，涵盖雨、雾、低光与雪等天气，并配备像素级标注与近红外图像，其四层标签层次结构增强了场景描述的精细度。IDD-AW通过引入“安全平均交并比”新度量标准，专注于评估模型在安全关键类别上的错误预测，推动了自动驾驶系统在极端环境下的可靠性研究，对计算机视觉与自动驾驶领域具有重要影响力。

当前挑战

IDD-AW数据集致力于解决自动驾驶场景语义分割在非结构化交通与恶劣天气条件下的鲁棒性问题，其核心挑战在于模型对多样化交通参与者与动态元素的准确识别，以及在雨、雾、低光与雪等天气中保持分割精度。构建过程中的挑战包括数据采集的复杂性，需在多种恶劣天气下确保图像质量与标注一致性；近红外图像的同步获取与配对增加了技术难度；四层标签层次结构的设计要求标注过程高度精确，耗时较长；此外，数据集的划分需保持类别公平性与序列独立性，以支持稳健的模型评估。这些挑战共同使得IDD-AW成为当前最具挑战性的驾驶场景分割基准之一。

常用场景

经典使用场景

在自动驾驶视觉感知领域，IDD-AW数据集为语义分割模型的鲁棒性评估提供了关键基准。该数据集专门针对非结构化交通场景与恶劣天气条件设计，其经典应用场景在于训练和验证模型在雨、雾、低光照及雪天等复杂环境下的分割性能。通过提供同步的RGB与近红外图像对，以及包含30个类别、4级层次结构的像素级标注，该数据集能够全面模拟真实驾驶中遇到的极端视觉挑战，成为评估模型在安全关键场景下泛化能力的重要工具。

衍生相关工作

围绕IDD-AW数据集，已衍生出多个重要的研究方向与经典工作。其提出的安全平均交并比（Safe mIoU）度量启发了后续针对层次化数据集的评估框架研究，促使学术界重新审视分割模型的安全语义距离。基于其多模态特性，一系列融合RGB与近红外信息的分割网络架构得以发展与优化，提升了模型在能见度受限条件下的性能。此外，该数据集常被用作跨域适应、领域泛化及恶劣天气下感知鲁棒性研究的基准，推动了如InternImage等先进模型在复杂场景下的能力拓展，并催生了针对非结构化交通场景的专用损失函数与训练策略的创新。

数据集最近研究

最新研究方向

在自动驾驶视觉感知领域，IDD-AW数据集的推出标志着对安全性与鲁棒性评估的前沿探索。该数据集聚焦于非结构化交通与恶劣天气条件下的场景分割，通过提供5000对高质量RGB与近红外图像对，并引入四级标签层次结构，有效捕捉了雨、雾、低光及雪天等复杂环境中的动态元素。其创新性体现在提出了“安全平均交并比”这一新评估指标，该指标基于标签层次结构中的树距离对危险误分类进行惩罚，从而更精准地反映自动驾驶场景中的安全关切。当前研究热点围绕多模态数据融合、层次化语义分割模型的优化，以及如何将安全指标整合至损失函数设计之中，以推动在极端条件下的可靠感知系统发展。

相关研究论文

• IDD-AW: A Benchmark for Safe and Robust Segmentation of Drive Scenes in Unstructured Traffic and Adverse Weather

  机器学习实验室，IIIT海得拉巴 2. DYSL-AI，DRDO · 2023年