RaidaR

RaidaR是一个为自动驾驶研究提供支持的丰富注释图像数据集，专注于雨天街道场景。该数据集包含迄今为止最大数量的雨天街道场景图像（58,542张），其中5,000张提供语义分割，3,658张提供对象实例分割。RaidaR图像涵盖了广泛的现实雨天引起的伪影，包括雾、水滴和道路反射，有效增强现有街道场景数据集，以改善雨天天气下的数据驱动机器感知。数据集通过结合手动分割和自动化处理，采用半自动方案进行高效标注，显著减少了标注时间。RaidaR不仅提升了现有分割算法的准确性，还通过引入一种新颖的非配对图像到图像翻译算法，直接受益于其注释数据集，为自动驾驶在恶劣天气条件下的视觉感知任务提供了强有力的数据支持。RaidaR is a richly annotated image dataset supporting autonomous driving research, focusing on rainy street scenes. This dataset contains the largest number of rainy street scene images to date, with a total of 58,542 images, among which 5,000 are provided with semantic segmentation annotations and 3,658 with object instance segmentation annotations. Images in RaidaR cover a wide range of real-world rainy-induced artifacts, including fog, water droplets, and road reflections, effectively augmenting existing street scene datasets to improve data-driven machine perception under rainy weather conditions. The dataset adopts a semi-automatic annotation scheme by combining manual segmentation and automated processing, which significantly reduces annotation time. RaidaR not only improves the accuracy of existing segmentation algorithms, but also directly benefits from its annotated dataset by introducing a novel unpaired image-to-image translation algorithm, providing strong data support for visual perception tasks of autonomous driving under harsh weather conditions.

搜集汇总

数据集介绍

构建方式

RaidaR数据集的构建采用了屋顶安装的摄像头平台，在加拿大温哥华大都会地区的晴天和雨天条件下收集RGB视频。从这些视频中提取了77,437帧图像，其中包含18,895张晴天图像和58,542张雨天图像。为了确保隐私，图像中的人脸和车牌被检测并进行了模糊处理。雨天图像涵盖了多种雨天特征，如雾、水滴和道路反射。为了高效标注大量图像，开发了一种半自动标注方案，结合了手动分割和类似于交叉验证的自动处理，显著减少了标注时间。

使用方法

RaidaR数据集可用于增强现有分割算法的准确性，特别是在雨天条件下的视觉感知任务中。通过数据增强，RaidaR可以提升现有分割算法的性能。此外，该数据集还支持一种新颖的非配对图像到图像转换算法，用于添加或移除雨天特征，直接受益于RaidaR的标注数据。研究人员可以利用RaidaR进行自动驾驶系统的训练，特别是在雨天条件下的语义和实例分割任务中，提升算法的鲁棒性和准确性。

背景与挑战

背景概述

RaidaR数据集由Simon Fraser University、Beihang University和Jilin University的研究团队于2021年提出，旨在支持自动驾驶在恶劣天气条件下的研究。该数据集包含了迄今为止最大规模的雨天街景图像（58,542张），其中5,000张图像提供了语义分割标注，3,658张图像提供了实例分割标注。RaidaR涵盖了多种雨天场景中的真实天气现象，如雾、雨滴和路面反射，能够有效补充现有的街景数据集，提升雨天条件下的机器感知能力。该数据集的发布为自动驾驶领域的研究提供了重要的数据支持，尤其是在雨天条件下的图像分割和去雨算法研究方面具有显著的影响力。

当前挑战

RaidaR数据集在构建过程中面临了多重挑战。首先，雨天条件下的图像采集和处理极为复杂，雨滴、雾气和路面反射等天气现象会导致图像质量下降，增加了标注的难度。其次，数据集的标注工作量巨大，研究团队开发了一种半自动标注方案，结合手动分割和自动化处理，显著减少了标注时间，但仍需大量人工干预以确保标注的准确性。此外，雨天场景的多样性和复杂性也对算法的鲁棒性提出了更高要求，现有的图像分割和去雨算法在雨天条件下的表现往往不尽如人意，RaidaR的引入为这些算法的改进提供了重要的数据基础。

常用场景

经典使用场景

RaidaR数据集在自动驾驶研究中具有广泛的应用，尤其是在雨天场景下的视觉感知任务中。该数据集包含了大量真实的雨天街景图像，涵盖了雨滴、雾气、道路反射等多种雨天特有的视觉干扰。研究人员可以利用这些图像来训练和测试语义分割、实例分割等算法，以提升自动驾驶系统在恶劣天气条件下的感知能力。

解决学术问题

RaidaR数据集解决了自动驾驶领域中的一个关键问题，即在雨天等恶劣天气条件下，视觉感知算法的性能下降问题。通过提供大量带有语义和实例分割标注的雨天图像，RaidaR使得研究人员能够更好地理解和处理雨天场景中的视觉干扰，从而提升算法的鲁棒性和准确性。此外，该数据集还为图像去雨、雨滴去除等任务提供了丰富的训练数据，推动了相关领域的研究进展。

实际应用

RaidaR数据集的实际应用主要集中在自动驾驶系统的开发与测试中。通过使用该数据集，自动驾驶车辆可以在雨天等复杂天气条件下进行更准确的物体检测、道路识别和场景理解。此外，RaidaR还可以用于开发图像增强算法，帮助自动驾驶系统在雨天条件下生成更清晰的视觉输入，从而提高驾驶安全性。

数据集最近研究

最新研究方向

RaidaR数据集作为目前最大的雨天街景图像数据集，为自动驾驶研究提供了丰富的雨天场景数据支持。其最新研究方向主要集中在利用其大规模标注数据提升自动驾驶视觉感知算法在恶劣天气条件下的鲁棒性。通过结合语义分割和实例分割标注，RaidaR不仅能够增强现有数据集的数据多样性，还为去雨滴、去雾等图像修复任务提供了真实场景下的训练数据。此外，RaidaR还推动了基于图像到图像转换的算法研究，特别是在雨天与晴天场景之间的无监督转换方面，展示了其在数据增强和图像修复中的潜力。这些研究方向的进展不仅提升了自动驾驶系统在复杂天气条件下的感知能力，也为计算机视觉领域提供了新的研究范式。

相关研究论文

• RaidaR: A Rich Annotated Image Dataset of Rainy Street Scenes

  西蒙弗雷泽大学 · 2021年