WEDGE

WEDGE数据集是由卡内基梅隆大学的研究团队基于DALL-E生成模型创建的，旨在提升自动驾驶系统在极端天气条件下的感知能力。该数据集包含3360张合成图像，覆盖16种不同的极端天气场景，如雪、雨、雾等，每种天气类别包含210张图像。数据集通过精心设计的提示（prompts）生成，确保图像内容与天气条件紧密相关，并提供了详细的2D边界框标注，支持物体检测和天气分类任务。WEDGE数据集的应用领域主要集中在提升自动驾驶车辆在复杂天气环境下的感知和决策能力，解决现有数据集在极端天气条件下表现不足的问题。The WEDGE dataset was developed by a research team from Carnegie Mellon University using the DALL-E generative model, with the goal of enhancing the perception capabilities of autonomous driving systems under extreme weather conditions. This dataset comprises 3,360 synthetic images covering 16 distinct extreme weather scenarios including snow, rain, fog, and others, with 210 images for each weather category. Generated through carefully crafted prompts, the dataset ensures that the image content is closely tied to the corresponding weather conditions, and is equipped with detailed 2D bounding box annotations to support object detection and weather classification tasks. The primary application scope of the WEDGE dataset lies in improving the perception and decision-making abilities of autonomous vehicles in complex weather environments, addressing the limitations of existing datasets when operating under extreme weather conditions.

搜集汇总

数据集介绍

构建方式

WEDGE数据集通过利用生成视觉语言模型（VLM）构建，具体使用DALL-E模型生成。该数据集包含3360张图像，涵盖16种极端天气条件，每张图像均经过手动标注，包含16513个边界框。生成过程通过向DALL-E模型提供特定格式的提示（如“{Objects} on {scenes} when {weather condition}”）来实现，确保了图像的多样性和真实感。

特点

WEDGE数据集的主要特点在于其极端天气条件的多样性和图像的真实感。通过生成模型生成的图像，不仅覆盖了从雪天到沙尘暴等多种天气，还确保了图像的高质量和对自动驾驶感知任务的适用性。此外，数据集的手动标注和丰富的边界框信息为研究提供了坚实的基础。

使用方法

WEDGE数据集可用于天气分类和2D物体检测任务的研究。研究者可以通过该数据集训练和微调现有的物体检测模型，以提高模型在极端天气条件下的性能。数据集的公开性和详细的标注信息使其成为评估和提升自动驾驶系统在复杂天气条件下感知能力的理想工具。

背景与挑战

背景概述

WEDGE数据集由卡内基梅隆大学和Symbiosis国际大学的研究人员于2023年创建，旨在解决自动驾驶感知系统在极端天气条件下的鲁棒性问题。该数据集利用生成式视觉语言模型（如DALL-E）生成3360张图像，涵盖16种极端天气条件，并手动标注了16513个边界框，支持天气分类和2D物体检测任务。WEDGE的引入填补了现有数据集在极端天气条件下的不足，为自动驾驶领域的研究提供了宝贵的资源，显著提升了模型在真实世界天气基准测试中的表现。

当前挑战

WEDGE数据集在构建过程中面临多重挑战。首先，极端天气条件下的数据采集成本高且危险，自然环境中的低频事件使得手动数据收集变得困难。其次，现有数据集在极端天气条件下的覆盖不足，导致模型在实际应用中的性能下降。此外，生成式模型在模拟极端天气条件时存在Sim2Real域差距，影响模型的泛化能力。WEDGE通过生成式模型克服了这些挑战，但其生成的图像仍需进一步验证其真实性和适用性，以确保模型训练的有效性。

常用场景

经典使用场景

WEDGE数据集的经典使用场景主要集中在自动驾驶领域，特别是在极端天气条件下的感知任务。该数据集通过生成模型生成了3360张图像，涵盖16种极端天气条件，并手动标注了16513个边界框，支持天气分类和2D物体检测任务。研究人员利用WEDGE数据集进行模型训练和微调，以提高自动驾驶系统在恶劣天气下的物体检测和分类性能。

衍生相关工作

WEDGE数据集的发布催生了一系列相关研究工作，特别是在自动驾驶和计算机视觉领域。研究人员利用WEDGE数据集进行了一系列实验，验证了其在极端天气条件下物体检测和分类的有效性。此外，WEDGE还激发了对生成模型在数据集构建中应用的进一步研究，推动了生成对抗网络（GAN）和扩散模型在自动驾驶数据生成中的应用。

数据集最近研究

最新研究方向

在自动驾驶领域，极端天气条件下的感知能力一直是研究的前沿课题。WEDGE数据集通过生成式视觉-语言模型构建，涵盖了16种极端天气条件，为自动驾驶系统在恶劣环境下的表现提供了新的研究视角。该数据集不仅支持天气分类任务，还支持2D物体检测，为提升自动驾驶系统在复杂天气条件下的鲁棒性提供了有力工具。通过在WEDGE数据集上的微调，现有最先进的检测器在真实世界天气基准上的性能得到了显著提升，特别是在卡车检测方面，性能提升了4.48 AP。这一研究方向不仅推动了自动驾驶技术的发展，也为其他依赖于视觉感知的智能系统在复杂环境下的应用提供了借鉴。

相关研究论文

• WEDGE: A multi-weather autonomous driving dataset built from generative vision-language models

  卡内基梅隆大学 · 2023年