Adver-City

Adver-City是由皇后大学计算学院创建的第一个开源多模态协作感知数据集，专注于恶劣天气条件。该数据集包含超过24,000帧和890,000个标注，涵盖110个独特场景，涉及六种不同的天气条件。数据集内容包括来自车辆和路边单元的LiDAR、RGB和语义分割相机、GNSS和IMU数据。创建过程基于CARLA模拟器和OpenCDA框架，场景设计基于真实事故报告，旨在模拟恶劣天气和低能见度条件下的最相关道路配置。该数据集主要用于测试和改进自动驾驶车辆在恶劣天气条件下的感知模型，解决传感器性能下降和物体检测困难的问题。Adver-City is the first open-source multimodal collaborative perception dataset developed by the School of Computing at Queen's University, with a focus on adverse weather conditions. This dataset encompasses over 24,000 frames and 890,000 annotations, covering 110 unique scenarios across six distinct weather conditions. It comprises LiDAR data, RGB camera data, semantic segmentation camera data, GNSS data, and IMU data collected from both vehicles and roadside units. Built upon the CARLA simulator and the OpenCDA framework, the dataset's scenarios are designed based on real-world accident reports, aiming to replicate the most relevant road configurations under adverse weather and low-visibility conditions. This dataset is primarily intended for testing and enhancing perception models for autonomous vehicles in adverse weather environments, addressing the challenges of degraded sensor performance and difficult object detection.

搜集汇总

数据集介绍

构建方式

Adver-City数据集的构建基于CARLA模拟器和OpenCDA框架，通过模拟110种多样化的场景，涵盖六种不同的天气条件：晴天、轻雨、大雨、雾、雾中大雨和首次在合成CP数据集中引入的眩光。每个场景包含三个CAV和两个RSU，配备LiDAR、RGB和语义分割相机、GNSS和IMU等多模态传感器数据。数据集的场景设计灵感来源于美国国家公路交通安全管理局（NHTSA）的真实事故报告，旨在模拟最相关的不利天气和低能见度条件下的道路配置。通过结合11种天气和2种密度级别，数据集生成了110个独特的场景，确保了环境因素的详细对比和模型测试的多样性。

使用方法

Adver-City数据集适用于多种协同感知任务，如对象检测和跟踪、语义分割等。用户可以通过CARLA模拟器和OpenCDA框架访问和扩展数据集，进行模型训练和评估。数据集的开放源代码允许用户根据需要调整天气条件、道路配置和传感器设置，生成新的数据或增强模拟的真实性。通过在Adver-City上进行基准测试，研究人员可以评估模型在不利天气条件下的性能，识别和改进感知算法的不足之处。数据集的开放性和多样性鼓励用户共享研究成果，推动协同感知技术的发展。

背景与挑战

背景概述

Adver-City数据集由Mateus Karvat和Sidney Givigi于2024年创建，旨在解决自动驾驶车辆（AVs）在恶劣天气条件下的感知挑战。该数据集是首个专注于恶劣天气条件的开源协作感知（CP）数据集，通过CARLA模拟器和OpenCDA框架生成。其核心研究问题是如何在恶劣天气条件下提升AVs的感知能力，特别是在雨、雾和眩光等条件下。Adver-City数据集包含超过24,000帧和890,000个标注，涵盖110个独特场景和六种不同的天气条件，对自动驾驶领域的研究具有重要影响。

当前挑战

Adver-City数据集面临的挑战主要集中在两个方面：一是恶劣天气条件对感知模型的影响，如雨、雾和眩光显著降低了多模态目标检测性能，最大降幅达19%；二是数据集构建过程中遇到的挑战，包括如何在模拟环境中准确再现恶劣天气条件，以及如何确保传感器数据在不同天气条件下的可靠性。此外，数据集还需解决场景多样性和对象密度变化带来的检测难度，特别是在高密度场景中，LiDAR和相机结合的检测性能下降更为显著。

常用场景

经典使用场景

Adver-City数据集在自动驾驶领域中扮演着至关重要的角色，特别是在协同感知（Collaborative Perception, CP）的研究中。该数据集通过模拟多种恶劣天气条件下的场景，如大雨、雾霾和眩光，为研究人员提供了一个独特的测试平台。这些场景不仅涵盖了城市和乡村的不同道路配置，还包含了高密度和低密度的物体分布，从而能够全面评估自动驾驶系统在复杂环境中的感知能力。通过使用LiDAR、RGB和语义分割相机等多种传感器数据，Adver-City数据集支持对象检测、跟踪和语义分割等任务，为开发和验证协同感知算法提供了丰富的数据资源。

解决学术问题

Adver-City数据集解决了自动驾驶领域中一个关键的学术问题，即如何在恶劣天气条件下确保自动驾驶车辆的安全性和可靠性。现有的协同感知数据集大多缺乏对恶劣天气条件的模拟，而Adver-City通过引入多种恶劣天气场景，填补了这一空白。这不仅有助于研究人员开发和测试能够在恶劣天气条件下有效工作的感知算法，还为理解传感器在不同天气条件下的性能提供了宝贵的数据支持。此外，该数据集基于真实的交通事故数据设计场景，使得研究结果更具现实意义和应用价值。

实际应用

在实际应用中，Adver-City数据集为自动驾驶车辆的开发和测试提供了重要的支持。通过模拟多种恶劣天气条件下的复杂场景，该数据集帮助工程师和研究人员评估和改进自动驾驶系统在极端环境中的表现。例如，在雨天、雾天或夜间等低能见度条件下，自动驾驶车辆的传感器性能会显著下降，Adver-City数据集能够帮助开发出更鲁棒的感知算法，从而提高车辆的安全性和可靠性。此外，该数据集还支持多传感器融合技术的研究，进一步提升自动驾驶系统的整体性能。

数据集最近研究

最新研究方向

在自动驾驶领域，Adver-City数据集的引入标志着对恶劣天气条件下协同感知研究的重大进展。该数据集通过CARLA模拟器和OpenCDA框架生成，涵盖了六种不同的天气条件，包括首次在合成协同感知数据集中引入的眩光场景。这些多样化的天气条件和复杂的道路配置，为研究如何在恶劣天气下提升自动驾驶车辆的感知能力提供了宝贵的资源。此外，数据集中的高密度和低密度场景设置，进一步增强了模型在不同环境下的适应性和鲁棒性测试。通过这些前沿研究，Adver-City不仅推动了协同感知技术的发展，还为自动驾驶系统在实际应用中的安全性和可靠性提供了重要的实验基础。

相关研究论文

• Adver-City: Open-Source Multi-Modal Dataset for Collaborative Perception Under Adverse Weather Conditions

  皇后大学计算学院 · 2024年