KITTI-C, nuScenes-C, Waymo-C

本数据集由清华大学人工智能研究院与清华大学-博世联合ML中心、THBI实验室、BNRist中心合作创建，旨在为自动驾驶中的3D物体检测任务提供全面的损坏鲁棒性评估。数据集包括KITTI-C、nuScenes-C和Waymo-C三个子集，每个子集包含27种不同类型的损坏，模拟真实驾驶场景中的常见损坏，如恶劣天气、传感器噪声等。数据集的创建过程涉及将这些损坏应用于现有的公共数据集，以生成用于评估3D物体检测模型鲁棒性的大规模损坏数据集。该数据集主要用于解决自动驾驶系统在面对多样化损坏情况时的安全性和可靠性问题，为未来研究开发鲁棒的3D物体检测模型提供见解。

This dataset is collaboratively developed by the Institute of Artificial Intelligence at Tsinghua University, Tsinghua University-Bosch Joint ML Center, THBI Laboratory, and BNRist Center. It aims to provide comprehensive corruption robustness evaluation for 3D object detection tasks in autonomous driving scenarios. The dataset includes three subsets: KITTI-C, nuScenes-C, and Waymo-C. Each subset contains 27 distinct types of corruptions that simulate common real-world driving corruptions such as adverse weather and sensor noise. The dataset creation process involves applying these corruptions to existing public datasets to generate a large-scale corruption dataset for evaluating the robustness of 3D object detection models. This dataset is primarily intended to address the safety and reliability concerns of autonomous driving systems when exposed to diverse corruptions, and offers valuable insights for future research on developing robust 3D object detection models.

搜集汇总

数据集介绍

构建方式

本研究针对自动驾驶中3D目标检测任务的鲁棒性问题，设计了27种常见的LiDAR和相机输入数据损坏类型，并基于公开数据集合成这些损坏，构建了KITTI-C、nuScenes-C和Waymo-C三个数据集。这些损坏类型被分为天气、传感器、运动、物体和对齐级别，涵盖了大多数现实世界中的损坏情况。每个损坏类型都有五个严重程度，共计135种不同的损坏。通过将损坏应用于典型的自动驾驶数据集，本研究建立了三个鲁棒性基准，用于公平和全面地评估3D目标检测模型的损坏鲁棒性。

特点

该数据集的特点包括：1) 包含27种常见的损坏类型，涵盖了天气、传感器、运动、物体和对齐级别，全面反映了自动驾驶场景中的损坏情况；2) 每种损坏类型都有五个严重程度，共计135种不同的损坏，可以评估模型在不同损坏程度下的鲁棒性；3) 基于公开数据集合成损坏，保持了数据集的真实性和可靠性；4) 包含了多种类型的3D目标检测模型，包括LiDAR-only、camera-only和LiDAR-camera fusion模型，可以评估不同类型模型的鲁棒性。

使用方法

使用该数据集时，首先需要了解数据集中的损坏类型和严重程度，并根据研究需求选择合适的模型进行评估。其次，可以使用数据集中的评估指标，如平均精度（AP）和相对损坏误差（RCE），来评估模型的损坏鲁棒性。最后，可以分析不同损坏类型对模型性能的影响，以及不同类型模型在不同损坏类型下的表现，从而了解模型的鲁棒性特点。

背景与挑战

背景概述

三维物体检测是自动驾驶中感知周围环境的重要任务。现有的三维检测器虽然在性能上表现出色，但缺乏对现实世界中的不利天气、传感器噪声等造成的损坏的鲁棒性，这引发了人们对自动驾驶系统安全性和可靠性的担忧。为了全面、严格地评估三维检测器的损坏鲁棒性，本文设计了27种针对激光雷达和相机输入的常见损坏类型，这些损坏类型考虑了现实世界的驾驶场景。通过将这些损坏类型合成到公开数据集上，我们建立了三个损坏鲁棒性基准——KITTI-C、nuScenes-C和Waymo-C。然后，我们在24个不同的三维物体检测模型上进行了大规模实验，以评估它们的损坏鲁棒性。基于评估结果，我们得出了一些重要发现，包括：1)运动级损坏是对所有模型性能下降最具威胁的损坏；2)激光雷达-相机融合模型表现出更好的鲁棒性；3)仅相机模型对图像损坏极其脆弱，显示了激光雷达点云的不可或缺性。我们在https://github.com/kkkcx/3D_Corruptions_AD发布了基准和代码。我们希望我们的基准和发现可以为未来开发鲁棒的三维物体检测研究提供见解。

当前挑战

三维物体检测在自动驾驶中至关重要，但现有的基于数据驱动的深度学习模型往往难以泛化到由不利天气、传感器噪声和罕见物体等造成的损坏数据，这对安全可靠的自动驾驶构成了巨大障碍。为了进行鲁棒性评估，最近的研究构建了新的道路异常数据集或在极端天气条件下的数据集，但由于数据收集成本高和边缘案例或不利天气的罕见性，这些数据集通常规模较小。其他研究在干净的数据集上合成常见的损坏类型，以对图像分类和点云识别进行基准测试，但这些研究只考虑了几种简单的损坏类型，这对于三维物体检测来说可能不足且不现实。因此，全面表征不同损坏并公平评估现有模型在一个统一框架内的损坏鲁棒性仍然是一个挑战。

常用场景

经典使用场景

在自动驾驶领域，三维目标检测是感知周围环境的关键任务。现有的三维检测器在恶劣天气、传感器噪声等现实世界情况下的鲁棒性不足，这引发了对自动驾驶系统安全性和可靠性的担忧。为了全面且严格地评估三维检测器的鲁棒性，研究人员设计了27种常见的数据损坏类型，包括天气、传感器、运动、物体和配准级别。通过将这些损坏类型合成到公开数据集上，建立了三个鲁棒性基准数据集：KITTI-C、nuScenes-C和Waymo-C。这些数据集为评估现有三维检测器的鲁棒性提供了基准，并促进了未来鲁棒三维目标检测模型的研究。

解决学术问题

该数据集解决了自动驾驶领域三维检测器鲁棒性评估的难题。现有的三维检测器在现实世界的数据损坏情况下泛化能力差，这给自动驾驶的安全性带来了挑战。该数据集通过合成27种常见的数据损坏类型，全面评估了现有三维检测器的鲁棒性，为未来鲁棒三维目标检测模型的研究提供了重要参考。

衍生相关工作

该数据集衍生了许多相关的工作。例如，一些研究人员利用该数据集评估了不同类型的三维检测器的鲁棒性，并分析了不同损坏类型对模型性能的影响。此外，一些研究人员还利用该数据集开发了一些鲁棒性增强技术，以提高三维检测器在现实世界中的鲁棒性。这些工作为自动驾驶领域三维目标检测的研究提供了重要参考。