SemanticSpray++

SemanticSpray++数据集由乌尔姆大学测量、控制及微技术研究所创建，专注于自动驾驶在湿滑路面条件下的多模态数据标注。该数据集包含36个场景，涵盖不同速度和车辆距离，提供相机、激光雷达和雷达的数据标注，包括2D边界框、3D边界框和雷达目标的语义标签。创建过程中，数据集基于RoadSpray数据集，通过增加标注扩展了其功能。SemanticSpray++数据集主要用于评估和改进自动驾驶系统在湿滑路面条件下的感知能力，解决现有数据集中缺乏此类条件下多模态标注的问题。The SemanticSpray++ dataset was developed by the Institute of Measurement, Control and Microtechnology at Ulm University, focusing on multi-modal data annotation for autonomous driving under slippery road conditions. This dataset comprises 36 scenarios covering various driving speeds and inter-vehicle distances, and provides annotated data from cameras, LiDAR and radar sensors, including 2D bounding boxes, 3D bounding boxes and semantic labels for radar targets. Built upon the original RoadSpray dataset, its functionality was expanded by adding additional annotations during the development process. The SemanticSpray++ dataset is primarily designed to evaluate and enhance the perception capabilities of autonomous driving systems under slippery road conditions, addressing the gap in existing datasets that lack multi-modal annotations for such scenarios.

搜集汇总

数据集介绍

构建方式

在自动驾驶领域，恶劣天气条件对感知系统构成严峻挑战，SemanticSpray++数据集正是为应对湿滑路面条件下的感知评估而构建。该数据集基于RoadSpray数据集中的原始未标注数据，从中选取了36个场景，覆盖不同车速和车辆间距的湿滑路面场景。数据构建过程涉及从ROS格式的原始数据中提取相机、激光雷达和雷达数据，并以激光雷达作为同步信号进行对齐。标注工作包括为激光雷达点云提供三维边界框和语义标签，为相机图像提供二维边界框，并为雷达目标提供语义标签。针对相机图像中因雨刮器遮挡、水雾模糊或局部过曝导致的车辆不可见问题，采用了帧间插值方法进行边界框标注，确保了标注的完整性和准确性。

特点

SemanticSpray++数据集的核心特点在于其多模态标注的全面性与针对性。该数据集首次在湿滑路面条件下同步提供了相机、激光雷达和雷达三种传感器的标注信息，包括相机图像的二维边界框、激光雷达点云的三维边界框与语义分割标签，以及雷达目标的语义标签。这种多模态标注体系为研究不同感知方法在喷雾效应下的性能退化提供了统一基准。数据集场景设计科学，模拟高速公路环境，涵盖了20至30米的车辆间距以及50至130公里/小时的车速范围，并区分小型轿车和大型货车两种前导车型，系统化地捕捉了喷雾效应随速度和车型的变化。此外，数据集还提供了丰富的标注统计信息与配套工具包，支持多种标注格式转换，并集成了OpenPCDet和SPVCNN等主流框架的数据加载器，极大便利了研究人员的评估与比较工作。

使用方法

该数据集主要用于评估自动驾驶感知算法在湿滑路面喷雾条件下的鲁棒性。研究人员可利用其多模态标注，分别或联合测试二维/三维目标检测、激光雷达语义分割等任务的性能。具体而言，对于三维目标检测，可使用提供的三维边界框标注，评估如PointPillars、SECOND、CenterPoint等模型在含噪声点云中的表现；对于二维目标检测，可利用相机图像的二维边界框，测试YOLO等模型在图像模糊、遮挡或过曝情况下的性能，并可结合ByteTrack或BoT-SORT等跟踪器提升时序稳定性。对于语义分割任务，激光雷达点云的语义标签可用于分析噪声点（如喷雾）被误分类的模式。数据集提供的PyTorch数据加载器与格式转换脚本，能便捷地接入现有训练与评估流程。通过在该数据集上进行基准测试与微调实验，能够深入揭示喷雾对多传感器感知的具体影响，推动恶劣天气条件下鲁棒感知算法的研发。

背景与挑战

背景概述

随着自动驾驶技术的迅猛发展，多模态感知系统在复杂环境中的鲁棒性成为关键研究课题。SemanticSpray++数据集由乌尔姆大学测量、控制与微技术研究所与宝马公司于2023年联合创建，旨在应对湿滑路面条件下车辆行驶时产生的飞溅效应对传感器感知的干扰。该数据集基于RoadSpray原始记录，扩展了先前SemanticSpray工作的标注范围，为核心研究问题——恶劣天气下多模态感知系统的性能评估——提供了首个公开的、涵盖相机、激光雷达与雷达全模态标注的测试平台。通过系统化标注不同车速、车型与水面条件下的场景，该数据集显著推动了自动驾驶在真实复杂环境中的可靠性研究，填补了相关领域的数据空白。

当前挑战

在自动驾驶感知领域，湿滑路面引发的飞溅效应构成了独特挑战：相机图像易受水花模糊、局部过曝及雨刷遮挡影响，导致目标漏检；激光雷达点云则因水粒子散射与反射引入大量噪声点，干扰物体三维检测与语义分割；雷达信号在复杂反射环境下难以准确关联语义信息。构建过程中，标注工作面临多模态数据同步与校准的复杂性，尤其在雷达目标语义标注时需依赖半自动方法并辅以人工校验以确保精度。此外，数据集中目标部分或完全遮挡场景的标注需通过帧间插值处理，这要求标注策略具备较高的适应性与准确性，以维持数据的一致性与可用性。

常用场景

经典使用场景

在自动驾驶感知系统的研究中，SemanticSpray++数据集常被用于评估多模态感知算法在湿滑路面条件下的鲁棒性。该数据集通过提供相机、激光雷达和雷达的同步标注数据，为研究者构建了一个模拟高速公路场景的测试平台，其中包含了由前车溅起的水雾所引发的典型干扰。经典应用场景涉及利用这些多模态标注，系统性地分析不同传感器在喷雾效应下的性能退化现象，例如激光雷达点云中的噪声点增加、相机图像的模糊与遮挡等问题，从而推动感知模型在恶劣天气下的适应性研究。

实际应用

在实际应用中，SemanticSpray++数据集为汽车制造商和自动驾驶技术公司提供了关键的验证工具。基于该数据集，企业能够测试并优化其感知系统在雨天湿滑道路上的性能，特别是在处理由车辆溅射引起的水雾干扰时。例如，利用数据集中涵盖的不同车速、车辆类型及水面覆盖程度的场景，工程师可以评估传感器融合策略的有效性，改进目标检测与跟踪算法，从而增强自动驾驶车辆在恶劣天气条件下的可操作性和安全性，降低因感知失效导致的事故风险。

衍生相关工作

SemanticSpray++数据集衍生了一系列聚焦于恶劣天气感知的经典研究工作。基于其前身SemanticSpray和RoadSpray数据集，研究者扩展了多模态标注并进行了基线方法评估，如使用PointPillars、SECOND和CenterPoint进行3D目标检测分析，以及应用YOLOv8结合BoT-SORT进行2D检测与跟踪。这些工作深入探讨了喷雾对感知性能的影响，并推动了域自适应、离群点检测等方法的进展。相关研究还促进了如LS-VOS等虚拟离群点合成技术在激光雷达点云中的应用，为开放世界感知提供了新思路。