Spotting the Unexpected (STU)

STU数据集是一个专为自动驾驶中的异常分割任务设计的3D激光雷达数据集。该数据集包含语义和实例标签，用于标记分布外的（OOD）对象，并包括具有同步相机的环绕视图设置。数据集在具有挑战性的环境中收集了多个高分辨率激光雷达序列，每个异常对象都有点级标签。数据集包含农村和城市环境中的数据，以及公共道路上发现的现实世界异常。此外，还标注了无异常的额外序列，以评估分布内性能，并确保与SemanticKITTI数据集之间的领域差距较小。

The STU Dataset is a 3D LiDAR dataset specifically tailored for the anomaly segmentation task in autonomous driving. It provides both semantic and instance labels for marking out-of-distribution (OOD) objects, and adopts a surround-view configuration with synchronized cameras. Multiple high-resolution LiDAR sequences are collected in challenging real-world environments, where each anomalous object is annotated with point-level labels. The dataset includes data from both rural and urban scenarios, as well as real-world anomalous objects encountered on public roads. Additionally, supplementary anomaly-free sequences are annotated to evaluate in-distribution model performance and minimize the domain gap relative to the SemanticKITTI dataset.

原始信息汇总

Spotting the Unexpected (STU): A 3D LiDAR Dataset for Anomaly Segmentation in Autonomous Driving

数据集概述

• 标题: Spotting the Unexpected (STU): A 3D LiDAR Dataset for Anomaly Segmentation in Autonomous Driving
• 作者: Alexey Nekrasov, Malcolm Burdorf, Stewart Worrall, Bastian Leibe Julie Stephany Berrio Perez
• 机构: RWTH Aachen University, The University of Sydney
• 会议: CVPR 2025
• 许可证: MIT license

数据集内容

• 数据格式: 遵循SemanticKITTI格式

• 目录结构:

  |── 125/ | ├── poses.txt | ├── calib.txt | ├── labels/ | │ ├ 000000.label | │ └ 000001.label | . | | | └── velodyne/ | ├ 000000.bin | └ 000001.bin . . └── 134/

评估代码

• 点级异常分割评估: bash python compute_point_level_ood.py --data-dir stu_dataset/val --pred-dir ./prediction

• 对象级异常分割评估: bash python compute_object_level_ood.py --data-dir stu_dataset/val --instance-dir ./instance_prediction

引用

bibtex @inproceedings{nekrasov2025stu, title = {{Spotting the Unexpected (STU): A 3D LiDAR Dataset for Anomaly Segmentation in Autonomous Driving}}, author = {Nekrasov, Alexey and Burdorf, Malcolm and Worrall, Stewart and Leibe, Bastian and Julie Stephany Berrio Perez}, booktitle = {{"Conference on Computer Vision and Pattern Recognition (CVPR)"}}, year = {2025} }

相关资源

• 项目网页: [Project Webpage]
• PANOPTIC-CUDAL数据集: [Panoptic-CUDAL]

其他信息

• Stars: 9
• Watchers: 2
• Forks: 0
• 主要语言: Python (100.0%)

搜集汇总

数据集介绍

构建方式

STU数据集通过精心设计的实验平台构建，该平台搭载了8个硬件触发的摄像头和一台高分辨率LiDAR传感器，确保数据采集的同步性。数据采集分为自然环境和控制环境两种场景，前者记录公共道路上出现的异常物体，后者则在安全条件下人为放置各类异常物体。采集后的数据经过点云配准和图像匿名化处理，确保数据质量和隐私安全。标注过程采用SemanticKITTI标注工具，通过预训练模型生成伪标签，并由专业标注团队进行精细化标注，确保异常物体和正常物体的精确区分。

特点

STU数据集是首个专注于自动驾驶场景中3D异常分割的公开数据集，具有高分辨率的LiDAR点云和同步的多视角图像数据。数据集包含丰富的异常物体实例，覆盖城市和乡村多种驾驶环境，异常物体的标注精确到点和实例级别。此外，数据集还提供了无异常的序列用于模型训练和验证，以减少与现有数据集（如SemanticKITTI）的领域差距。STU数据集的独特之处在于其全面的传感器配置和高质量的标注，为3D异常检测研究提供了宝贵的资源。

使用方法

STU数据集适用于评估自动驾驶中的3D异常分割算法。研究人员可以使用该数据集训练和测试模型在复杂驾驶场景中检测和分割异常物体的能力。数据集提供了点级和实例级的标注，支持多种评估指标，如AUROC、FPR@95和AP。此外，数据集的多模态特性（LiDAR和摄像头数据）允许开发融合多传感器信息的先进算法。使用STU数据集时，建议结合SemanticKITTI等现有数据集进行联合训练，以提升模型的泛化性能。

背景与挑战

背景概述

Spotting the Unexpected (STU) 数据集由RWTH Aachen University和The University of Sydney的研究团队于2025年提出，旨在解决自动驾驶领域中异常分割的关键问题。该数据集首次提供了密集的3D语义标注，结合了LiDAR和相机数据，并包含序列信息以支持不同范围内的异常检测。STU数据集专注于道路异常分割，填补了现有数据集在3D异常检测方面的空白，为自动驾驶车辆的安全导航提供了重要支持。其影响力体现在推动了3D异常检测方法的研究，并为相关领域提供了首个公开的高质量多模态异常分割基准。

当前挑战

STU数据集面临的挑战主要包括两方面：领域问题的挑战和构建过程的挑战。在领域问题方面，自动驾驶中的异常分割需要处理高度变化的异常物体（如道路碎片），这些物体在大小、形状和外观上差异巨大，且出现频率低但危害性高。现有方法在3D点云中检测此类异常时面临类极度不平衡问题（异常点仅占0.03%）。在构建过程中，数据采集需在自然驾驶和受控环境下安全进行，涉及复杂的多传感器同步校准；标注过程需要处理LiDAR点云的稀疏性和远距离分辨率下降问题，同时确保异常标注与训练集类别无交叉。此外，点云标注需要人工验证每个点的类别（异常/正常/未标注），工作量巨大且需保持标注一致性。

常用场景

经典使用场景

STU数据集在自动驾驶领域中被广泛用于3D异常分割任务的研究。该数据集通过高分辨率LiDAR和同步摄像头采集的多模态数据，为研究者提供了丰富的道路异常物体标注信息。在经典使用场景中，研究者利用STU数据集开发和评估3D点云中的异常检测算法，特别是在复杂城市和乡村环境中识别道路上的意外物体，如垃圾、家具或其他障碍物。

实际应用

在实际应用中，STU数据集被用于提升自动驾驶车辆的安全性能。通过训练和测试基于该数据集的模型，车辆能够更准确地检测道路上的异常物体，如掉落的货物或临时障碍物，从而及时采取避障措施。此外，该数据集还被用于验证多模态传感器融合算法的有效性，为自动驾驶系统的实际部署提供技术支持。

衍生相关工作

STU数据集推动了多项相关研究工作的开展。基于该数据集，研究者提出了多种3D异常分割算法，如基于Mask4Former-3D的改进模型和深度集成方法。此外，STU还被用于评估跨模态异常检测方法的性能，促进了LiDAR与摄像头数据融合技术的研究。这些工作不仅扩展了数据集的应用范围，也为自动驾驶领域的异常检测研究提供了新的方向。