Occluded nuScenes Dataset

Occluded nuScenes数据集是一个多传感器数据集，旨在评估自动驾驶中的感知鲁棒性。该数据集由多个机构合作创建，基于nuScenes数据集进行扩展，包含了相机、雷达和激光雷达三个传感器的数据。数据集通过引入模拟遮挡和退化，为评估感知模型在传感器部分故障和环境干扰下的性能提供了标准化的评估框架。

The Occluded nuScenes dataset is a multi-sensor dataset designed to evaluate perception robustness in autonomous driving. Developed through collaboration among multiple institutions, it is an extension of the original nuScenes dataset and includes data from three types of sensors: cameras, radars, and LiDARs. By introducing simulated occlusions and degradations, this dataset provides a standardized evaluation framework for assessing the performance of perception models under partial sensor failures and environmental disturbances.

搜集汇总

数据集介绍

构建方式

在自动驾驶多传感器感知研究领域，Occluded nuScenes Dataset通过系统化合成退化方法扩展了经典nuScenes基准。该数据集构建采用参数化遮挡生成流程，针对相机模态预先生成四种遮挡类型（污渍、水雾模糊、划痕、WoodScape污染模式）的全量与精简版本，每种类型设置三个可调节的严重程度等级。对于雷达与激光雷达模态，则提供可配置的脚本工具，分别实现单传感器失效、点云随机丢弃和高斯噪声注入等退化模式，以及区域遮蔽、角度遮蔽和随机丢弃等空间退化策略，确保所有退化过程与原始标注数据保持完全兼容。

使用方法

该数据集支持两种典型应用范式：对于相机模态，用户可直接加载预生成的遮挡图像替代原始数据，通过修改文件路径实现即插即用的模型测试；对于雷达与激光雷达，需运行配套参数化脚本动态生成遮挡数据，通过调整配置文件中的传感器选择、丢弃比例、噪声强度等参数定制退化场景。研究过程中可结合nuScenes原有评估流程，在3D目标检测、语义分割等任务中对比模型在退化前后的性能差异，同时支持多传感器融合架构在部分传感器失效场景下的冗余性分析，为自动驾驶系统的安全验证提供量化依据。

背景与挑战

背景概述

随着自动驾驶技术的快速发展，多传感器感知系统在复杂环境中的鲁棒性成为关键研究课题。Occluded nuScenes Dataset由爱尔兰利默里克大学与Valeo Vision Systems等机构于2025年联合发布，旨在解决现有数据集缺乏可控多模态传感器退化模拟的局限性。该数据集基于广泛使用的nuScenes基准扩展，通过参数化方法在相机、雷达和激光雷达三种模态中引入合成遮挡，为系统评估感知模型在部分传感器失效或环境遮挡条件下的性能提供了标准化平台。

当前挑战

该数据集核心挑战在于模拟真实驾驶场景中多传感器退化的复杂性：针对相机模态需平衡四种遮挡类型（污垢、水模糊、划痕、污染图案）的视觉真实性与参数可控性；雷达与激光雷达点云需在保持几何结构的同时实现传感器故障、随机丢弃和环境噪声的量化注入。构建过程中面临多模态数据同步校准、遮挡效果与原始标注兼容性、以及生成流程可复现性等多重技术难题，需通过高斯滤波、随机变换和物理模型融合确保退化模式的科学性与一致性。

常用场景

经典使用场景

在自动驾驶感知系统的鲁棒性评估领域，Occluded nuScenes Dataset通过模拟多传感器遮挡场景，为研究提供了标准化测试平台。该数据集在经典应用中常被用于验证视觉-雷达-激光雷达融合模型在部分传感器失效时的性能表现，例如通过控制相机镜面的污渍、水滴模糊等四种遮挡类型，以及雷达单传感器失效、点云丢失等参数化退化模式，系统性地量化感知算法在真实驾驶环境中因传感器退化导致的性能衰减。

解决学术问题

该数据集有效解决了多模态感知模型在遮挡条件下泛化能力评估的学术难题。通过提供可复现的传感器退化参数，研究者能够精确分析BEVFusion、TransFusion等融合架构在部分传感器失效时的稳定性缺陷，填补了传统数据集仅关注理想环境性能的空白。其意义在于建立了首个跨相机-雷达-激光雷达的遮挡基准，推动了自动驾驶系统在安全临界场景下的可靠性理论研究。

实际应用

在工程实践中，该数据集被广泛应用于自动驾驶企业的传感器冗余设计验证。通过模拟雷达单点故障、激光雷达区域盲区等典型场景，工程师可量化评估感知系统在极端天气或硬件故障时的失效边界。例如利用角度遮蔽脚本测试车辆前向感知在障碍物遮挡下的响应能力，为实际系统中的故障恢复机制与安全阈值设定提供数据支撑。

数据集最近研究

最新研究方向

在自动驾驶感知系统领域，Occluded nuScenes Dataset作为首个跨相机、雷达与激光雷达模态的可控遮挡数据集，正推动多传感器融合架构的鲁棒性研究。该数据集通过参数化脚本模拟镜头污染、雷达信号丢失及点云空间遮挡等真实场景干扰，为BEVFusion、TransFusion等前沿模型提供了系统性退化测试基准。其可复现的退化机制不仅助力于传感器冗余策略探索，更在极端天气感知、故障容错算法等安全关键方向引发广泛关注，填补了多模态感知可靠性评估的标准化空白。

相关研究论文

• Occluded nuScenes: A Multi-Sensor Dataset for Evaluating Perception Robustness in Automated Driving

  University of Limerick, Lero, The Irish Software Research Centre, Valeo Vision Systems, Queen Mary University of London · 2025年