CARLA, nuScenes, UGV

本文构建了三种数据集：CARLA数据集，通过CARLA模拟器生成，包含多个配备LiDAR和相机传感器的模拟代理；nuScenes数据集，包含大规模的LiDAR扫描和对象注释；UGV数据集，通过实际部署的无人地面车辆收集，具有静态和动态遮挡的挑战性条件。这些数据集支持视场估计的研究，并为评估FOV估计算法在对抗环境下的鲁棒性提供了基准。

In this paper, three datasets are constructed:
1. The CARLA dataset: generated via the CARLA simulator, which contains multiple simulated agents equipped with LiDAR and camera sensors;
2. The nuScenes dataset: comprising large-scale LiDAR scans and object annotations;
3. The UGV dataset: collected using a field-deployed unmanned ground vehicle, with challenging scenarios involving static and dynamic occlusions.

These datasets support research on field of view (FOV) estimation and provide benchmarks for evaluating the robustness of FOV estimation algorithms under adversarial environments.

搜集汇总

数据集介绍

构建方式

该数据集的构建方式基于计算机图形学算法，包括光线追踪和凹多边形估计。这些算法从激光雷达点云数据中估计视场，并生成带有视场标签的真实数据集。数据集由CARLA模拟器生成的数据、nuScenes数据集以及一个定制的无人地面车辆（UGV）数据组成，涵盖了室内外环境，包括不同程度的遮挡。FOV估计算法在后处理中运行，生成高质量的视场数据，可用于激光雷达、雷达和基于摄像头的传感器的视场估计。

特点

该数据集的特点包括：1）首次实现了使用光线追踪和凹多边形算法进行视场估计；2）创建了第一个从最先进的模拟和真实世界感知数据中派生的视场数据集；3）展示了传统视场模型在对抗性攻击下的脆弱性；4）开发了一种基于学习的、鲁棒的视场估计方法，使用分割神经网络；5）集成了蒙特卡洛dropout（MCD）进行不确定性感知的视场估计和异常检测。

使用方法

该数据集可用于评估视场估计算法的性能，并支持在新型环境中的评估。数据集和代码已开源，可供研究人员使用。FOV估计算法可应用于多传感器融合，以提高自主车辆的安全性和可靠性。通过将视场估计集成到实时多智能体机器人传感器融合流程中，可以实现信息共享和一致性检查，从而提高协作态势感知能力。

背景与挑战

背景概述

在自动驾驶汽车领域，感知和情境感知是确保车辆安全行驶的关键因素。然而，传统的传感器融合方法在对抗性攻击面前显得脆弱，特别是在缺乏准确视野（FOV）估计的情况下。为了解决这个问题，研究人员采用了经典的计算机图形算法，开发了第一个与自主性相关的FOV估计器，并创建了第一个带有真实FOV标签的数据集。这些数据集包括来自nuScenes、CARLA模拟器和自定义无人地面车辆（UGV）的多样化室内外场景。通过这些数据集，研究人员评估了FOV估计器在对抗性环境中的性能，并发现了传统算法的易受攻击性。为了提高FOV估计的鲁棒性，研究人员提出了一种基于学习的分割模型，该模型能够捕获FOV特征，集成蒙特卡洛 dropout（MCD）进行不确定性量化，并在置信图上进行异常检测。通过全面的评估，研究人员展示了该模型在对抗性攻击下的抵抗力和在多种环境中的强泛化能力。此外，架构研究证明了该模型在多个应用程序中的实时部署可行性。

当前挑战

该数据集和相关研究面临的挑战包括：1)解决领域问题，即提高自动驾驶汽车在对抗性环境中的安全性和可靠性；2)构建过程中遇到的挑战，如创建具有真实FOV标签的多样化数据集，并开发能够在对抗性攻击下保持鲁棒性的FOV估计模型。

常用场景

经典使用场景

在自动驾驶车辆（AVs）中，感知和跟踪的安全性受到威胁，安全感知传感器融合策略需要准确的环境视野（FOV）估计。为了评估FOV估计器的性能，我们创建了第一个具有地面真实FOV标签的数据集，并将其应用于评估FOV估计器在自动驾驶车辆中的性能。通过使用这些数据集，我们可以对FOV估计器进行评估，并确定它们在自动驾驶车辆中的适用性。

衍生相关工作

该数据集衍生了基于学习的FOV估计方法、基于蒙特卡洛丢弃（MCD）的不确定性FOV估计和异常检测方法。基于学习的FOV估计方法可以提高FOV估计对对抗性攻击的鲁棒性，而基于MCD的不确定性FOV估计和异常检测方法可以提供FOV估计的不确定性度量，从而提高FOV估计的可靠性和安全性。这些衍生工作为FOV估计的研究和应用提供了新的思路和方法。

数据集最近研究

最新研究方向

在自动驾驶领域，感知系统的鲁棒性是保障车辆安全的关键。针对感知系统易受攻击的问题，研究人员开发了一系列安全感知融合策略，这些策略依赖于对传感器视场（FOV）的准确估计。然而，传统的FOV估计方法在面对对抗性攻击时表现出显著的脆弱性。为了提高FOV估计的鲁棒性，研究提出了基于学习的分割模型，该模型能够捕捉FOV特征，并集成蒙特卡洛dropout（MCD）进行不确定性量化，同时进行异常检测。研究结果表明，该模型在对抗性环境中表现出强大的鲁棒性和泛化能力，能够在多种环境下实现实时部署。

相关研究论文

• Probabilistic Segmentation for Robust Field of View Estimation

  杜克大学电气与计算机工程系 · 2025年