CARLA-OOD

CARLA-OOD 是一个新型的多模态数据集，用于 OOD 分割，包含在多种场景和天气条件下合成的 OOD 对象。该数据集由 CARLA 模拟器生成，旨在解决现实世界中多模态 OOD 分割数据集稀缺的问题。

CARLA-OOD is a novel multimodal dataset for out-of-distribution (OOD) segmentation, which contains synthetic OOD objects generated under diverse scenarios and weather conditions. This dataset is generated via the CARLA simulator, aiming to address the scarcity of multimodal OOD segmentation datasets in real-world scenarios.

原始信息汇总

数据集概述

基本信息

• 数据集名称: FeatureMixing
• 相关论文: Extremely Simple Multimodal Outlier Synthesis for Out-of-Distribution Detection and Segmentation
• 作者:
  • Moru Liu (Technical University of Munich)
  • Hao Dong (ETH Zurich)
  • Jessica Kelly (Fraunhofer IKS)
  • Olga Fink (EPFL)
  • Mario Trapp (Technical University of Munich, Fraunhofer IKS)
• 发表年份: 2025

数据集描述

• 方法: Feature Mixing随机选择每个模态中的N个特征维度进行交换，生成新的特征，然后将这些特征连接起来形成多模态异常特征。
• 应用领域: 用于分布外检测和分割。

代码与数据

• 状态: 代码和数据集即将发布。

引用

bibtex @article{liu2025fm, title={Extremely Simple Multimodal Outlier Synthesis for Out-of-Distribution Detection and Segmentation}, author={Liu, Moru and Dong, Hao and Kelly, Jessica and Fink, Olga and Trapp, Mario}, journal={arXiv preprint arXiv:2505.16985}, year={2025} }

搜集汇总

数据集介绍

构建方式

CARLA-OOD数据集是通过CARLA模拟器生成的，旨在为多模态OOD（Out-of-Distribution）检测和分割任务提供多样化的合成数据。该数据集包含245个样本，涵盖了多种场景和天气条件，并随机放置了34种异常物体作为OOD对象。数据生成过程中，RGB图像、LiDAR点云和3D语义分割标签被同步采集，确保了多模态数据的一致性和丰富性。此外，数据集的设计特别考虑了语义和协变量偏移，以模拟真实世界中的复杂环境。

特点

CARLA-OOD数据集的主要特点在于其多模态性和多样性。首先，数据集提供了RGB图像和LiDAR点云的双模态数据，为多模态学习提供了丰富的输入。其次，数据集涵盖了多种场景和天气条件，如晴天、雨天、雾天等，增加了数据的复杂性和泛化能力。此外，数据集中的OOD对象经过精心挑选和随机放置，确保了其在语义和空间分布上的多样性。这些特点使得CARLA-OOD成为评估多模态OOD检测和分割算法的理想基准。

使用方法

CARLA-OOD数据集主要用于评估多模态OOD检测和分割算法的性能。研究人员可以使用该数据集训练和测试模型，以验证其在未知物体识别和分割任务中的表现。具体使用时，建议将数据集分为训练集和测试集，并在训练过程中忽略OOD类别的标签，以模拟真实场景中的开放集识别问题。此外，数据集的多模态特性允许研究人员探索不同模态间的互补信息，从而提升模型的鲁棒性和准确性。

背景与挑战

背景概述

CARLA-OOD数据集由Technical University of Munich、ETH Zürich、Fraunhofer IKS和EPFL的研究团队于2025年提出，旨在解决自动驾驶等安全关键领域中机器学习模型的分布外（OOD）检测与分割问题。该数据集通过CARLA模拟器生成，包含多种场景和天气条件下的合成OOD对象，为多模态OOD分割研究提供了重要基准。CARLA-OOD的推出填补了多模态OOD分割数据集的空白，显著推动了计算机视觉领域对未知对象识别的研究。

当前挑战

CARLA-OOD数据集面临的挑战主要包括两方面：一是领域问题的挑战，即如何准确识别和分割训练数据中未出现的未知对象，这对自动驾驶系统的安全性至关重要；二是构建过程中的挑战，包括如何生成多样化的合成OOD对象以覆盖真实场景中的各种异常情况，以及如何确保多模态数据（如LiDAR点云和RGB图像）之间的对齐和一致性。此外，数据集的构建还需考虑不同天气和光照条件对模型性能的影响。

常用场景

经典使用场景

CARLA-OOD数据集在自动驾驶领域的研究中扮演着重要角色，特别是在多模态异常检测和分割任务中。该数据集通过模拟真实世界中的复杂场景和多样天气条件，为研究者提供了一个可控且多样化的测试平台。其经典使用场景包括训练和评估模型在多模态数据（如LiDAR点云和RGB图像）中识别和分割未知对象的能力。

解决学术问题

CARLA-OOD数据集解决了多模态异常检测和分割领域中的关键问题，尤其是缺乏真实世界中的异常数据监督信号的问题。通过提供合成的异常对象和多样化的场景，该数据集帮助研究者克服模型在未知数据上过度自信的预测问题，从而提升模型的泛化能力和鲁棒性。此外，该数据集填补了多模态异常分割数据集稀缺的空白，推动了相关研究的进展。

衍生相关工作

CARLA-OOD数据集衍生了许多相关研究工作，特别是在多模态异常检测和分割领域。例如，基于该数据集的研究提出了Feature Mixing方法，该方法通过简单的特征混合生成多模态异常样本，显著提升了模型的检测性能。此外，该数据集还推动了多模态融合技术和跨模态训练策略的发展，为后续研究提供了重要的基准和参考。