DELIVER

DELIVER数据集是由香港科技大学（广州）、因萨特大学索菲亚和香港科技大学计算机科学与工程系的研究人员创建的多模态数据集。该数据集包含了深度、激光雷达、多视角、事件和RGB图像，涵盖了五种天气条件（多云、雾天、夜间、雨天和晴天）以及五种角落案例（运动模糊、过曝光、欠曝光、激光雷达抖动和事件低分辨率）。这些数据反映了真实世界传感器性能的挑战。该数据集旨在评估多模态语义分割模型在真实世界自动驾驶场景下的性能和鲁棒性。The DELIVER Dataset is a multimodal dataset created by researchers from The Hong Kong University of Science and Technology (Guangzhou), Insaat University Sophia, and the Department of Computer Science and Engineering of the Hong Kong University of Science and Technology. It contains depth, LiDAR, multi-view, event, and RGB images, covering five weather conditions (cloudy, foggy, nighttime, rainy, and sunny) as well as five corner cases (motion blur, overexposure, underexposure, LiDAR jitter, and event low resolution). These data reflect the challenges of real-world sensor performance. This dataset is designed to evaluate the performance and robustness of multimodal semantic segmentation models in real-world autonomous driving scenarios.

搜集汇总

数据集介绍

构建方式

DELIVER数据集通过CARLA仿真平台构建，模拟了自动驾驶场景下的多模态数据采集。研究团队精心设计了五种天气条件（晴天、阴天、雾天、雨天和夜间）及五种极端场景（运动模糊、过曝、欠曝、LiDAR抖动和事件低分辨率），以全面覆盖现实世界中的传感器性能挑战。数据集包含深度、LiDAR、多视角、事件和RGB图像等多种模态，每个样本提供六种视角，并配备语义分割和实例分割两种标注类型，构建了一个包含25个语义类别的丰富多传感器数据集。

特点

DELIVER数据集以其多模态性和环境多样性著称，特别强调对传感器失效场景的覆盖。该数据集创新性地引入了三种传感器失效模式：完全缺失模态（EMM）、随机缺失模态（RMM）和噪声模态（NM），为评估多模态语义分割模型的鲁棒性提供了系统化测试基准。其独特的概率建模方法（伯努利分布假设和等概率损伤组合）进一步提升了评估的科学性，而包含的极端天气和异常场景数据则显著增强了数据集的现实意义。

使用方法

使用DELIVER数据集时，研究者可通过四种创新指标（mIoUAvg EMM、mIoU E EMM、mIoUAvg RMM和mIoU E RMM）系统评估模型性能。评估流程包含三个阶段：首先在完整模态组合上训练模型权重，随后分别在EMM（零值替换缺失模态）、RMM（随机部分零值）和NM（添加高斯/椒盐噪声）条件下验证。特别地，对于RMM场景需设置不同缺失比例（r=0.25/0.5/0.75），而NM评估则需区分RGB与非RGB模态的噪声处理方式。数据集支持端到端的鲁棒性测试流程，其多视角设计还允许进行跨视角一致性分析。

背景与挑战

背景概述

DELIVER数据集由香港科技大学（广州）等机构的研究团队于2023年提出，旨在推动多模态语义分割（MMSS）领域的研究。该数据集通过CARLA模拟器生成，涵盖了深度、LiDAR、多视角、事件和RGB图像等多种模态数据，并在五种天气条件下采集，包括多云、雾天、夜间、雨天和晴天。DELIVER特别关注自动驾驶场景中的多模态数据融合问题，提供了25个语义类别的标注，为研究多模态语义分割在复杂环境下的鲁棒性提供了重要基准。该数据集的推出填补了多模态语义分割在传感器失效和噪声干扰条件下评估的空白，对推动自动驾驶和机器人视觉等领域的发展具有重要意义。

当前挑战

DELIVER数据集面临的挑战主要体现在两个方面：首先，在解决领域问题方面，多模态语义分割模型需要应对传感器数据缺失或噪声干扰的复杂情况，包括完全缺失模态（EMM）、随机缺失模态（RMM）和噪声模态（NM）等场景。这些挑战要求模型具备强大的鲁棒性和自适应能力。其次，在构建数据集过程中，研究团队需要模拟真实世界中的传感器失效和噪声干扰，确保数据集的多样性和真实性，同时保持标注的一致性和准确性。此外，如何设计合理的评估指标（如mIoUAvg EMM、mIoU E EMM等）以全面衡量模型在不同失效场景下的性能，也是构建过程中的重要挑战。

常用场景

经典使用场景

DELIVER数据集在多模态语义分割领域中被广泛用于评估模型在传感器失效情况下的鲁棒性。该数据集通过模拟不同天气条件和极端情况（如运动模糊、过曝、欠曝等），为研究者提供了一个全面的测试平台。其经典使用场景包括评估模型在缺失模态（EMM）、随机缺失模态（RMM）和噪声模态（NM）条件下的性能表现。

解决学术问题

DELIVER数据集解决了多模态语义分割研究中缺乏标准化鲁棒性评估的问题。通过提供多样化的模态组合和极端条件数据，该数据集帮助研究者量化模型在传感器失效或数据质量下降时的性能退化。其提出的四种评估指标（mIoUAvg EMM、mIoU E EMM、mIoUAvg RMM、mIoU E RMM）为领域建立了首个系统性的鲁棒性评估框架，填补了理论研究与实际部署间的关键鸿沟。

衍生相关工作

基于DELIVER数据集，研究者们开发了多种创新性方法：MAGIC系列工作提出了动态模态选择机制，CMNeXt探索了自查询特征融合架构，GeminiFusion实现了基于视觉Transformer的像素级多模态融合。这些衍生工作不仅推进了模态缺失场景下的分割性能，还催生了新的研究方向如概率化模态失效建模和跨模态知识蒸馏，持续推动着多模态鲁棒性研究的边界。