MUSES

MUSES数据集是由苏黎世联邦理工学院创建的多传感器语义感知数据集，专为在不确定性下驾驶设计。该数据集包含2500个样本，每个样本包括同步的多模态记录，如2D全景标注的图像，以及正常帧摄像头、激光雷达、雷达、事件摄像头和IMU/GNSS传感器的读数。数据集涵盖了多种天气和光照条件，旨在支持模型训练和评估在多样视觉条件下的性能。MUSES数据集的标注过程采用两阶段协议，能够捕捉类别和实例级别的不确定性，从而支持不确定性感知的全景分割任务，这是该数据集的一个创新点。此外，数据集的应用领域包括多模态密集语义感知研究，以及探索不同传感器在复杂环境下的表现。

The MUSES dataset is a multi-sensor semantic perception dataset created by ETH Zurich, specifically designed for driving under uncertainty. It contains 2500 samples, each of which includes synchronized multimodal recordings, such as 2D panoptically annotated images, as well as readings from regular frame cameras, LiDAR, radar, event cameras, and IMU/GNSS sensors. The dataset covers a variety of weather and lighting conditions, aiming to support model training and performance evaluation under diverse visual conditions. The annotation process of the MUSES dataset adopts a two-stage protocol, which can capture category-level and instance-level uncertainties, thereby supporting uncertainty-aware panoptic segmentation tasks—this is an innovative feature of the dataset. In addition, the application areas of the dataset include multimodal dense semantic perception research, and the exploration of the performance of different sensors in complex environments.

搜集汇总

数据集介绍

构建方式

在自动驾驶语义感知领域，现有数据集常因缺乏多模态数据或未充分利用传感器互补性而难以应对复杂环境。MUSES数据集通过整合五种同步传感器——帧相机、激光雷达、雷达、事件相机及IMU/GNSS模块，构建了覆盖多样化天气与光照条件的多模态数据集合。其核心创新在于两阶段全景标注协议：第一阶段仅基于RGB图像进行初始标注，第二阶段则借助其他传感器数据及正常条件参考序列对标注进行精细化修正。这一流程不仅提升了标注的像素覆盖率，还通过引入类别级与实例级不确定性标注，为不确定性感知的全景分割任务奠定了基础。

特点

MUSES数据集在自动驾驶多模态感知领域展现出显著特色。其首要特点在于全面集成了五种异构传感器，包括高分辨率帧相机、新型MEMS激光雷达、FMCW扫描雷达、高清事件相机及高精度定位单元，提供了丰富的互补性感知信息。数据集包含2500张标注图像，均衡分布于昼夜、雾、雨、雪等多种视觉条件，确保了场景的多样性与挑战性。尤为突出的是，通过两阶段标注流程生成的精细化全景标注不仅覆盖19个语义类别，还额外提供了像素级的三元难度图，分别标识“非困难”、“实例困难”与“类别困难”区域，从而首次支持不确定性感知的全景分割这一新型任务。

使用方法

MUSES数据集为自动驾驶感知研究提供了多维度的应用途径。研究者可利用其进行标准语义分割、实例分割及全景分割任务的模型训练与评估，数据集已公开划分为训练集、验证集与测试集，并支持纯视觉与多模态两种输入模式的基准测试。对于多模态融合研究，各传感器数据经过几何与时间同步校准，可直接用于开发跨模态特征融合算法，以提升模型在恶劣条件下的鲁棒性。此外，数据集配套的难度图为不确定性感知全景分割任务提供了评估依据，研究者可通过预测类别与实例置信度图，并利用新提出的平均不确定性感知全景质量（AUPQ）指标进行模型性能衡量。该数据集亦适用于域自适应与模型泛化能力研究，其高质量的标注与多样化的条件分布为推进稳健的自动驾驶感知系统提供了关键支撑。

背景与挑战

背景概述

自动驾驶领域对鲁棒的语义视觉感知系统存在迫切需求，尤其在复杂天气与光照条件下。现有数据集往往缺乏多传感器融合或难以提供高质量标注，限制了模型在不确定性环境下的性能。为此，苏黎世联邦理工学院的研究团队于2023年推出了MUSES数据集，旨在填补多模态感知在恶劣条件下的研究空白。该数据集包含2500张涵盖昼夜、雨雪雾等多种场景的同步多传感器数据，并创新性地引入双阶段全景标注协议，首次支持不确定性感知的全景分割任务。MUSES通过整合帧相机、激光雷达、雷达、事件相机和IMU/GNSS，为自动驾驶的密集语义感知研究提供了关键基础设施，显著推动了多模态融合与不确定性建模领域的发展。

当前挑战

MUSES数据集致力于解决自动驾驶在恶劣条件下的密集语义感知问题，其核心挑战在于模型需在低信噪比的多模态数据中实现鲁棒的像素级解析。具体而言，数据标注面临双重困难：在雾天或夜间等极端条件下，单靠图像信息难以准确识别物体类别与实例边界，必须依赖激光雷达、事件相机等辅助传感器进行交叉验证；同时，标注过程需量化数据固有的随机不确定性，区分类别级与实例级模糊区域，这对标注协议设计提出了极高要求。构建过程中，多传感器的时间同步与空间标定、海量数据的人工标注质量控制、以及隐私信息处理等技术难题均需克服，这些挑战共同塑造了数据集的独特价值与应用边界。

常用场景

经典使用场景

在自动驾驶语义感知领域，MUSES数据集最经典的使用场景是作为多模态传感器融合算法的训练与评估基准。该数据集集成了帧相机、激光雷达、雷达和事件相机等多种传感器，并覆盖了雾、雨、雪、夜间等多种恶劣天气与光照条件。研究人员利用其同步校准的多模态数据，开发能够鲁棒解析复杂驾驶场景的密集语义分割模型，特别是在传统视觉信号严重退化的区域，通过融合激光雷达的点云结构信息、雷达的天气鲁棒性以及事件相机的高动态范围特性，显著提升模型在不确定性环境下的感知精度与可靠性。

实际应用

MUSES数据集的实际应用直接指向提升全天候自动驾驶系统的环境感知能力。其多模态数据特性可用于开发和验证在实际雨、雪、雾或夜间行驶中仍能保持高精度的感知模块。例如，汽车制造商与算法公司可利用该数据集训练融合激光雷达与雷达的语义分割网络，以在相机视野受限时，依靠雷达的穿透能力检测远处车辆或障碍物。同时，事件相机数据的研究有助于开发低延迟、高动态范围的感知方案，应对强烈光照变化或快速运动场景，最终增强自动驾驶车辆在复杂真实环境中的操作安全性与决策可靠性。

衍生相关工作

围绕MUSES数据集已衍生出多个重要的研究方向与经典工作。在任务层面，其提出的不确定性感知全景分割任务及相应的平均不确定性感知全景质量（AUPQ）度量，为后续研究提供了新的评估范式。在方法层面，基于MUSES的基线实验（如多模态Mask2Former）证明了传感器融合对全景分割性能的普遍提升，激励了更先进的融合架构设计，例如专门针对事件相机或MEMS激光雷达特性的网络模块。此外，数据集的跨域评估实验推动了领域自适应与泛化方法的研究，许多工作开始探索如何利用MUSES的多样性来提升模型在未知环境下的表现。