DSERT-RoLL

DSERT-RoLL是一个用于多样化驾驶条件的鲁棒多模态感知数据集，包含立体事件-RGB-热成像相机、4D雷达和双LiDAR的数据。数据集总大小为269 GB，包含190个序列，共21,679帧，涵盖了多种天气和光照条件。

DSERT-RoLL is a robust multimodal perception dataset tailored for diverse driving conditions, which comprises data from stereo event-RGB-thermal imaging cameras, 4D radar, and dual LiDAR. The total size of the dataset is 269 GB, containing 190 sequences with a total of 21,679 frames, covering various weather and illumination conditions.

原始信息汇总

DSERT-RoLL 数据集概述

基本信息

• 数据集名称: DSERT-RoLL
• 相关论文: DSERT-RoLL: Robust Multi-Modal Perception for Diverse Driving Conditions with Stereo Event-RGB-Thermal Cameras, 4D Radar, and Dual-LiDAR (CVPR 2026)
• 项目主页: https://jeongyh98.github.io/dsert-roll/
• 下载地址: https://huggingface.co/datasets/jeongyh98/DSERT-RoLL
• 总数据大小: 269 GB

数据采集环境

• 天气条件: 晴朗 (Clear) / 雾 (Fog) / 小雨 (Light Rain) / 大雨 (Heavy Rain) / 小雪 (Light Snow) / 大雪 (Heavy Snow)
• 光照条件: 正常 (Normal) / 低光 (Low Light) / 过曝 (Over Expose) / 高动态范围 (HDR)

数据划分

划分	序列数量
训练集 (Train)	132
验证集 (Val)	58
总计	190

数据统计

天气条件	序列数量	帧数
Clear	102	11,877
Fog	32	3,282
Heavy_Rain	18	1,898
Light_Rain	17	2,214
Light_Snow	14	1,428
Heavy_Snow	7	980
总计	190	21,679

目录结构

DSERT-RoLL/ │ ├── split/ │ ├── train.txt │ └── val.txt │ ├── {weather}/ # 天气子目录 │ └── {sequence_name}/ # 序列名称，例如 2025_07_16_21_36_14 │ ├── label.pkl # 标注与标定信息 │ ├── rectified_crop_RGB_L/ # 左RGB图像 (.jpg) │ ├── rectified_crop_RGB_R/ # 右RGB图像 (.jpg) │ ├── rectified_EVENT_L/ # 左事件帧 (.npz) │ ├── rectified_EVENT_R/ # 右事件帧 (.npz) │ ├── rectified_THERMAL_L/ # 左热成像图像 (.npz) │ ├── rectified_THERMAL_R/ # 右热成像图像 (.npz) │ ├── LIDAR_LIVOX_Tilted/ # Livox LiDAR点云 (.npy) │ ├── LIDAR_OUSTER_Tilted_90_degree/ # Ouster LiDAR点云 (.npy) │ └── RADAR_Tilted/ # 雷达点云 (.npy)

标注文件结构 (label.pkl)

label.pkl ├── meta │ ├── weather # 天气条件 │ ├── light # 光照条件 │ ├── sequence_len # 帧数 │ └── calibration # 传感器标定参数（内参/外参矩阵） │ ├── Livox, Ouster, Radar │ └── RGB_L/R, Thermal_L/R, Event_L/R │ └── info # 逐帧信息列表 ├── time_stamp ├── sample_idx / frame_idx ├── sequence_name ├── pose ├── sensor # 各传感器数据相对文件路径 │ ├── rgb_left_path / rgb_right_path │ ├── event_left_path / event_right_path │ ├── thermal_left_path / thermal_right_path │ ├── livox_path / ouster_path │ └── radar_path └── annos # 3D边界框标注 ├── name, obj_ids ├── dimensions, location, heading_angles └── gt_boxes_livox / gt_boxes_rgb / gt_boxes_event / gt_boxes_thermal

传感器模态

• 视觉传感器: 立体事件相机 (Stereo Event Cameras)、立体RGB相机 (Stereo RGB Cameras)、立体热成像相机 (Stereo Thermal Cameras)
• 雷达传感器: 4D 雷达 (4D Radar)
• 激光雷达: 双LiDAR (Dual-LiDAR: Livox 与 Ouster)

引用格式

bibtex @inproceedings{cho2026dsertroll, title={DSERT-RoLL: Robust Multi-Modal Perception for Diverse Driving Conditions with Stereo Event-RGB-Thermal Cameras, 4D Radar, and Dual-LiDAR}, author={Cho, Hoonhee and Kang, Jae-Young and Jeong, Yuhwan and Yang, Yunseo and Lee, Wonyoung and Kim, Youngho and Yoon, Kuk-Jin}, booktitle={Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)}, year={2026} }

搜集汇总

数据集介绍

构建方式

在自动驾驶感知领域，多模态数据融合已成为应对复杂驾驶环境的关键技术。DSERT-RoLL数据集的构建过程体现了系统性与严谨性，通过配备立体事件-RGB-热成像相机、4D雷达及双激光雷达的采集平台，在多种天气与光照条件下进行大规模数据采集。数据涵盖了晴朗、雾、雨、雪等六类天气条件，以及正常、低光、过曝、高动态范围四种光照场景，总计包含190个序列、21,679帧数据。所有传感器数据经过严格的时空同步与几何校正，并辅以详尽的三维边界框标注，确保了多模态感知任务的高质量数据基础。

特点

该数据集的核心特点在于其前所未有的多模态完备性与环境多样性。它不仅集成了七种异构传感器模态，包括立体RGB、事件相机、热成像、双激光雷达与4D雷达，更在极具挑战性的恶劣天气与极端光照条件下进行了系统性采集。数据组织遵循清晰的层级结构，每个序列均提供统一的标定信息与精确的时空对齐。标注信息丰富，为同一物体在不同传感器模态下提供了对应的三维边界框，这为研究跨模态特征对齐、传感器冗余与互补性以及极端条件下的鲁棒感知算法提供了独一无二的基准。

使用方法

为便于研究者使用，数据集已托管于Hugging Face平台，总计约269GB。用户可依据提供的训练与验证划分文件，按天气条件目录结构访问具体序列。每个序列的核心文件`label.pkl`包含了元数据、传感器标定参数、各模态数据文件路径以及三维标注信息，为数据加载与处理提供了统一接口。该数据集适用于训练与评估多模态三维目标检测、传感器融合、跨模态表示学习等任务，其丰富的环境条件也为系统性地研究自动驾驶感知系统在真实世界复杂场景下的退化与失效模式提供了可能。

背景与挑战

背景概述

随着自动驾驶技术向全天候、全场景的演进，多模态感知系统需在复杂环境条件下保持鲁棒性。DSERT-RoLL数据集由韩国科学技术院（KAIST）视觉智能实验室（VILAB）于2026年CVPR会议上发布，旨在应对极端天气与光照变化下的自动驾驶感知挑战。该数据集集成了立体事件相机、RGB相机、热成像相机、4D雷达及双激光雷达，覆盖了晴朗、雾、雨、雪等多种天气及正常、低光、过曝等高动态光照条件。其核心研究问题在于探索多模态融合策略，以提升自动驾驶系统在恶劣环境中的目标检测与场景理解能力，为鲁棒感知算法的开发提供了关键数据支撑。

当前挑战

DSERT-RoLL数据集致力于解决自动驾驶在多样驾驶条件下的鲁棒多模态感知问题，其核心挑战在于如何有效融合异构传感器数据以实现跨模态的互补与冗余。具体而言，事件相机的高时间分辨率与热成像相机的温度感知能力需与RGB图像、激光雷达点云及雷达信号协同，以应对雨雪雾等恶劣天气下的能见度下降与传感器噪声干扰。在构建过程中，挑战主要体现于大规模多传感器数据的同步采集与精确标定，尤其是在动态变化的环境中维持时空对齐的一致性。此外，标注多模态数据中的三维边界框需克服不同传感器表征差异带来的歧义，确保标注质量与跨模态一致性，这对数据集的可靠性与实用性构成了严峻考验。

常用场景

经典使用场景

在自动驾驶感知领域，DSERT-RoLL数据集为多模态融合算法的开发与评估提供了关键支持。该数据集通过集成立体事件相机、RGB相机、热成像相机、4D雷达及双激光雷达，覆盖了从晴朗到极端雨雪等六种天气条件以及多种光照场景，为研究者在复杂动态环境中验证感知模型的鲁棒性创造了理想条件。其经典使用场景集中于三维目标检测与跟踪任务，尤其是在低能见度或传感器受限情形下，研究者可利用多源数据互补特性提升系统性能。

实际应用

在实际自动驾驶系统部署中，DSERT-RoLL数据集所涵盖的多模态感知方案可直接应用于增强车辆的环境理解能力。例如，在浓雾或暴雨天气下，热成像与雷达数据能够弥补可见光相机与激光雷达的感知盲区，提升对行人、车辆等关键目标的检测可靠性。同时，事件相机的高动态特性有助于在剧烈光照变化场景中捕捉快速运动物体，此类技术已逐步应用于高级驾驶辅助系统（ADAS）与无人驾驶测试平台，为安全关键决策提供冗余感知保障。

衍生相关工作

围绕DSERT-RoLL数据集，学术界已衍生出一系列关于多模态感知融合的经典研究工作。这些工作主要集中在跨模态自监督预训练、异构传感器标定优化、以及针对特定天气条件的域自适应方法等方面。例如，部分研究利用该数据集的立体事件-热成像对探索跨模态深度估计新范式，另一些工作则基于其双激光雷达与4D雷达点云开发了新型多目标跟踪框架。这些衍生成果不仅丰富了多传感器融合的理论体系，也为实际系统设计提供了可借鉴的架构方案。