RASMD

RASMD数据集是由延世大学创建的，包含10万对同步采集的RGB和SWIR图像对，这些图像在不同地理位置、光照和天气条件下收集。该数据集旨在推进自动驾驶领域多光谱成像的研究，并解决在恶劣条件下自动驾驶感知系统的鲁棒性问题。

The RASMD dataset was developed by Yonsei University. It contains 100,000 pairs of synchronously acquired RGB and SWIR images, which were collected across diverse geographic locations, lighting conditions and weather conditions. This dataset aims to advance research on multispectral imaging in the field of autonomous driving, and address the robustness issues of autonomous driving perception systems under harsh conditions.

搜集汇总

数据集介绍

构建方式

RASMD数据集通过精心设计的双模态传感器系统构建，采用FLIR GS3-U3-32S4C-C RGB相机与CREVIS HG-A130SW SWIR相机同步采集数据。为确保跨光谱对齐，研究团队开发了包含几何校准、基于SIFT特征匹配的配准以及同形变换的三阶段流程，使用碳基墨水特制标定板解决SWIR波段标定难题。数据采集覆盖城市、郊区等多类场景及晴、雨、雪等6种天气条件，最终形成10万组像素级配对的RGB-SWIR图像对，空间对齐误差控制在3像素以内。

特点

作为首个面向自动驾驶的大规模短波红外数据集，RASMD最显著的特点是实现了1000-1700nm SWIR波段与可见光波段的多光谱协同。其双模态数据在雾霾穿透性（SWIR散射率比NIR低42%）、玻璃穿透成像（相较LWIR提升100%车内安装可行性）及温度稳定性方面展现独特优势。数据集包含精细标注的6类交通目标检测子集（1432训练图/956测试图）及3900组跨模态转换数据，特别强化了雨雪、逆光等12种极端场景的样本覆盖。

使用方法

该数据集支持三种典型应用范式：跨模态目标检测任务中，可采用非极大值抑制融合RGB与SWIR检测结果（IoU阈值0.5），实验表明该方案使平均精度提升5.55%；图像转换任务提供3900组训练数据，支持Pix2pixHD等模型实现PSNR 30.50的RGB-to-SWIR生成；研究者还可利用未配准的原始数据开发新型跨光谱配准算法。数据集采用分层存储结构，包含校准参数、原始数据及标注文件，需通过官方提供的Python工具包加载。

背景与挑战

背景概述

RASMD（RGB And SWIR Multispectral Driving Dataset）是由延世大学和斯洛伐克技术大学的研究团队于2024年推出的首个大规模多光谱驾驶数据集，旨在解决自动驾驶在恶劣条件下的鲁棒感知问题。该数据集包含10万组同步且空间对齐的RGB-SWIR（短波红外）图像对，覆盖了多样化的地理位置、光照和天气条件。传统自动驾驶算法主要依赖可见光谱，在雾、雨、雪等高干扰环境中性能显著下降，而SWIR成像凭借其穿透玻璃能力、低温度敏感性和抗散射特性，为复杂环境下的感知提供了新思路。RASMD填补了公开驾驶数据集中SWIR模态的空白，为多光谱自动驾驶研究提供了重要基准。

当前挑战

RASMD面临的挑战主要体现在两个方面：领域问题层面，可见光谱在低光照、强眩光等场景下存在目标漏检，需验证SWIR模态对车辆、行人等关键目标的增强检测能力；数据构建层面，双模态传感器的帧率差异（RGB 120FPS/SWIR 70FPS）要求精确的软件触发同步，而不同光谱特征导致的图像配准难题需通过碳基棋盘标定和SIFT-RANSAC特征匹配解决。此外，SWIR传感器的高成本限制了数据规模的扩展，需通过RGB-SWIR图像翻译技术生成合成数据以弥补真实数据的不足。

常用场景

经典使用场景

RASMD数据集作为首个大规模同步RGB-SWIR多光谱驾驶数据集，其经典使用场景主要集中在恶劣天气条件下的自动驾驶感知任务。在浓雾、雨雪、低光照及强眩光等可见光传感器性能显著下降的环境中，SWIR波段因其对玻璃穿透性、低温度敏感性和长波长抗散射特性，能够有效捕捉关键交通目标（如行人、自行车）的轮廓信息。数据集提供的10万组像素级对齐双模态图像，为开发基于多光谱融合的鲁棒检测算法提供了理想基准，尤其在跨模态特征互补性研究中具有不可替代的价值。

实际应用

在实际应用中，RASMD支持车载多光谱感知系统的快速迭代。汽车制造商可利用其开发全天候障碍物检测系统，特别是在北欧多雪地区或东亚季风气候带的自动驾驶测试中，SWIR模态能显著改善雨雾中的激光雷达失效问题。物流企业则借助RGB-SWIR转换子集（含3900训练图像）生成合成数据，降低昂贵SWIR传感器的标注成本。该数据集已应用于车载摄像头布局优化研究，证明挡风玻璃内安装SWIR传感器的可行性。

衍生相关工作

基于RASMD的衍生研究主要集中在三个方向：多模态检测框架创新（如DINO检测器的SWIR适配变体）、跨光谱转换算法优化（BBDM扩散模型在该数据集PSNR达31.06dB），以及新型传感器融合范式探索。值得关注的工作包括将Demspter-Shafer理论引入RGB-SWIR置信度融合的CMPD方法，以及受SWIR物理特性启发提出的波长感知注意力机制。这些研究显著推进了《IEEE Transactions on Intelligent Transportation Systems》等期刊对非可见光谱感知的理论建模。