Novel Sensors for Autonomous Vehicle Perception (NSAVP) dataset

NSAVP数据集是由密歇根大学开发，旨在支持自动驾驶车辆在复杂环境下的感知任务。该数据集包含多种传感器数据，如立体事件相机、热像仪、单色和RGB相机，以及高精度导航系统提供的位置真值。数据通过重复驾驶约8公里的两条路线收集，涵盖了不同的光照条件和视角。NSAVP数据集特别之处在于首次整合了立体热像仪与立体事件和单色相机，为研究新型传感器在自动驾驶感知中的应用提供了独特资源。数据集的应用领域包括SLAM、定位、地图构建、传感器融合和交通领域的计算机视觉，旨在解决自动驾驶车辆在低光和恶劣天气条件下的感知挑战。

The NSAVP dataset was developed by the University of Michigan to support perception tasks of autonomous vehicles in complex environments. This dataset contains multi-modal sensor data, including stereo event cameras, thermal cameras, monochrome and RGB cameras, as well as ground-truth positions provided by high-precision navigation systems. The data was collected by repeatedly traversing two routes of approximately 8 kilometers, covering varying lighting conditions and viewing angles. What distinguishes the NSAVP dataset is that it is the first to integrate stereo thermal cameras alongside stereo event and monochrome cameras, providing a unique resource for researching the application of novel sensors in autonomous driving perception. The applicable domains of this dataset include SLAM, localization, mapping, sensor fusion, and computer vision in transportation fields, aiming to address the perception challenges faced by autonomous vehicles under low-light and adverse weather conditions.

搜集汇总

数据集介绍

构建方式

在自动驾驶感知领域，传统视觉传感器在低光照、高动态范围场景及恶劣天气下存在局限。为探索事件相机与热成像相机等新型传感器的潜力，NSAVP数据集通过集成多模态传感器平台构建而成。该平台搭载了立体事件相机、热成像相机、单色相机及RGB相机，并配备高精度导航系统提供真值位姿。数据采集沿两条约8公里路线进行，涵盖正向与反向行驶视角，并捕获午后、日落及夜间三种光照条件，以构建具有丰富环境变化的驾驶场景序列。

特点

NSAVP数据集的核心特点在于其多模态传感器配置的完整性与同步精度。作为首个同时包含立体热成像相机、立体事件相机及立体单色相机的数据集，它提供了宽基线立体对以降低三角测量误差。数据集通过精密的时间同步策略，确保所有模态数据的时间戳对齐在微秒级别。其采集路线设计支持反向视角地点识别评估，而多样化的光照条件则凸显了新型传感器在低光与环境适应性方面的优势。数据以HDF5格式组织，便于高效访问与处理。

使用方法

该数据集适用于自动驾驶感知任务的研究，特别是地点识别、视觉里程计及多传感器融合算法开发。使用者可通过提供的软件工具包将HDF5文件转换为ROS数据包或CSV/PNG格式，便于集成至现有算法流程。数据集中包含的精确标定参数与真值位姿支持传感器外参对齐与算法性能定量评估。研究社区可利用其多模态特性，比较或融合传统与新型传感器的感知能力，尤其在光照剧烈变化或反向视角等挑战性场景下验证算法的鲁棒性。

背景与挑战

背景概述

在自动驾驶车辆感知领域，传统可见光摄像头虽广泛应用，却难以应对低光照、高动态范围场景及恶劣天气等复杂环境。为突破这些局限，事件相机与热成像相机等新型传感器凭借其高时间分辨率、低动态范围及全天候成像能力，展现出巨大潜力。2024年，密歇根大学研究团队Spencer Carmichael等人推出了Novel Sensors for Autonomous Vehicle Perception（NSAVP）数据集，旨在推动多模态传感器融合研究。该数据集首次同步集成了立体事件相机、立体热成像相机、单色相机与RGB相机，并配备高精度导航系统提供真值位姿，覆盖约8公里路线、不同光照条件及对立视角场景，为自动驾驶定位、建图与场景识别等核心问题提供了前所未有的多光谱数据支持。

当前挑战

NSAVP数据集致力于解决自动驾驶在复杂光照与天气条件下的感知鲁棒性问题，其核心挑战在于如何有效融合事件相机的高动态特性与热成像相机的全天候成像能力，以提升车辆在低光、逆光及恶劣环境中的场景识别与定位精度。在构建过程中，研究团队面临多传感器时间同步的精密校准难题，需协调不同触发机制的相机实现微秒级对齐；同时，热成像相机的非均匀性校正与运动模糊、事件相机与传统视觉算法的兼容性差异，以及多光谱标定板的设计与标定精度保障，均为数据采集与处理带来了显著的技术障碍。

常用场景

经典使用场景

在自动驾驶感知领域，传统视觉传感器在低光照、高动态范围场景及恶劣天气下性能受限。NSAVP数据集通过集成立体事件相机、热成像相机、单色相机与RGB相机，为多模态传感器融合研究提供了经典实验平台。其核心应用场景在于评估与开发新型传感器在复杂环境下的定位与建图算法，特别是在光照剧烈变化和逆向视角条件下进行地点识别任务的基准测试。数据集包含两条约8公里路线在午后、日落及夜间三种光照条件下的重复采集序列，为算法鲁棒性验证提供了结构化挑战。

解决学术问题

该数据集致力于解决自动驾驶感知中若干关键学术难题。传统RGB相机易受运动模糊、低动态范围和恶劣光照条件影响，而事件相机的高时间分辨率与热成像相机对可见光不敏感的特性恰好能弥补这些缺陷。NSAVP通过提供精确时间同步的多模态数据与高精度地面真值位姿，使研究者能够系统探究传感器在极端条件下的性能边界，推动跨模态特征表示、异构传感器标定、以及面向低光照与逆向视角的鲁棒地点识别等前沿方向的发展，填补了现有数据集中缺乏立体热成像与事件相机组合的空白。

衍生相关工作

NSAVP数据集的发布催生并衔接了多个相关领域的经典研究工作。在传感器融合定位方面，它延续并扩展了如ViViD++、ECMD等融合热成像与事件数据的数据集脉络，同时其立体热成像配置为STheReO、MS2等专注于热成像深度估计的研究提供了互补视角。在地点识别领域，数据集设计的逆向视角与多变光照条件，为改进LoST-X等跨视角识别算法以及NetVLAD等基于深度学习的描述子提供了新的评估场景。此外，其精确的时空标定框架也为事件相机与常规相机联合标定方法（如e2calib）提供了高质量的多光谱实验数据。