HSI-Drive v1.1

HSI-Drive v1.1数据集由巴斯克大学创建，包含276张在真实驾驶条件下拍摄的超光谱图像，涵盖城市、道路和高速公路等多种场景，以及不同的天气和光照条件。数据集使用Photonfocus相机和Imec 25-band VIS-NIR传感器记录，分辨率为1088 x 2048像素。数据集的创建旨在通过超光谱成像技术提高高级驾驶辅助系统（ADAS）的物体识别和跟踪能力，特别是在复杂和恶劣的驾驶环境中。该数据集的应用领域包括自动驾驶系统中的场景理解和车道保持辅助系统。

The HSI-Drive v1.1 dataset was created by the University of the Basque Country. It consists of 276 hyperspectral images captured under real driving conditions, covering diverse scenarios such as urban areas, roads and highways, as well as varying weather and lighting conditions. The dataset was recorded using a Photonfocus camera and an Imec 25-band VIS-NIR sensor, with a resolution of 1088 × 2048 pixels. The dataset was developed to improve object recognition and tracking capabilities of advanced driver-assistance systems (ADAS) via hyperspectral imaging technology, particularly in complex and harsh driving environments. Its application domains include scene understanding in autonomous driving systems and lane-keeping assist systems.

搜集汇总

数据集介绍

构建方式

HSI-Drive v1.1数据集通过使用Photonfocus相机在真实驾驶环境中记录的276张图像构建而成。这些图像涵盖了城市、道路和高速公路等多种场景，并在不同的天气（如晴天、多云、雨天和雾天）和光照条件（如黎明、正午和日落）下拍摄。相机配备了基于CMOSIS CMV200图像传感器的25波段VIS-NIR（535nm-975nm）传感器，最终生成的超光谱立方体分辨率为216 x 409 x 25。数据集的标签基于材料的表面反射率，分为10个类别，包括道路、路标、植被、金属、天空等。为了确保数据的精确性，标签采用了弱标注方法，部分像素未被标注，但仍参与训练过程。

特点

HSI-Drive v1.1数据集的主要特点在于其多样化的场景和环境条件，涵盖了多种天气和光照变化，使得数据集在复杂驾驶环境下的应用具有较高的代表性。此外，数据集的标签设计基于材料的近红外光谱反射特性，提供了丰富的光谱信息，有助于提高物体识别和分类的准确性。数据集还通过Jeffreys-Matusita距离分析了不同类别之间的光谱可分性，结果显示部分类别具有较高的可分性，而部分类别则表现出较低的可分性，这为后续的算法优化提供了重要参考。

使用方法

HSI-Drive v1.1数据集主要用于高级驾驶辅助系统（ADAS）中的超光谱图像分割任务。用户可以通过全卷积网络（FCN）等深度学习模型对数据集进行训练，以实现对驾驶场景中不同物体的精确分割。数据集的图像被分为训练集、验证集和测试集，分别为162张、57张和57张，确保了类别比例的平衡。在训练过程中，用户可以调整模型的超参数，如输入图像块的大小、重叠区域、编码器深度和初始卷积块的滤波器数量，以优化分割性能。最终，模型的性能可以通过准确率、精确率和交并比（IoU）等指标进行评估，以确保其在实际驾驶环境中的有效性。

背景与挑战

背景概述

HSI-Drive v1.1数据集由Jon Gutiérrez-Zaballa等人于2021年创建，旨在推动高光谱成像（HSI）在高级驾驶辅助系统（ADAS）中的应用。该数据集包含了276张在不同天气和光照条件下拍摄的真实驾驶场景图像，涵盖了城市、道路和高速公路等多种场景。这些图像通过Photonfocus相机采集，具有25个光谱带，分辨率为1088 x 2048像素。HSI-Drive v1.1的推出填补了高光谱成像在ADAS领域数据集的空白，为研究如何利用高光谱信息提升自动驾驶系统的物体识别和场景理解能力提供了宝贵的资源。

当前挑战

HSI-Drive v1.1数据集在构建和应用过程中面临多重挑战。首先，不同物体在近红外波段的反射特性可能相似，导致光谱可分性较低，尤其是在金属车辆和道路标记等物体之间。其次，提取具有相似光谱反射特性的物体的空间特征极为复杂，因为场景中物体的形状、视角和尺度变化极大。此外，高光谱图像的预处理和分割算法需要在资源受限的车载处理平台上满足严格的延迟要求。最后，数据集的标签采用弱标签方法，部分像素未被标记，这对卷积神经网络的训练提出了额外的挑战。

常用场景

经典使用场景

HSI-Drive v1.1数据集的经典使用场景主要集中在高级驾驶辅助系统（ADAS）中的场景分割任务。该数据集通过提供在不同天气和光照条件下记录的真实驾驶场景图像，支持研究人员探索全卷积网络（FCN）在超光谱图像分割中的应用。具体而言，数据集被用于分离可行驶区域（如道路）和不可行驶区域（如天空和植被），以及识别道路标记，从而提升车道保持和轨迹规划系统的性能。

解决学术问题

HSI-Drive v1.1数据集解决了当前基于计算机视觉的ADAS在复杂环境（如恶劣天气和光照变化）下识别和跟踪物体不稳定的学术问题。通过引入超光谱成像技术，数据集利用不同材料的近红外光谱反射特性，增强了物体分离和分类的准确性，特别是在复杂场景中，如金属车身和道路标记的区分。这为提升ADAS的鲁棒性和智能化提供了新的研究方向。

衍生相关工作

HSI-Drive v1.1数据集的发布催生了一系列相关研究工作，特别是在超光谱图像分割和自动驾驶系统领域。研究人员基于该数据集开发了多种深度学习模型，如U-Net架构，用于提升场景分割的精度。此外，数据集还推动了对超光谱成像在复杂环境下的应用研究，探索了如何通过结合空间和光谱信息来提高分割系统的鲁棒性。这些研究为未来的自动驾驶技术发展提供了重要的理论和实践基础。