Hyperspectral City V1.0

Hyperspectral City V1.0数据集由南京大学创建，专注于城市自动驾驶场景的语义分割。该数据集采用新开发的 hyperspectral 相机，旨在解决现有数据集视觉质量不足的问题。数据集包含367帧用于训练的粗标注 hyperspectral 图像和55帧用于测试的精细标注图像。创建过程中，数据在上海市多种环境下收集，包括交通繁忙区域、著名建筑、中央商务区等，涵盖晴天和阴天，以及白天、夜晚和日落时的光照条件。该数据集适用于自动驾驶领域的场景理解和语义分割任务，旨在提高自动驾驶系统在复杂环境下的识别和决策能力。

Hyperspectral City V1.0 is a dataset created by Nanjing University, focusing on semantic segmentation tasks for urban autonomous driving scenarios. It adopts a newly developed hyperspectral camera to address the issue of insufficient visual quality in existing datasets. The dataset includes 367 frames of coarsely annotated hyperspectral images for model training and 55 frames of finely annotated images for testing. During its development, the data was collected across various environments in Shanghai, including heavy traffic areas, famous landmarks, central business districts, etc., covering both sunny and cloudy weather, as well as lighting conditions during daytime, nighttime and sunset hours. This dataset is applicable to scene understanding and semantic segmentation tasks in the autonomous driving domain, aiming to improve the recognition and decision-making capabilities of autonomous driving systems in complex environments.

搜集汇总

数据集介绍

构建方式

Hyperspectral City V1.0数据集的构建，采用上海三天的户外数据收集，利用LightGene Hyperspectral Sensor获取450至950nm范围内的125个光谱通道的高分辨率数据。数据集通过标准色板进行色彩校正，并采用H.264编码器进行图像压缩，最终形成约40GB的数据集。在标注方面，367帧训练图像采用粗略标注，55帧测试图像进行精细标注，以适应语义分割任务的需求。

特点

该数据集的特点在于提供了丰富的多通道视觉输入，包含RGB通道无法观测到的视觉属性。它能够有效处理夜间场景和雨雾等恶劣天气现象。数据集的标注方式鼓励用户从丰富的光谱信息中学习，而非过度依赖人工标注。此外，数据集的动态范围、帧率和空间分辨率等规格，均为相关研究提供了高质量的实验素材。

使用方法

用户可以通过挑战网站下载Hyperspectral City数据集。数据集包含训练和测试数据文件夹，每个子文件夹中包含不同格式的文件，如hyperspectral data file、RGB可视化图像、语义标签等。数据集提供了一个MATLAB文件用于读取hyperspectral数据。提交结果时，用户需按照指定的格式和颜色编码提交分割结果，并使用mean Intersection over Union作为评价指标。

背景与挑战

背景概述

Hyperspectral City V1.0数据集的诞生，源于对城市自动驾驶场景中视觉质量不足的问题的深入探究。该数据集由荷兰阿姆斯特丹大学、中国南京大学、北京理工大学等机构的研究人员共同创建，旨在通过采用新型hyperspectral相机，提供多通道视觉输入，以弥补现有数据集如CityScape中仅提供极度洗出的RGB图像的不足。Hyperspectral City V1.0数据集能够提供均衡且色彩丰富的视觉输入，分析RGB通道中无法看到的视觉属性，并能够 robust地处理夜间场景及雨雾等水现象。该数据集的问世，为物理学基于视觉与深度学习的结合提供了新的研究方向，并已在自主驾驶、场景理解、语义分割等领域产生了显著影响。

当前挑战

在Hyperspectral City V1.0数据集的构建过程中，研究人员面临着诸多挑战。首先，hyperspectral图像的数据量巨大，每个图像包含125个光谱通道，给数据存储和传输带来了挑战。其次，数据集的标注工作需要大量的人力投入，且标注质量的一致性难以保证。此外，如何有效地利用hyperspectral数据中的丰富信息进行语义分割，以及如何设计适合该数据集的评价指标，都是研究人员需要解决的问题。在领域问题上，Hyperspectral City V1.0数据集的挑战主要在于如何精确地从hyperspectral图像中提取场景的语义信息，这对于自动驾驶系统的视觉感知至关重要。

常用场景

经典使用场景

Hyperspectral City V1.0数据集的设计旨在应对城市自动驾驶场景中的语义分割挑战，其经典使用场景便是为自动驾驶系统提供丰富的光谱信息，以辅助车辆更好地理解周围环境。通过融合不同波段的光谱数据，该数据集能够帮助模型区分出道路、车辆、行人、交通信号等关键元素，从而提升自动驾驶系统的感知能力。

解决学术问题

该数据集解决了传统RGB图像在光照变化、天气影响下视觉质量不足的问题，为物理基础视觉与深度学习相结合的研究提供了有力支撑。它不仅有助于提高语义分割的准确性，还使得自动驾驶系统在夜间和恶劣天气条件下仍能保持鲁棒性，极大地推动了相关学术研究的进展。

衍生相关工作

基于Hyperspectral City V1.0数据集，研究者们已开展了一系列相关工作，如利用该数据集进行物理基础视觉与深度学习的融合研究，探索新的特征提取方法和模型优化策略，以及开发针对不同应用场景的定制化模型，这些都进一步扩展了数据集的应用范围和影响力。