HS3-Bench

HS3-Bench是由科布伦茨大学的计算视觉研究所创建的一个用于驾驶场景中高光谱语义分割的基准数据集。该数据集整合了三个现有的高光谱图像数据集（HyKo2、HCV2、HSI-Drive），共包含2453张图像，覆盖了从城市到乡村的多种驾驶场景。数据集的创建过程包括对图像进行标注和标准化评估指标的制定。HS3-Bench主要应用于自动驾驶和场景理解领域，旨在评估和提升高光谱图像在语义分割任务中的性能。

HS3-Bench is a benchmark dataset for hyperspectral semantic segmentation in driving scenarios, developed by the Institute of Computational Vision at the University of Koblenz. This dataset integrates three existing hyperspectral image datasets, namely HyKo2, HCV2, and HSI-Drive, and contains a total of 2453 images covering diverse driving scenarios spanning from urban to rural environments. The creation of HS3-Bench includes image annotation and the formulation of standardized evaluation metrics. Primarily applied in the fields of autonomous driving and scene understanding, HS3-Bench aims to evaluate and improve the performance of hyperspectral images in semantic segmentation tasks.

原始信息汇总

Hyperseg 数据集概述

数据集支持

• HyKo2:

  • 来源: HyKo2
  • 论文: HyKo: A Spectral Dataset for Hyperspectral Image Processing

• HSI-Drive v2.0:

  • 来源: HSI-Drive
  • 论文: HSI-Drive: A Hyperspectral Dataset for Autonomous Driving

• Hyperspectral City V2.0:

  • 来源: Hyperspectral City V2.0

• HSI-Road:

  • 来源: HSI-Road
  • 论文: HSI-Road: A Hyperspectral Dataset for Road Detection

• WHU-OHS:

  • 来源: WHU-OHS
  • 论文: WHU-OHS: A Hyperspectral Dataset for Object Detection

支持的模型

• U-Net:

  • 论文: U-Net: Convolutional Networks for Biomedical Image Segmentation

• DeeplabV3+:

  • 论文: Encoder-Decoder with Atrous Separable Convolution for Semantic Image Segmentation

• RU-Net:

  • 描述: Regularized U-Net (本项目自研)

数据集准备

1. Hyperseg:

   • 脚本: python scripts/prep_hyko.py

2. HSI-Drive:

   • 下载: HSI-Drive
   • 解压: 需要密码，遵循网站上的说明

3. Hyperspectral City v2.0:

   • 下载: Hyperspectral City V2.0
   • 处理: 需要解压并转换为hdf5文件

4. HSI-Road:

   • 遵循: HSI-Road项目页面

5. WHU-OHS:

   • 遵循: WHU-OHS项目页面 或 Zenodo页面

训练与测试

• 训练:

  • 命令: python run/train.py logging.project_name=<project_name>

• 测试:

  • 命令: python run/test.py logging.project_name=<project_name> model.ckpt=<path_to_checkpoint>

基准测试结果

数据集	方法	数据类型	$R_mu$	$R_M$	$F_{1_{M}}$	$J_M$
HCV2	U-Net	HSI	85.25	48.62	48.18	37.73
	RU-Net	HSI	87.63	54.14	53.26	43.33
	RU-Net	PCA1	88.25	58.07	55.43	44.26
	RU-Net	pRGB	87.95	56.65	55.46	44.03
	DL3+	HSI	86.60	53.15	51.83	40.79
	DL3+	PCA1	86.64	54.46	52.90	41.58
	DL3+	pRGB	87.00	55.33	54.08	42.58
	DL3+(BB)	pRGB	90.26	64.10	61.93	50.04
	DL3+(PT)	pRGB	89.62	61.91	60.17	48.47
HyKo2	U-Net	HSI	85.36	68.15	68.55	57.39
	RU-Net	HSI	86.72	68.79	69.19	58.64
	RU-Net	PCA1	85.61	68.09	70.01	58.67
	RU-Net	pRGB	89.18	73.92	75.04	64.67
	DL3+	HSI	84.10	63.01	64.90	53.22
	DL3+	PCA1	79.99	61.59	63.00	50.40
	DL3+	pRGB	84.64	65.30	66.56	54.82
	DL3+(BB)	pRGB	90.49	74.87	77.11	66.77
	DL3+(PT)	pRGB	88.62	73.97	76.79	65.41
HSI-Drive	U-Net	HSI	94.95	74.74	76.08	64.95
	RU-Net	HSI	96.08	79.82	82.34	72.18
	RU-Net	PCA1	97.02	86.80	87.76	79.23
	RU-Net	pRGB	96.32	82.70	84.91	75.31
	DL3+	HSI	92.51	65.58	67.86	56.63
	DL3+	PCA1	90.88	62.93	64.31	52.62
	DL3+	pRGB	92.74	66.59	69.46	57.84
	DL3+(BB)	pRGB	97.09	83.93	86.41	77.44
	DL3+(PT)	pRGB	95.69	81.95	84.09	73.84

引用

@misc{theisen2024hs3benchbenchmarkstrongbaseline, title={HS3-Bench: A Benchmark and Strong Baseline for Hyperspectral Semantic Segmentation in Driving Scenarios}, author={Nick Theisen and Robin Bartsch and Dietrich Paulus and Peer Neubert}, year={2024}, doi={https://doi.org/10.48550/arXiv.2409.11205}, eprint={2409.11205}, archivePrefix={arXiv}, primaryClass={cs.CV}, url={https://arxiv.org/abs/2409.11205}, }

搜集汇总

数据集介绍

构建方式

HS3-Bench数据集的构建基于三个现有的高光谱图像数据集：HyKo2、HSI-Drive和HCV2。这些数据集涵盖了城市和乡村驾驶场景，并被细分为多个类别。HS3-Bench通过整合这些数据集，提供了标准化的评估指标、实现和评估协议，从而为系统性地比较不同方法提供了基础。数据集的构建过程中，采用了pytorch的随机分割方法来生成训练、验证和测试集，确保了数据分割的随机性和公平性。

特点

HS3-Bench数据集的主要特点在于其专注于驾驶场景下的高光谱语义分割任务，提供了丰富的类别标签和多样的场景图像。数据集包含了高光谱图像的全部光谱带，允许研究者探索全光谱信息对模型性能的影响。此外，HS3-Bench还提供了合成伪RGB图像的方法，使得研究者可以比较高光谱数据与RGB数据在模型训练中的效果。

使用方法

HS3-Bench数据集的使用方法包括评估不同模型在高光谱数据上的表现，以及探索合成伪RGB图像对模型性能的影响。研究者可以使用提供的基准实现来训练和评估模型，遵循数据集的评估指南，确保结果的可比性。此外，HS3-Bench还鼓励用户共享计算资源使用情况和训练模型，以促进透明和可重复的研究。

背景与挑战

背景概述

HS3-Bench数据集由Nick Theisen、Robin Bartsch、Dietrich Paulus和Peer Neubert等研究人员于2024年创建，旨在解决驾驶场景中超光谱语义分割的标准化评估问题。该数据集整合了来自三个驾驶场景数据集的注释超光谱图像，并提供了标准化的度量、实现和评估协议。HS3-Bench的推出填补了该领域缺乏统一基准的空白，为系统性地评估不同方法提供了平台。通过该数据集，研究人员能够更有效地比较和优化超光谱成像技术在驾驶场景中的应用，推动了超光谱成像技术在动态场景中的进一步发展。

当前挑战

HS3-Bench数据集面临的挑战主要包括两个方面。首先，超光谱成像技术在动态驾驶场景中的应用仍处于探索阶段，其是否能显著优于RGB相机的问题尚未得到明确解答。其次，数据集构建过程中面临的主要挑战是数据量有限和类不平衡问题，这限制了模型的训练效果和泛化能力。此外，尽管HS3-Bench提供了标准化的评估框架，但如何有效利用超光谱数据与RGB数据的结合，以及如何通过预训练模型提升性能，仍是未来研究的重要方向。

常用场景

经典使用场景

在自动驾驶场景中，HS3-Bench数据集被广泛用于超光谱语义分割任务。该数据集结合了来自三个驾驶场景数据集的注释超光谱图像，提供了标准化的度量、实现和评估协议。研究者利用HS3-Bench进行模型训练和评估，以系统地比较不同方法的性能，特别是在超光谱数据与RGB数据结合使用时的效果。

解决学术问题

HS3-Bench数据集解决了在驾驶场景中超光谱语义分割缺乏标准化基准的问题。通过提供统一的评估框架，该数据集使得研究者能够系统地测量和比较不同方法的进展，从而推动超光谱成像技术在自动驾驶领域的应用。此外，HS3-Bench还揭示了现有基于学习的方法在利用额外RGB训练数据时比利用额外超光谱通道时受益更多，这对未来超光谱成像研究提出了重要问题。

衍生相关工作

基于HS3-Bench数据集，研究者开发了多种强基线模型，如基于U-Net和DeeplabV3+架构的模型，这些模型在超光谱语义分割任务中表现出色。此外，HS3-Bench还促进了关于超光谱数据与RGB数据结合使用的研究，揭示了在驾驶场景中利用预训练模型参数的重要性。这些研究成果不仅提升了现有模型的性能，还为未来超光谱成像技术的发展提供了新的研究方向。