Computational Hyperspectral Image Light Dataset (CHILD)

本工作构建了一个联合快照扫描光谱系统（JS⁴），通过该系统，获取的低空间光谱视频速率快照可以由同步捕获的高空间光谱地面实况在超光谱传播中引导。我们首先使用物理成像模型注册JS⁴的快照扫描图像对，然后生成一个计算超光谱图像光数据集（CHILD），该数据集具有特定场景的视频速率快照和相应的扫描地面实况。利用CHILD，我们开发了一个端到端的光谱传播网络（SPN），该网络应用光谱引导滤波器和通道注意力机制，从有限的空间光谱快照中恢复动态物理世界的高保真超光谱测量。

This work constructs a Joint Snapshot Scanning Spectral System (JS⁴), through which low spatial spectral video-rate snapshots can be guided by synchronously captured high spatial spectral ground truths in hyperspectral propagation. We first register the snapshot scanning image pairs of JS⁴ using a physical imaging model, and then generate a Computational Hyperspectral Image Light Dataset (CHILD), which contains video-rate snapshots of specific scenes and corresponding scanned ground truths. Utilizing CHILD, we develop an end-to-end Spectral Propagation Network (SPN) that applies spectral-guided filters and channel attention mechanisms to recover high-fidelity hyperspectral measurements of the dynamic physical world from limited spatial spectral snapshots.

原始信息汇总

数据集概述

• 名称: Computational Hyperspectral Image Light Dataset (CHILD)
• 下载链接: Computational Hyperspectral Image Light Datase (CHILD)
• 描述: 该数据集包含视频速率的快照和特定场景的相应扫描地面实况，用于支持开发端到端的频谱传播网络（SPN），以从有限的空谱快照中恢复动态物理世界的高保真高光谱测量。

数据集用途

• 主要用途: 用于训练和评估Spectral Propagation Network (SPN)，该网络通过频谱引导滤波器和通道注意力机制来恢复高保真高光谱测量。
• 评估: 数据集用于非盲、盲和半盲实验，以评估SPN的性能。

数据集相关研究

• 相关论文: "High-Fidelity Hyperspectral Snapshot of Physical World: System Architecture, Dataset and Model"，发表于IEEE Journal of Selected Topics in Signal Processing (JSTSP), 2022。
• 作者: Erqi Huang, Maoqi Zhang, Zhan Ma, Linsen Chen, Yiyu Zhuang, Xun Cao
• 机构: 南京大学

搜集汇总

数据集介绍

构建方式

CHILD数据集的构建基于联合快照-扫描光谱系统（JS⁴），该系统通过物理成像模型对快照和扫描图像进行配准，生成包含视频速率快照及其对应扫描地面实况的计算高光谱图像光数据集。该系统能够同步捕获高空间光谱分辨率的地面实况，从而指导低空间光谱分辨率的视频速率快照，确保数据的高保真度。

特点

CHILD数据集的特点在于其同时具备高光谱、高空间和高时间分辨率（H³R）的粒度，能够提供动态物理世界的高保真高光谱测量。数据集包含视频速率快照及其对应的扫描地面实况，适用于高光谱传播网络（SPN）的训练与评估，显著提升了高光谱图像恢复的精度与效率。

使用方法

CHILD数据集的使用方法包括下载数据集、训练和测试光谱传播网络（SPN）。用户可通过提供的链接下载数据集，并利用SPN进行非盲、盲和半盲实验，以评估模型在高光谱图像恢复中的性能。通过应用光谱引导滤波和通道注意力机制，SPN能够从有限的快照中恢复出丰富且高保真的高光谱测量结果。

背景与挑战

背景概述

Computational Hyperspectral Image Light Dataset (CHILD) 是由南京大学的Erqi Huang及其团队于2022年创建的高光谱图像数据集，旨在解决高光谱成像领域中的高保真度视频采集问题。该数据集通过联合快照-扫描光谱系统（JS⁴）生成，能够同时捕捉高光谱、高空间和高时间分辨率（H³R）的视频数据。CHILD的创建填补了现有高光谱成像技术在时间分辨率与空间分辨率之间的空白，为动态物理世界的高保真度光谱测量提供了重要支持。该数据集不仅推动了高光谱成像技术的发展，还为相关领域的研究提供了宝贵的实验数据。

当前挑战

CHILD数据集在构建过程中面临的主要挑战包括如何在高光谱、高空间和高时间分辨率之间实现平衡。现有高光谱扫描相机虽然能够提供足够的地面真实数据，但缺乏时间分辨率；而快照相机虽然能够捕捉高时间分辨率的数据，但其空间和光谱分辨率较低。此外，数据集的生成还需要解决快照与扫描图像对的精确配准问题，以确保数据的准确性和一致性。在应用层面，如何从有限的空间和光谱快照中恢复出高保真度的动态物理世界光谱测量，也是该数据集所面临的核心挑战。

常用场景

经典使用场景

在计算高光谱成像领域，CHILD数据集被广泛应用于高光谱图像的恢复与重建研究。通过结合高时空分辨率的高光谱快照与同步获取的高空间分辨率地面真值，CHILD为研究者提供了一个独特的实验平台，用于验证和改进高光谱图像处理算法。该数据集特别适用于开发端到端的光谱传播网络（SPN），以从有限的时空快照中恢复出高保真的高光谱图像。

衍生相关工作

基于CHILD数据集，研究者们开发了多种经典的高光谱图像处理算法，其中最具代表性的是光谱传播网络（SPN）。SPN通过引入光谱引导滤波和通道注意力机制，显著提升了高光谱图像的恢复质量。此外，CHILD还激发了其他相关研究，如高光谱图像超分辨率重建、去噪和压缩感知等领域的工作，推动了高光谱成像技术的进一步发展。

数据集最近研究

最新研究方向

在计算高光谱成像领域，CHILD数据集的推出为高保真动态物理世界的光谱测量提供了新的研究视角。该数据集通过联合快照-扫描光谱系统（JS⁴）实现了高时空分辨率与高光谱分辨率的同步获取，解决了传统高光谱扫描相机在时间分辨率上的不足。基于CHILD数据集，研究者开发了光谱传播网络（SPN），该网络结合光谱引导滤波和通道注意力机制，能够从有限的空间光谱快照中恢复出丰富且高保真的高光谱测量数据。这一技术的突破不仅推动了高光谱成像技术在动态场景中的应用，还为相关领域如环境监测、医学成像和农业遥感等提供了新的研究工具和方法。