mirafusion-sample-data-ultrissr5-rpihq

这是一个由两个视频/快照传感器获取的多摄像头数据集的样本：Ultris SR5（高光谱）和Raspberry Pi High Quality（彩色）。数据集包括原始和处理后的帧、平场和暗场采集、空间校准选项以及波长信息。帧是同步的，并以NumPy `.npy`格式保存，带有PNG预览和JSON元数据。样本数据集包含每个设备的54帧，是从原始的360对同步帧中采样得到的。采集于2025年9月8日，使用ROS2框架完成。

原始信息汇总

数据集概述

基本信息

• 数据集名称: mirafusion-sample-data-ultrissr5-rpihq
• 许可协议: CC BY-NC-ND 4.0
• 作者: Mohamad Jouni, Amaury Negre, Mauro Dalla Mura
• 采集日期: 2025年9月8日

数据内容与来源

• 数据描述: 这是一个由两个视频/快照传感器采集的多摄像头数据集样本。
• 传感器配置:
  • Ultris SR5: 高光谱传感器。高度275像素，宽度290像素，51个通道，12位深度，数据类型为uint16，默认波段为[25, 12, 1]。
  • Raspberry Pi High Quality: 彩色传感器。高度3040像素，宽度4032像素，3个通道，8位深度，数据类型为uint8，默认波段为[0, 1, 2]。
• 采集方式: 两个传感器并排安装在支架上，使用ROS2框架和bag record命令同时记录采集。
• 数据格式: 原始帧已从ROS2 bag文件导出，保存为NumPy .npy格式，形状为$H imes W imes C$。
• 同步性: 导出的帧在两个传感器之间具有时间戳同步，形成帧对，适用于配准和融合等应用。

数据集构成

• 原始数据集: 包含360对同步帧。
• 样本数据集: 提供采样版本。
  • 起始帧索引: 28
  • 结束帧索引: 350
  • 步长: 6
  • 结果: 每个设备54帧。
• 完整数据集: 可根据请求提供。

文件结构

• 采集数据:
  • 原始数据:
    • Ultris SR5: 原始导出帧（npy格式）、png预览图以及json元数据文件。
    • RPI HQ: 原始导出帧（npy格式）、png预览图以及json元数据文件。
  • 处理数据: 原始帧的白平衡版本及预览图。
• 平场数据: 用于对原始帧进行白平衡并生成处理数据的平场采集。
• 暗场数据: 用于对原始帧进行白平衡并生成处理数据的暗场采集。
• 空间校准: 可用于几何/空间重映射或校准的选项。
• 波长数据: 包含每个相机中心波长（单位：nm）的csv文件。

致谢

• 支持机构: 数据集得益于法国格勒诺布尔GIPSA-Lab的多摄像头成像研究与采集（MIRA）平台。
• 所有者（来自MIRA平台）:
  • Mohamad Jouni - Floralis - UGA研究工程师
  • Amaury Negre - Grenoble INP - UGA研究工程师
  • Mauro Dalla Mura - Grenoble INP - UGA副教授
• 联系方式: MIRA平台（群组邮箱）: [e-mail]

搜集汇总

数据集介绍

构建方式

在遥感与多传感器成像领域，数据采集的同步性与精确性至关重要。该数据集通过将Ultris SR5高光谱传感器与Raspberry Pi HQ彩色传感器并置安装于同一平台上，利用ROS2框架实现同步采集，确保了时间戳的严格对齐。原始帧从ROS2 bag文件中导出，以NumPy的.npy格式保存，保留了H×W×C的维度结构，并经过系统采样，从原始360对帧中选取了54对同步帧，涵盖了起始索引28至350、步长为6的序列，为后续的配准与融合研究提供了高质量基础。

特点

本数据集的核心特征在于其多模态与高精度的数据构成。Ultris SR5传感器提供51个波段的高光谱图像，空间分辨率为275×290，位深度为12位，而Raspberry Pi HQ则提供3040×4032的高分辨率三通道彩色图像，两者在时间上完全同步，形成配对帧。数据集中不仅包含原始帧与白平衡处理后的版本，还提供了用于校准的平场与暗场数据、空间校准选项以及各传感器的中心波长文件，这种多层次结构支持从原始数据预处理到高级融合分析的全流程研究。

使用方法

在遥感图像处理与计算机视觉应用中，该数据集适用于多传感器配准、数据融合及跨模态分析等任务。用户可直接加载.npy格式的帧对，利用提供的元数据json文件进行参数解析，或通过png预览快速可视化。白平衡处理后的数据可用于辐射一致性研究，而平场与暗场数据则支持传感器响应校正。空间校准选项可用于几何映射，波长文件则有助于光谱特征提取，整体设计便于集成到现有处理流程中，推动高光谱与彩色图像融合的前沿探索。

背景与挑战

背景概述

多光谱成像技术在遥感、环境监测及精密农业等领域具有广泛应用，能够捕捉超越可见光范围的光谱信息，为物质识别与分析提供丰富数据维度。mirafusion-sample-data-ultrissr5-rpihq数据集由法国格勒诺布尔GIPSA-Lab的MIRA平台于2025年9月8日创建，核心研究人员包括Mohamad Jouni、Amaury Negre与Mauro Dalla Mura。该数据集通过集成Ultris SR5高光谱传感器与Raspberry Pi HQ彩色相机，实现了时空同步的双模态数据采集，旨在解决多源遥感图像配准与融合中的关键问题，为高精度地物分类与动态监测研究提供标准化基准。

当前挑战

在多光谱与可见光图像融合领域，核心挑战在于异源传感器间的光谱响应差异与空间分辨率不匹配，这导致跨模态特征对齐困难，影响融合后数据的语义一致性。数据集构建过程中，研究人员需克服硬件同步精度、光照条件波动以及大规模数据存储与处理的复杂性。此外，高光谱数据的十二位深度与彩色图像的八位深度之间的量化差异，以及传感器视场与几何畸变的校准，均为数据预处理环节带来显著技术障碍。

常用场景

经典使用场景

在遥感与计算机视觉领域，多传感器数据融合是提升图像分析精度的核心手段。mirafusion-sample-data-ultrissr5-rpihq数据集通过同步采集高光谱与彩色图像，为图像配准与融合研究提供了经典范例。其时间同步的帧对结构，使得研究者能够直接利用高光谱数据的丰富光谱信息与彩色图像的高空间分辨率，进行跨模态特征对齐与信息互补，从而优化融合算法的性能评估与模型训练。

衍生相关工作

围绕该数据集，已衍生出一系列经典研究工作，主要集中在多模态图像融合算法与跨域配准技术上。例如，基于深度学习的端到端融合网络利用其同步数据对进行训练，实现了光谱保真与空间增强的平衡；同时，几何校正与特征匹配方法借助其提供的空间校准选项，提升了异源图像的对齐精度。这些工作不仅丰富了多传感器数据处理的理论体系，也为后续的遥感智能解译奠定了技术基础。

数据集最近研究

最新研究方向

在遥感与多模态成像领域，mirafusion-sample-data-ultrissr5-rpihq数据集凭借其高光谱与彩色传感器的同步采集特性，为图像融合与配准研究提供了关键数据支撑。当前前沿探索聚焦于深度学习驱动的跨模态特征对齐与超分辨率重建，旨在提升高光谱图像的空间细节与光谱保真度。该数据集与智能农业、环境监测等热点应用紧密结合，通过多传感器协同感知推动精准分析与决策，对遥感技术的实用化演进具有显著意义。