RGBT-Scenes

RGBT-Scenes是一个真实世界的数据集，由手持热红外相机捕获，用于促进热场景重建的未来研究。该数据集包含彩色图像和热图像，并且需要手动划分为训练集和测试集。

RGBT-Scenes is a real-world dataset captured by handheld thermal infrared cameras, intended to facilitate future research on thermal scene reconstruction. This dataset contains both color images and thermal images, and requires manual splitting into training and test sets.

原始信息汇总

ThermalGaussian 数据集概述

数据集基本信息

• 名称: RGBT-Scenes
• 类型: 多模态（RGB+热成像）3D场景重建数据集
• 用途: 热成像3D高斯泼溅（3D Gaussian Splatting）研究
• 数据来源: 手持式热红外相机采集的真实世界场景

数据集内容

• 数据模态:

  • RGB图像
  • 热成像图像

• 数据结构:

  <location> |---rgb | |---test | |---train |---thermal | |---test | |---train |---sparse |---0 |---cameras.bin |---images.bin |---points3D.bin

数据集特点

• 多模态对齐: RGB相机与热成像相机经过校准对齐
• 物理特性约束: 包含针对热成像模态的平滑约束
• 存储优化: 通过多模态正则化约束减少90%模型存储成本

获取方式

• 下载地址: Google Drive

相关论文

• 标题: ThermalGaussian: Thermal 3D Gaussian Splatting
• 作者: Rongfeng Lu等
• 预印本: arXiv:2409.07200
• 项目主页: thermalgaussian.github.io

使用许可

• 引用要求: bibtex @article{lu2024thermalgaussian, title={ThermalGaussian: Thermal 3D Gaussian Splatting}, author={Lu, Rongfeng and Chen, Hangyu and Zhu, Zunjie and Qin, Yuhang and Lu, Ming and Zhang, Le and Yan, Chenggang and Xue, Anke}, journal={arXiv preprint arXiv:2409.07200}, year={2024} }

搜集汇总

数据集介绍

构建方式

RGBT-Scenes数据集的构建，首先通过标定RGB相机与热相机，确保两种模态准确对齐。随后，利用注册后的图像学习多模态3D高斯分布，并引入多模态正则化约束以防止单一模态的过拟合，同时针对热模态的物理特性，开发了平滑约束。

特点

该数据集的主要特点在于提供了真实世界中的RGB与热红外图像，有利于热场景重建的研究。其采用了多模态3D高斯分布的学习方法，并通过多模态正则化约束显著降低了模型的存储成本。此外，数据集的结构设计便于训练和测试的分离，以及不同版本模型的应用。

使用方法

使用RGBT-Scenes数据集时，用户需从Google Drive直接下载数据集，并手动划分训练集和测试集。数据集包含RGB和热红外图像，分别存储在对应的文件夹中，且每个文件夹下又分为测试和训练子文件夹。训练和评估模型时，用户需指定输入和输出路径，并通过命令行调用相关脚本执行训练、渲染和指标计算等任务。

背景与挑战

背景概述

RGBT-Scenes数据集是由杭州电子大学等机构的研究人员于2024年创建的，旨在促进热红外场景重建的研究。该数据集通过手持热红外相机捕获，包含了RGB和热成像两种模态的信息，为神经辐射场（NeRF）之外的3D高斯散点（3DGS）方法提供了实验基础。RGBT-Scenes的构建，不仅解决了多模态场景重建的技术难题，而且为相关领域的研究提供了高质量的数据支持。

当前挑战

该数据集在构建过程中面临的挑战主要包括：多模态数据的准确对齐、防止单一模态的过拟合、以及针对热成像模态特性的平滑约束开发。此外，数据集在解决热红外图像重建的领域中，也面临着如何提高渲染质量、减少模型存储成本等挑战。通过引入多模态正则化约束，研究者在一定程度上克服了这些挑战，实现了高质量的图像渲染，并显著降低了模型的存储成本。

常用场景

经典使用场景

在计算机视觉与图形学领域，RGBT-Scenes数据集因其独特的多模态特性，成为了研究的热点。该数据集的经典使用场景在于，通过融合RGB与热成像两种模态的信息，实现对场景的高质量三维重建，进而为诸如军事监视、智能监控等领域提供技术支持。

解决学术问题

该数据集解决了多模态数据融合、三维场景重建中的关键问题，如模态间的准确对齐、三维高斯分布的有效学习以及避免单一模态的过拟合等。这些问题的解决，不仅提升了重建图像的质量，还降低了模型的存储成本，对学术研究具有重要的推动作用。

衍生相关工作

基于RGBT-Scenes数据集，已衍生出多项相关工作，如ThermalGaussian方法，它不仅实现了高质量图像的实时渲染，还通过引入多模态正则化约束，显著降低了模型存储成本。这些衍生工作进一步扩展了数据集的应用范围，为相关领域的研究提供了新的视角和方法。