MIRAGE

MIRAGE是一个大规模对齐的RGB-热红外数据集，用于可扩展的多光谱转换。该数据集包含547k对齐的RGB-TIR图像，具有平台多样性（CCTV、汽车、无人机、手持设备）、场景多样性（城市/郊区、室内/室外）、时间多样性（白天、中午、夜晚）和环境多样性（季节、天气）。此外，还提供灵活的色调映射（8位和14位TIR图像）和广泛的基准测试（评估最先进的GAN和扩散模型）。

MIRAGE is a large-scale aligned RGB-Thermal Infrared (TIR) dataset for scalable multispectral translation. This dataset contains 547k aligned RGB-TIR image pairs, featuring diverse acquisition platforms (CCTV, vehicles, drones, handheld devices), diverse scenarios (urban/suburban, indoor/outdoor), diverse temporal conditions (daytime, noon, nighttime), and diverse environmental conditions (seasons, weather). Moreover, flexible tone mapping options for both 8-bit and 14-bit TIR images are provided, along with comprehensive benchmarks for evaluating state-of-the-art GANs and diffusion models.

原始信息汇总

MIRAGE: 大规模对齐的RGB-热红外数据集

数据集概述

• 名称: MIRAGE (Large-Scale Aligned RGB-Thermal Infrared Dataset)
• 用途: 用于可扩展的多光谱转换研究
• 规模: 547k对齐的RGB-TIR图像对
• 特点:
  • 平台多样性: CCTV、汽车、无人机、手持设备
  • 场景多样性: 城市/郊区、室内/室外
  • 时间多样性: 白天、中午、夜晚
  • 环境多样性: 季节、天气
  • 灵活色调映射: 提供8位和14位TIR图像
  • 广泛基准测试: 评估最先进的GAN和扩散模型

数据集组成

户外数据集

数据集名称	训练集	测试集	额外数据	场景	天气	季节	地点	平均分辨率
MS²	93,746	18,896	84,358	校园、城市、住宅区	晴朗、多云、雨天	夏季	韩国	544 × 191
STHeReO	46,437	9,745	-	校园、郊区	晴朗	夏季	韩国	601 × 245
ViViD	35,796	14,597	-	校园	晴朗、多云	春季	韩国	629 × 497
NSAVP	65,333	78,823	-	城市、郊区	晴朗、多云	夏季	韩国	640 × 512
CAMEL (Outdoor)	8,581	4,482	-	校园、道路、城市	晴朗、多云、雪	春季、秋季、冬季	美国	404 × 230
TRI2I	19,768	11,913	-	校园、道路	晴朗、多云	春季、夏季	美国	229 × 228
METU-VisTIR	33	1,052	-	校园	晴朗	-	土耳其	632 × 497
MIRAGE Outdoor	269,694	139,508	84,358	-	-	-	-	-

室内数据集

数据集名称	训练集	测试集	额外数据	场景	天气	季节	地点	平均分辨率
Trimodal	4,550	2,653	-	房间	-	-	奥地利	640 × 480
MultiSpectralMotion	11,575	5,777	3,647	房间	-	-	中国	640 × 480
OdomBeyondVision	20,904	4,372	-	房间	-	-	英国	328 × 249
CAMEL (Indoor)	221	117	-	大厅	-	-	美国	404 × 230
MIRAGE Indoor	37,250	12,919	88,005	-	-	-	-	-

总计

数据集名称	训练集	测试集	额外数据
MIRAGE	306,944	152,427	88,005
MIRAGE Raw	278,341	130,491	88,005

数据集结构

MIRAGE ├── {$DATASET_NAME} | └── {$SEQUENCE_NAME} | ├── RGB | | ├── 1.jpg | | └── ... | └── TIR | ├── 1.jpg | └── ... ├── ... ├── ViVID | ├── img_campus_day1 | | ├── RGB | | | ├── 000001.png | | | └── ... | | └── TIR | | ├── 000001.png | | └── ... | ├── ... ├── ...

下载

• Google Drive

基准评估

• 评估了最先进的RGB-TIR图像转换模型
• 评估了MIRAGE在RGB-TIR图像转换上的零样本性能

引用

@inproceedings{ }

搜集汇总

数据集介绍

构建方式

MIRAGE数据集作为多光谱图像翻译领域的重要资源，其构建过程体现了严谨的科学方法论。研究团队通过整合来自CCTV监控、车载设备、无人机及手持设备等多种采集平台的数据，构建了涵盖547k对齐RGB-热红外图像的大规模数据集。数据采集过程充分考虑了场景多样性，覆盖城市/郊区、室内/室外等不同环境，并纳入昼夜交替、季节变化及多种天气条件等时间维度因素，确保了数据在时空维度上的全面性。数据集采用严格的配准流程，确保每对RGB-TIR图像在空间上精确对齐，同时提供8位和14位两种热红外图像格式，为不同精度的研究需求提供了灵活性。

特点

MIRAGE数据集在规模和质量上都达到了行业领先水平。其最显著的特征在于前所未有的数据规模，包含超过54万组精确配准的RGB-TIR图像对，远超现有同类数据集。数据集展现出多维度的多样性特征：采集平台涵盖固定监控到移动设备等多种载体；场景类型包含城市街景、校园环境及室内空间等丰富场景；时间维度覆盖昼夜更替及四季变化；环境条件包含晴、阴、雨、雪等多种天气状况。特别值得一提的是，数据集同时提供8位标准格式和14位原始格式的热红外图像，为算法开发提供了更丰富的信息维度。这种全方位的多样性使MIRAGE成为测试算法鲁棒性的理想基准。

使用方法

MIRAGE数据集的使用遵循标准化的流程规范。数据集采用分层目录结构组织，按照不同子数据集和采集序列进行分类存储，每个序列下分别存放RGB和TIR图像文件夹。研究人员可通过官方提供的Google Drive链接获取完整数据集。在使用过程中，建议首先根据研究需求选择适当的子数据集，如专注于室外场景可优先考虑MS²或NSAVP子集。对于图像翻译任务，可利用提供的图像对训练生成对抗网络或扩散模型；对于跨模态分析，则可利用精确对齐的图像对研究RGB与热红外特征的相关性。数据集还包含预划分的训练集和测试集，便于进行标准化评估。为充分发挥14位原始数据的价值，建议开发专门的预处理流程来处理高动态范围热红外信息。

背景与挑战

背景概述

MIRAGE数据集由首尔国立大学和卡内基梅隆大学的研究团队于2025年推出，旨在解决多光谱图像转换领域的核心问题。作为目前规模最大的对齐RGB-热红外（TIR）数据集，MIRAGE包含54.7万组跨平台、跨场景的严格配准图像对，覆盖城市/郊区、室内/室外等多样化场景，并囊括昼夜交替、季节更迭及复杂天气条件下的数据变体。该数据集通过提供8位和14位两种热红外图像格式，为基于生成对抗网络（GAN）和扩散模型的多光谱转换算法建立了新的性能基准，显著推动了计算机视觉在夜视增强、环境感知等应用领域的发展。

当前挑战

在领域问题层面，MIRAGE致力于攻克多模态图像转换中存在的三大挑战：跨光谱域的特征对齐难题、低光照条件下热红外图像的信噪比优化问题，以及复杂场景中模态间语义一致性保持的瓶颈。数据集构建过程中，研究团队面临多源传感器时空同步校准的技术壁垒，需开发新型标定框架实现亚像素级配准精度；针对热红外图像动态范围压缩的量化损失问题，创新性地提出双精度存储方案；此外，为保障数据多样性，需协调全球多个研究机构完成跨地域、跨季节的大规模协同采集，这对质量控制体系提出了极高要求。

常用场景

经典使用场景

MIRAGE数据集作为大规模对齐的RGB-热红外数据集，在计算机视觉领域具有广泛的应用。其经典使用场景包括多光谱图像翻译、跨模态图像生成以及环境感知研究。通过提供547k对齐的RGB-TIR图像对，该数据集为研究人员在复杂环境下的视觉任务提供了丰富的数据支持。特别是在夜间或恶劣天气条件下，热红外图像的引入显著提升了视觉系统的鲁棒性。

衍生相关工作

围绕MIRAGE数据集已经衍生出多项重要研究工作。在图像翻译领域，研究人员基于该数据集提出了多种改进的GAN架构；在跨模态学习方面，产生了若干创新性的特征对齐方法；此外，数据集还促进了多任务学习框架的发展，这些工作都发表在计算机视觉顶级会议和期刊上，推动了相关领域的进步。

数据集最近研究

最新研究方向

近年来，多光谱图像翻译技术在计算机视觉领域展现出巨大的潜力，特别是在RGB与热红外（TIR）图像的转换方面。MIRAGE数据集的发布为这一领域注入了新的活力，其大规模对齐的RGB-TIR图像对为研究人员提供了丰富的实验素材。该数据集不仅涵盖了多样化的场景、时间和环境条件，还提供了8位和14位的TIR图像，为多光谱图像翻译的精度和鲁棒性研究提供了重要支持。当前，基于生成对抗网络（GAN）和扩散模型的多光谱图像翻译成为研究热点，MIRAGE数据集的广泛适用性使其成为评估这些先进模型的理想基准。此外，该数据集在零样本学习方面的表现也引起了学术界的广泛关注，为跨模态图像翻译的泛化能力研究提供了新的视角。