Tetras-Quad

Tetras-Quad数据集由南洋理工大学创建，专注于Quad-Bayer图像的重新马赛克处理。该数据集包含70个训练场景和15个验证场景，每场景提供不同噪声水平的Quad和Bayer图像对。数据采集自Quad传感器，涵盖室内外环境。创建过程涉及复杂的图像处理和噪声模拟。该数据集主要应用于移动智能摄影和图像处理领域，旨在解决高分辨率图像处理中的噪声和分辨率问题。

The Tetras-Quad Dataset was created by Nanyang Technological University, focusing on the demosaicing of Quad-Bayer images. This dataset includes 70 training scenes and 15 validation scenes, with paired Quad and Bayer images under varying noise levels provided for each scene. The data was collected from Quad sensors, covering both indoor and outdoor environments. The dataset creation process involves sophisticated image processing and noise simulation. This dataset is primarily utilized in the domains of mobile intelligent photography and image processing, aiming to address noise and resolution challenges in high-resolution image processing.

搜集汇总

数据集介绍

构建方式

在移动智能摄影与成像领域，Quad传感器因其高动态范围与低光性能而备受青睐，但标准图像信号处理器通常仅支持Bayer格式，这促使了Quad至Bayer的转换需求。Tetras-Quad数据集的构建采用了严谨的流程：首先，使用Quad传感器在室内外环境下捕获原始数据，并裁剪为2400×3600像素的尺寸；随后，通过平均2×2邻域内相同颜色的像素生成Qbin Bayer，并利用DemosaicNet进行去马赛克处理得到RGB图像；最后，将RGB图像重新马赛克化为Quad格式，并与地面真实Bayer对齐。此外，为模拟真实噪声条件，数据集在0dB原始Quad基础上合成了24dB和42dB的噪声版本，噪声模型基于Quad传感器实测数据，涵盖读取噪声与散粒噪声，确保了数据的高质量与实用性。

特点

Tetras-Quad数据集在移动计算摄影领域具有显著特色，其核心在于提供了首个对齐的Quad与Bayer配对数据，涵盖70个训练场景和15个验证场景，每个场景均包含三种噪声水平（0dB、24dB、42dB），这为联合去马赛克与去噪研究提供了丰富资源。数据集数据均源自真实Quad传感器捕获，覆盖多样光照环境，确保了内容的真实性与泛化能力；同时，通过合成噪声模拟了实际拍摄中的挑战，支持算法在保真度与细节保留方面的评估。该数据集还附带了数据加载器与简易图像信号处理器代码，便于研究者快速开展实验，推动了Quad重马赛克技术的标准化进程。

使用方法

Tetras-Quad数据集的使用旨在促进Quad至Bayer转换算法的开发与评估。研究者可通过官方提供的数据加载器读取Quad与Bayer配对数据，并利用简易图像信号处理器将Bayer输出可视化，计算基于RGB的损失函数。在模型训练阶段，建议结合数据增强技术（如裁剪、翻转）以提升泛化性能；评估时，采用峰值信噪比、结构相似性指数、学习感知图像块相似度与KL散度等多维度指标进行综合量化。数据集支持端到端训练，允许参与者引入外部公开数据，但最终测试需在封闭场景下完成，确保公平性。其设计兼顾了学术探索与工业应用，为移动平台上的高效图像处理算法提供了基准测试环境。

背景与挑战

背景概述

随着移动平台对计算摄影与成像技术需求的日益增长，开发并集成先进图像传感器与新型算法已成为行业趋势。然而，高质量研究数据的匮乏以及学术界与产业界深入交流机会的稀缺，制约了移动智能摄影与成像（MIPI）领域的发展。为弥合这一鸿沟，首届MIPI挑战赛于2022年应运而生，其中Quad-Bayer Re-mosaic赛道聚焦于将Quad CFA数据插值为全分辨率Bayer格式的核心任务。该赛道由SenseBrain、商汤科技、上海人工智能实验室及南洋理工大学等机构的研究人员共同组织，并推出了Tetras-Quad数据集，包含70个训练场景和15个验证场景的高质量Quad与Bayer配对数据，涵盖不同噪声水平，旨在推动移动设备图像重建算法的进步。

当前挑战

在移动计算摄影领域，Quad-Bayer Re-mosaic任务面临双重挑战。其一，算法需在保持高空间分辨率的前提下，将Quad模式转换为标准Bayer格式，同时有效抑制摩尔纹、伪色等重建伪影，并在不同噪声水平下实现鲁棒的联合去噪与重马赛克处理。其二，数据构建过程亦存在显著困难：由于缺乏公开的配对Quad-Bayer数据，研究团队需自主采集高质量原始数据，并通过精密校准确保Quad与Bayer间的严格对齐；此外，合成符合真实传感器噪声模型的噪声数据，以模拟多样化的拍摄环境，进一步增加了数据准备的复杂性。

常用场景

经典使用场景

在移动计算摄影领域，Tetras-Quad数据集为Quad-Bayer传感器到标准Bayer格式的转换研究提供了关键支持。该数据集通过提供高质量的Quad与Bayer对齐图像对，使研究人员能够开发高效的再马赛克算法，以消除图像中的摩尔纹和伪色等常见伪影。在正常光照条件下，Quad传感器通过再马赛克过程恢复至Bayer格式，确保了图像在标准图像信号处理器中的兼容性，为移动设备上的高质量成像奠定了算法基础。

解决学术问题

Tetras-Quad数据集主要解决了移动成像中Quad-Bayer传感器数据处理的学术难题，包括如何在保持高空间分辨率的同时实现从Quad到Bayer的高保真转换。该数据集通过提供不同噪声水平的合成数据，促进了联合再马赛克与去噪算法的研究，有效应对了低光照条件下图像质量下降的挑战。其意义在于推动了传感器与算法协同优化的研究范式，为移动智能摄影的图像重建理论提供了实证基础，加速了轻量级高效算法在资源受限平台上的部署。

衍生相关工作

围绕Tetras-Quad数据集，学术界衍生出多项经典研究工作，例如MIPI 2022挑战赛中参赛团队提出的多种深度学习架构。这些工作包括基于Transformer的CPAN网络、采用两阶段去噪与再马赛克范式的JDRMCANet，以及结合注意力机制与U形结构的HAUformer等。这些模型在提升图像保真度的同时，注重计算效率的优化，为后续移动端图像处理算法的设计提供了重要参考，并促进了传感器特定算法与通用深度学习框架的融合创新。