Our illumination and sensor mapping dataset

本文介绍了一个创新的数据集，用于研究在不同光照和传感器之间的RAW图像映射。该数据集由AI中心-多伦多、三星电子、约克大学电气工程与计算机科学系以及谷歌研究院的研究人员共同创建。数据集包含了在多种光照条件下由四台不同相机拍摄的18个场景的RAW图像，共390种不同的光照和18个场景。该数据集旨在为深度学习方法提供丰富的数据支持，以解决RAW图像数据集捕获的挑战。数据集的创建过程包括使用定制的可调光箱和多种光源来模拟真实世界的光照条件，并使用四台不同的相机进行拍摄。该数据集可应用于神经ISP训练，以实现从RAW到sRGB的渲染，从而为智能手机等设备提供高质量的图像输出。

This paper presents an innovative dataset for investigating RAW image mapping across varying lighting conditions and sensors. This dataset was collaboratively developed by researchers from the AI Centre at the University of Toronto, Samsung Electronics, the Department of Electrical Engineering and Computer Science at York University, and Google Research. It comprises RAW images of 18 scenes captured by four distinct cameras under diverse lighting conditions, with a total of 390 unique lighting configurations across the 18 scenes. The dataset is intended to provide rich data support for deep learning approaches to address the challenges associated with RAW image dataset acquisition. The creation of this dataset utilized a custom adjustable light box and multiple light sources to simulate real-world lighting environments, with images captured using four different cameras. This dataset can be applied to neural ISP training for RAW-to-sRGB rendering, thereby facilitating high-quality image output on devices such as smartphones.

搜集汇总

数据集介绍

构建方式

在计算摄影学领域，RAW图像数据集的构建面临传感器与光照条件高度耦合的挑战。该数据集通过定制化光谱可调光源系统，在GTI光箱内精确控制390种照明条件的光谱功率分布，涵盖自然光照与商业照明等多种场景。采用四款主流相机设备（包括三款智能手机和一款单反相机）对18个场景进行同步采集，其中13个为真实物体场景，4个为定制色卡场景，1个为标准X-Rite色卡场景。所有图像均在暗室环境中使用三脚架固定拍摄，通过专业设备确保照明均匀性，最终形成超过8500张RAW格式图像的数据集合。

使用方法

该数据集支持两种核心应用模式：光照映射与传感器映射。在光照映射任务中，通过多层感知器网络学习源照明与目标照明间的3×3变换矩阵，将特定传感器拍摄的RAW图像转换为目标照明条件下的虚拟图像。传感器映射则采用类似架构，在固定照明条件下学习不同传感器间的色彩空间转换关系。数据集已划分明确的训练、验证和测试子集，支持端到端的模型训练与评估。在下游任务中，该数据集可有效支撑神经图像信号处理器的训练，通过合成数据增强策略显著降低实际数据采集的成本与复杂度。

背景与挑战

背景概述

由三星电子多伦多AI中心联合约克大学和谷歌研究院于2025年提出的光照与传感器映射数据集，开创性地解决了RAW图像处理领域的核心难题。该数据集通过定制化可调光谱光源系统，在GTI光照箱中精准采集了18个场景在390种不同光照条件下的多相机RAW图像，涵盖三星S22系列、谷歌Pixel 6和佳能单反四款主流成像设备。其核心研究目标在于建立RAW图像在光照条件与传感器型号间的双向映射关系，为深度学习驱动的图像信号处理技术提供了前所未有的标准化基准，显著推动了计算摄影领域的创新发展。

当前挑战

该数据集面临的双重挑战体现在领域问题与构建过程两个维度。在领域层面，RAW图像固有的传感器特异性色彩空间与未白平衡特性，使得传统图像增强方法难以实现准确的光照迁移和传感器适配，而现有基于色卡的映射方法受限于样本多样性不足。在构建层面，数据集采集需克服多设备光学对齐难题，通过精密控制的光谱功率分布复现技术确保光照条件的一致性，同时需解决不同传感器动态范围差异带来的数据标准化问题，这些技术瓶颈的突破为后续研究奠定了重要基础。

常用场景

经典使用场景

在计算机视觉领域，RAW图像数据增强是提升模型泛化能力的关键环节。该数据集通过可调光谱照明系统捕获多场景、多传感器的RAW图像，为研究光照与传感器映射问题提供了标准化基准。其经典应用体现在训练轻量级神经网络，实现RAW图像在不同光照条件和传感器间的精准转换，有效支撑了低层视觉任务的算法开发与验证。

解决学术问题

该数据集解决了RAW图像领域长期存在的数据采集瓶颈问题。传统方法依赖有限照明条件和单一传感器数据，难以满足深度学习对多样化数据的需求。通过提供390种照明光谱、四类传感器和18类场景的密集采样数据，显著推进了光照-光照映射与传感器-传感器映射的理论研究，为色彩恒常性、跨设备图像适配等核心问题提供了可靠实证基础。

实际应用

该数据集的实际价值在移动计算摄影领域尤为突出。通过构建传感器无关的RAW图像合成管道，大幅降低了神经图像信号处理器（Neural ISP）的开发成本。例如在智能手机多摄像头系统中，仅需少量目标传感器数据即可生成高质量训练样本，使厂商能快速适配新型传感器硬件，同时保证了图像色彩还原的工业级精度。

数据集最近研究

最新研究方向

在计算摄影与计算机视觉领域，RAW图像因其直接反映传感器光谱响应与场景光照特性而成为研究焦点。该数据集通过构建包含390种光照条件、四款相机传感器及18个场景的标准化采集环境，首次系统性地解决了RAW图像在跨光照与跨传感器映射中的关键挑战。前沿研究聚焦于轻量化多层感知机模型的应用，仅需1481个参数即可实现光照间与传感器间的色彩空间转换，显著优于传统对角矩阵与KNN方法。这一突破性进展直接推动了神经图像信号处理器的训练效率，通过合成数据生成有效降低了多传感器数据采集的负担，为移动端计算摄影与自适应ISP开发提供了新的技术范式。

相关研究论文

• 通过

  AI Center-Toronto, Samsung Electronics; Department of Electrical Engineering and Computer Science, York University; Google Research · 2025年