ISR和RSR

本文介绍了两个新的数据集：ISR（Intrinsic Scene Relighting Dataset）和RSR（Real Scene Relighting Dataset），专门用于单图像场景重新照明任务。ISR是一个合成数据集，包含7801个场景，每个场景在10种不同光照条件下生成，提供了反射和阴影的地面真实值。RSR是一个真实世界数据集，包含576个场景，每个场景在36种不同光照条件下拍摄，旨在验证方法在真实场景中的有效性。这两个数据集共同解决了现有数据集在重新照明任务中的不足，特别是在处理任意光照条件下的图像重新照明问题。

This paper introduces two novel datasets: ISR (Intrinsic Scene Relighting Dataset) and RSR (Real Scene Relighting Dataset), which are specifically designed for the task of single-image scene relighting. ISR is a synthetic dataset consisting of 7801 scenes, each generated under 10 distinct lighting conditions, with ground-truth values for reflections and shadows provided. RSR is a real-world dataset containing 576 scenes, each captured under 36 different lighting conditions, aiming to validate the effectiveness of methods in real-world scenarios. These two datasets collectively address the shortcomings of existing datasets for relighting tasks, particularly in handling image relighting under arbitrary lighting conditions.

原始信息汇总

数据集概述

数据集描述

该仓库包含论文的官方代码、数据和视频结果。

数据集列表

• ISR: Intrinsic Scene Relighting Dataset
• RSR: Real Scene Relighting Dataset

数据集状态

• 数据集正在上传中，将在评审后发布。

搜集汇总

数据集介绍

构建方式

ISR和RSR数据集的构建方式独具匠心。ISR数据集通过Blender渲染引擎生成，包含7801个场景，每个场景在10种不同光照条件下呈现，且每个场景包含3到10个从ShapeNet数据集中随机选择的非重叠对象。RSR数据集则在实验室环境中采集，使用DSLR Nikon D5200相机捕捉图像，场景区域由3×3多色LED矩阵照明，背景和对象的选择经过精心设计，以确保数据的多样性和复杂性。

特点

ISR和RSR数据集的显著特点在于其丰富的光照条件和场景复杂性。ISR数据集提供了内在组件的地面真实值，使得研究者可以在合成环境中进行精确的实验和验证。RSR数据集则通过真实场景的采集，验证了方法在实际应用中的有效性。两者共同解决了现有数据集在光照条件和场景多样性方面的不足。

使用方法

使用ISR和RSR数据集时，研究者可以利用其丰富的光照条件和场景多样性进行单图像场景重光照的研究。通过训练深度学习模型，研究者可以实现从单张图像中推断出场景的内在属性，并根据目标光照条件生成新的图像。数据集的公开可用性为不同光照条件下的图像重光照提供了坚实的基础，促进了相关领域研究的进一步发展。

背景与挑战

背景概述

ISR和RSR数据集由Yixiong Yang、Hassan Ahmed Sial、Ramon Baldrich和Maria Vanrell等研究人员于2023年创建，旨在解决单张图像场景重光照问题。这些数据集分别包括一个合成数据集和一个真实数据集，旨在缓解现有数据集的稀缺性。ISR数据集包含7801个场景，每个场景在10种不同的光照条件下生成，而RSR数据集则在一个受控的实验室环境中收集，包含576个场景。这些数据集的创建不仅为重光照任务提供了丰富的训练和验证资源，还通过引入物理一致性约束，推动了深度学习在图像重光照领域的应用。

当前挑战

尽管ISR和RSR数据集在单张图像场景重光照领域取得了显著进展，但仍面临若干挑战。首先，重光照任务需要消除原始光照条件的影响，特别是阴影和投射阴影的消除，这需要从图像中推断出场景对象的内在形状属性。其次，基于目标光照条件和估计的形状属性，场景必须重新渲染，并生成新的阴影。此外，从特定场景（如人脸或单个对象）过渡到更广泛的通用场景时，任务的复杂性增加，因为需要考虑多个对象之间的阴影交互。最后，现有的方法在阴影去除、生成和对象边缘处理方面仍存在显著的噪声效应。这些挑战表明，尽管数据集的创建为研究提供了新的维度，但单张图像场景重光照问题仍需进一步探索和优化。

常用场景

经典使用场景

ISR和RSR数据集在单图像场景重照明任务中展现了其经典应用场景。这些数据集通过提供合成和真实场景的内在组件地面实况，使得研究人员能够在任意光照条件下生成重照明图像。经典使用场景包括但不限于增强现实（AR）中的光照调整、专业摄影中的美学增强以及照片蒙太奇中的光照一致性处理。通过这些数据集，研究人员可以开发和验证基于深度学习的重照明方法，确保在不同光照条件下的图像真实性和物理一致性。

衍生相关工作

ISR和RSR数据集的引入催生了多项相关经典工作。首先，基于这些数据集，研究人员开发了多种深度学习模型，如两阶段网络架构，用于解决单图像重照明问题。其次，这些数据集促进了无监督和半监督学习方法在内在分解和重照明任务中的应用。此外，数据集的物理一致性要求推动了物理约束在深度学习模型中的集成，提高了生成图像的真实感。最后，这些数据集还激发了在不同光照条件下的图像编辑和处理技术的研究，扩展了其在实际应用中的潜力。

数据集最近研究

最新研究方向

在计算机视觉领域，单图像场景重照明（relighting）的研究近年来取得了显著进展。最新的研究方向集中在开发能够处理任意光照条件下的重照明任务的深度学习架构。这一领域的研究不仅关注于生成逼真的新光照条件下的图像，还致力于解决现有数据集稀缺的问题。例如，Yang等人提出的ISR和RSR数据集，通过提供合成和真实场景的详细光照信息，极大地丰富了研究资源。这些数据集的引入不仅推动了重照明方法的发展，还促进了物理一致性在重照明过程中的应用。此外，基于内在分解（intrinsic decomposition）的深度网络架构被提出，以在缺乏内在分解真值数据的情况下实现无监督学习，从而在性能上超越了现有方法。这些研究为增强现实、专业摄影和图像编辑等领域提供了新的技术支持，展示了在复杂场景下进行高效且准确重照明的潜力。

相关研究论文

• Relighting from a Single Image: Datasets and Deep Intrinsic-based Architecture

  巴塞罗那自治大学计算机视觉中心 · 2024年