IllumHarmony-Dataset

我们构建了一个大规模的合成图像和谐化数据集（我们称之为IllumHarmony-Dataset），其中每对未和谐化和地面实况图像都包含由不同照明引起的阴影变化。与广泛使用的iHarmony4数据集相比，我们的数据集中的阴影变化与现实世界的图像和谐化非常一致。它对现有的图像和谐化工作提出了更大的挑战。

We have constructed a large-scale synthetic image harmonization dataset, which we refer to as the IllumHarmony-Dataset. Each pair of unharmonized and ground truth images in this dataset includes variations in shadows caused by different lighting conditions. Compared to the widely used iHarmony4 dataset, the shadow variations in our dataset are highly consistent with real-world image harmonization. This presents a greater challenge to existing image harmonization efforts.

原始信息汇总

IllumHarmony-Dataset 概述

数据集描述

• 名称: IllumHarmony-Dataset
• 用途: 用于学习Shading-aware Illumination Descriptor的图像和谐化研究
• 特点: 数据集中的每对未和谐化和地面实况图像包含由不同光照引起的阴影变化，更符合真实世界的图像和谐化情况，对现有图像和谐化工作构成更大挑战。

数据集构建

• 来源: 收集的模型和光照均来自真实世界，旨在实现照片级真实感的渲染。
• 详细信息: 构建流程和更多细节可在相关论文中找到。

数据集统计

• 总量: 包含143,390张训练图像和22,048张测试图像。
• 分类: 根据光照条件分为四个类别：晴天、日出/日落、多云、夜晚。

类别	晴天	日出/日落	多云	夜晚	总计
训练图像数	62,074	27,471	48,051	5,794	143,390
测试图像数	10,472	3,608	7,508	460	22,048

数据下载

• 大小: 约87GB
• 下载链接: 可通过OneDrive或BaiduCloud下载。

数据加载

• 训练数据加载: 使用python data_utils/train_dataloader.py脚本，随机选择前景光照以增加数据集多样性。
• 测试数据加载: 使用python data_utils/test_dataloader.py脚本，获取输入图像、掩码、地面实况、反照率图像和阴影图像。

用户研究数据

• 额外数据集: 包含58张真实合成图像，用于用户研究。

引用信息

• 引用格式: 见README文件中的引用部分。

搜集汇总

数据集介绍

构建方式

IllumHarmony-Dataset的构建基于大规模合成图像和谐化数据集的理念，旨在捕捉因不同光照条件引起的阴影变化。该数据集的构建过程包括从现实世界中收集模型和光照数据，以实现照片级的渲染效果。具体而言，数据集中的每一对未和谐化图像和真实图像都包含了由不同光照引起的阴影变化，从而更贴近真实世界的图像和谐化需求。详细的构建方法在相关论文中有进一步阐述。

特点

IllumHarmony-Dataset的主要特点在于其高度的真实性和挑战性。与广泛使用的iHarmony4数据集相比，该数据集在未和谐化图像与真实图像之间的阴影变化更加符合现实场景，为现有的图像和谐化工作提出了更高的要求。数据集包含了143,390张训练图像和22,048张测试图像，覆盖了多种光照条件，如晴天、日出/日落、阴天和夜晚，确保了数据的多样性和广泛性。

使用方法

使用IllumHarmony-Dataset时，用户可以通过提供的Python脚本加载训练和测试数据。训练数据的加载脚本允许用户从渲染的原始数据中获取复合训练数据，同时随机选择前景光照以增加数据集的多样性。测试数据的加载脚本则提供了输入图像、掩码、真实图像以及反照率和阴影图像。此外，用户还可以直接下载最终合成的图像数据，以便快速使用。

背景与挑战

背景概述

IllumHarmony-Dataset是由Hu等人于2023年创建的，旨在解决图像和谐化领域中的光照和阴影变化问题。该数据集由西北工业大学（NPU）的研究团队开发，核心研究问题是如何在图像和谐化过程中有效处理由不同光照条件引起的阴影变化。与广泛使用的iHarmony4数据集相比，IllumHarmony-Dataset通过引入真实世界的光照和阴影变化，显著提升了数据集的挑战性和实用性。该数据集包含143,390张训练图像和22,048张测试图像，涵盖了多种光照条件，如晴天、日出/日落、阴天和夜晚。IllumHarmony-Dataset的发布为图像和谐化领域的研究提供了新的基准，推动了该领域的发展。

当前挑战

IllumHarmony-Dataset在构建过程中面临了多个挑战。首先，如何从真实世界中捕捉并模拟光照和阴影变化，以确保数据集的真实性和多样性，是一个技术难题。其次，数据集的规模庞大，处理和存储这些数据需要高效的计算资源和存储解决方案。此外，为了提高数据集的多样性，研究团队在训练数据中随机选择了前景光照，这增加了数据处理的复杂性。最后，如何在保持数据质量的同时，确保数据集能够广泛应用于不同的图像和谐化算法，也是一个重要的挑战。这些挑战不仅推动了数据集构建技术的发展，也为图像和谐化领域的研究提供了新的思路和方法。

常用场景

经典使用场景

IllumHarmony-Dataset 主要用于图像和谐化任务，特别是在处理由于不同光照条件引起的阴影变化方面。该数据集通过提供大量合成图像对，包括未和谐化的图像和对应的真实光照条件下的图像，为研究者提供了一个挑战性的基准。这些图像对的光照变化与现实世界中的图像和谐化问题高度一致，使得该数据集成为评估和改进现有图像和谐化算法的重要工具。

实际应用

IllumHarmony-Dataset 在实际应用中具有广泛的前景，特别是在图像编辑和增强领域。例如，在图像合成、电影制作和广告设计中，图像和谐化技术可以有效解决由于不同光照条件导致的图像不协调问题。此外，该数据集还可用于开发更智能的图像处理工具，帮助用户在不同光照条件下自动调整图像，提升图像质量和视觉效果。

衍生相关工作

IllumHarmony-Dataset 的发布激发了许多相关研究工作，特别是在图像和谐化和光照估计领域。例如，基于该数据集的算法改进和模型优化工作层出不穷，推动了图像和谐化技术的快速发展。此外，该数据集还为其他相关领域的研究提供了新的思路，如光照估计、阴影去除和图像增强等，进一步扩展了其在计算机视觉领域的应用范围。