iHarmony4

iHarmony4是第一个大规模的图像和谐化公共基准数据集，包含四个子数据集：HCOCO、HAdobe5k、HFlickr和Hday2night。每个子数据集都包含合成的复合图像、复合图像的前景掩码以及相应的真实图像。

iHarmony4 is the first large-scale public benchmark dataset for image harmonization, comprising four sub-datasets: HCOCO, HAdobe5k, HFlickr, and Hday2night. Each sub-dataset includes synthetic composite images, foreground masks of the composite images, and corresponding real images.

原始信息汇总

数据集概述

数据集名称

iHarmony4

数据集描述

iHarmony4 是首个大规模图像和谐化数据集，旨在通过调整合成图像的前景外观，使其与背景区域保持一致。该数据集包含四个子数据集：HCOCO, HAdobe5k, HFlickr, 和 Hday2night，每个子数据集都包含合成复合图像、复合图像的前景掩码以及相应的真实图像。

子数据集详情

1. HCOCO

• 来源：基于Microsoft COCO数据集。
• 内容：包含42k合成复合图像，使用多种颜色转移方法编辑前景区域的颜色。
• 存储：提供于Baidu Cloud (access code: ab5e) 和 OneDrive。

2. HAdobe5k

• 来源：基于MIT-Adobe FiveK数据集。
• 内容：手动分割前景区域，并在两个版本之间交换前景。
• 存储：提供于Baidu Cloud 和 OneDrive。

3. HFlickr

• 来源：收集自Flickr的4833张图像。
• 内容：手动分割前景区域，使用与HCOCO相同的方法生成。
• 存储：提供于Baidu Cloud 和 OneDrive。

4. Hday2night

• 来源：基于day2night数据集。
• 内容：手动分割前景区域，将其裁剪并覆盖在不同时间拍摄的另一张图像上。
• 存储：提供于Baidu Cloud 和 OneDrive。

数据集统计

	HCOCO	HAdobe5k	HFlickr	Hday2night	iHarmony4
训练集	38545	19437	7449	311	65742
测试集	4283	2160	828	133	7404

数据集存储

iHarmony4 数据集提供于Baidu Cloud (access code: kqz3) 和 OneDrive。

搜集汇总

数据集介绍

构建方式

iHarmony4数据集的构建基于四个子数据集：HCOCO、HAdobe5k、HFlickr和Hday2night。每个子数据集均通过将一个图像的前景区域与另一个图像的背景区域合成生成。HCOCO基于Microsoft COCO数据集，使用多种颜色转移方法编辑前景区域；HAdobe5k基于MIT-Adobe FiveK数据集，手动分割前景并交换不同版本的前景；HFlickr从Flickr收集图像，手动分割前景并采用类似HCOCO的方法生成；Hday2night则基于day2night数据集，手动分割前景并将其叠加在不同时间拍摄的背景上。

特点

iHarmony4数据集的显著特点在于其大规模和多样性。它包含了65742张训练图像和7404张测试图像，涵盖了多种场景和光照条件。每个子数据集都提供了合成图像、前景掩码和对应的实际图像，使得研究者能够进行深入的图像和谐化研究。此外，数据集还提供了多种颜色转移方法的实现，进一步增强了其研究价值。

使用方法

使用iHarmony4数据集时，用户可以通过下载数据集并安装PyTorch及相关依赖库进行模型训练和测试。数据集支持多种深度学习框架，用户可以通过指定数据集路径和实验名称来训练和测试模型。训练过程中，用户可以通过Visdom实时查看训练结果和损失图。测试时，模型会输出评估指标如MSE和PSNR，并将和谐化后的图像保存到指定目录。此外，数据集还提供了预训练模型，用户可以直接使用这些模型进行测试和评估。

背景与挑战

背景概述

图像和谐化（Image Harmonization）是调整合成图像的前景区域，使其与背景区域在视觉上保持一致的技术。随着图像编辑技术的普及，生成真实的合成图像变得相对容易，但如何使这些合成图像在视觉上和谐一致仍然是一个具有挑战性的问题。iHarmony4数据集由上海交通大学BCMI实验室于2020年发布，是首个大规模的图像和谐化数据集，包含四个子数据集：HCOCO、HAdobe5k、HFlickr和Hday2night。该数据集不仅提供了合成图像及其前景掩码，还提供了对应的原始真实图像，极大地推动了图像和谐化领域的研究进展。

当前挑战

iHarmony4数据集的构建面临多个挑战。首先，合成图像的生成需要精确的前景分割和颜色转移技术，以确保合成图像的视觉一致性。其次，由于缺乏高质量的公开数据集，研究人员在构建过程中需要手动处理大量图像，增加了数据集构建的复杂性和时间成本。此外，图像和谐化任务本身也面临挑战，如如何在不同光照、颜色和纹理条件下实现前景与背景的自然融合，以及如何处理不同场景和时间段的图像合成问题。这些挑战使得iHarmony4数据集在推动图像和谐化技术发展的同时，也为相关研究提出了更高的要求。

常用场景

经典使用场景

iHarmony4数据集在图像和谐化领域中具有经典的使用场景，主要用于训练和评估图像和谐化算法。该数据集通过合成图像与真实图像的对比，帮助模型学习如何调整前景区域的颜色和光照，使其与背景区域更加协调。这种场景在图像编辑、摄影后期处理以及虚拟场景合成中尤为重要，能够显著提升合成图像的真实感和视觉一致性。

衍生相关工作

iHarmony4数据集的发布催生了一系列相关的经典工作，推动了图像和谐化领域的研究进展。例如，基于该数据集，研究人员提出了多种深度学习模型，如DoveNet、CDTNet和iSSAM等，这些模型在图像和谐化任务中表现出色。此外，该数据集还启发了其他相关研究，如图像合成、图像修复和图像风格迁移等，进一步拓展了计算机视觉的应用领域。通过这些衍生工作，iHarmony4数据集不仅提升了图像和谐化的技术水平，还为其他图像处理任务提供了宝贵的参考。

数据集最近研究

最新研究方向

在图像和谐化领域，iHarmony4数据集的最新研究方向主要集中在深度学习模型的优化与创新上。研究者们致力于开发能够更精确地调整前景与背景颜色一致性的算法，以提升合成图像的自然度。近年来，基于Transformer的模型如D-HT在图像和谐化任务中表现出色，展示了其在捕捉全局和局部特征方面的优势。此外，自监督学习框架如SSH也逐渐成为研究热点，通过减少对大量标注数据的依赖，推动了图像和谐化技术的进一步发展。这些研究不仅提升了图像和谐化的效果，还为相关应用如图像编辑、虚拟现实等领域提供了技术支持。