Image_Harmonization_Datasets

Image Harmonization数据集是一个合成数据集，用于图像和谐化任务，包含4个子数据集：HCOCO、HAdobe5k、HFlickr和Hday2night。每个子数据集都包含合成的复合图像、复合图像的前景掩码以及相应的真实图像。整个数据集在百度云上提供。

The Image Harmonization dataset is a synthetic dataset designed for image harmonization tasks, comprising four sub-datasets: HCOCO, HAdobe5k, HFlickr, and Hday2night. Each sub-dataset includes synthetic composite images, foreground masks of the composite images, and corresponding real images. The entire dataset is available on Baidu Cloud.

原始信息汇总

数据集概述

Image Harmonization Datasets 是一个用于图像和谐化任务的合成数据集，旨在调整合成图像的前景外观，使其与背景区域保持一致。该数据集包含四个子数据集：HCOCO, HAdobe5k, HFlickr, 和 Hday2night，每个子数据集都包含合成的复合图像、复合图像的前景掩码以及相应的真实图像。

子数据集详情

子数据集	训练集数量	测试集数量
HCOCO	38545	4283
HAdobe5k	19437	2160
HFlickr	7449	828
Hday2night	311	133

HCOCO

• 来源：基于Microsoft COCO数据集生成。
• 特点：使用各种颜色转移方法编辑COCO图像的前景区域。

HAdobe5k

• 来源：基于MIT-Adobe FiveK数据集生成。
• 特点：手动分割前景区域，并在两个版本之间交换前景。

HFlickr

• 来源：收集自Flickr的4833张图像。
• 特点：手动分割前景区域后，使用与HCOCO相同的方法生成。

Hday2night

• 来源：基于day2night数据集生成。
• 特点：手动分割前景区域，并将其覆盖在不同时间拍摄的另一张图像上。

数据集访问

• 存储位置：整个数据集提供在Baidu Cloud。

引用信息

• BibTeX引用：

  @misc{ title={Deep Image Harmonization via Domain Verification}, author={Wenyan Cong and Jianfu Zhang and Li Niu and Liu Liu and Zhixin Ling and Weiyuan Li and Liqing Zhang}, year={2019}, eprint={1911.13239}, archivePrefix={arXiv}, primaryClass={cs.CV}}

搜集汇总

数据集介绍

构建方式

Image_Harmonization_Datasets 是一个专为图像和谐化任务设计的合成数据集，旨在通过调整前景外观使其与背景区域一致。该数据集包含四个子数据集：HCOCO、HAdobe5k、HFlickr 和 Hday2night。每个子数据集均通过将不同图像的前景与背景组合生成合成图像，并提供了前景掩码和对应的真实图像。HCOCO 基于 Microsoft COCO 数据集生成，HAdobe5k 基于 MIT-Adobe FiveK 数据集生成，HFlickr 从 Flickr 收集图像，而 Hday2night 则基于 day2night 数据集生成。所有数据均通过手动分割前景区域并结合多种颜色转移方法进行处理。

特点

该数据集的特点在于其多样性和高质量。每个子数据集均提供了大量的合成图像，涵盖了不同的场景和光照条件。HCOCO 包含 42,000 张合成图像，HAdobe5k 提供了 19,437 张训练图像和 2,160 张测试图像，HFlickr 和 Hday2night 则分别提供了 7,449 张和 311 张训练图像。这些数据集的多样性使得其能够广泛应用于图像和谐化任务的研究与开发。此外，数据集还提供了前景掩码和真实图像，为模型的训练和评估提供了丰富的参考。

使用方法

该数据集的使用方法较为灵活，用户可以通过 Baidu Cloud 下载各个子数据集及其训练/测试集。数据集的结构清晰，便于直接用于模型训练和测试。用户可以根据需要选择不同的子数据集进行实验。此外，数据集还提供了多个基线模型的实现代码，包括 Lalonde、Xue、Zhu、DIH 和 U-net 等，用户可以根据这些代码快速搭建和训练自己的模型。具体使用时，用户需根据代码中的说明设置路径和参数，并按照提供的命令进行训练和测试。

背景与挑战

背景概述

图像和谐化（Image Harmonization）是计算机视觉领域中的一个重要研究方向，旨在通过调整前景区域的外观，使其与背景区域保持一致，从而生成视觉上和谐的自然图像。尽管合成图像易于生成，但高质量的和谐化输出往往需要大量的时间和专业技能。因此，公开的高质量图像和谐化数据集极为稀缺。Image_Harmonization_Datasets由Wenyan Cong等人于2019年创建，包含HCOCO、HAdobe5k、HFlickr和Hday2night四个子数据集，分别基于Microsoft COCO、MIT-Adobe FiveK、Flickr和day2night数据集构建。该数据集通过合成图像、前景掩码和真实图像的组合，为图像和谐化研究提供了丰富的实验数据，推动了该领域的发展。

当前挑战

图像和谐化数据集面临的主要挑战包括两个方面。首先，图像和谐化任务本身具有较高的复杂性，要求模型能够精确捕捉前景与背景之间的光照、颜色和纹理等视觉特征的一致性，这对算法的鲁棒性和泛化能力提出了极高的要求。其次，在数据集的构建过程中，如何生成高质量的合成图像并确保其与真实图像的视觉一致性是一个关键难题。尽管通过手动分割和颜色迁移等方法可以生成大量合成数据，但这一过程耗时且依赖于人工干预，难以完全自动化。此外，数据集的多样性和规模也直接影响模型的训练效果，如何平衡数据集的多样性与标注成本，是构建过程中需要解决的另一大挑战。

常用场景

经典使用场景

Image_Harmonization_Datasets 数据集在图像处理领域中被广泛用于图像和谐化任务。通过将前景与背景进行视觉上的调整，使得合成图像看起来更加自然和真实。该数据集包含了HCOCO、HAdobe5k、HFlickr和Hday2night四个子数据集，每个子数据集都提供了合成图像、前景掩码和对应的真实图像，为研究者提供了丰富的实验材料。

解决学术问题

该数据集解决了图像和谐化领域中的一个关键问题，即如何自动调整合成图像的前景，使其与背景在颜色、光照和纹理上保持一致。通过提供高质量的合成图像和真实图像对，研究者可以训练和验证各种图像和谐化算法，从而推动该领域的技术进步。

衍生相关工作

基于该数据集，研究者们提出了多种经典的图像和谐化算法，如Lalonde的颜色兼容性方法、Xue的图像合成现实主义改进方法、Zhu的判别模型以及DIH和U-net等深度学习模型。这些工作不仅推动了图像和谐化技术的发展，还为后续研究提供了重要的参考和基础。