RPHarmony

RPHarmony数据集旨在解决图像调和任务中存在的细节保持和调和能力有限的问题。该数据集包含12,787个训练图像和1,422个测试图像，通过随机泊松混合技术生成，能够提供更加丰富和具有挑战性的合成图像。数据集的创建过程包括使用泊松混合直接将参考图像中随机区域的后景信息应用于修改真实图像的前景。RPHarmony数据集有助于模型在真实场景中实现更有效的图像调和。

The RPHarmony dataset aims to address the limited detail preservation and harmonization capabilities in image harmonization tasks. It contains 12,787 training images and 1,422 test images, which are generated via the random Poisson blending technique, providing richer and more challenging synthetic images. The dataset is created by directly applying background information from random regions of reference images to modify the foreground of real images using Poisson blending. The RPHarmony dataset helps models achieve more effective image harmonization in real-world scenarios.

搜集汇总

数据集介绍

构建方式

RPHarmony数据集的构建采用了创新的Random Poisson Blending技术，这是一种区域到区域的转换方法。该方法通过从参考图像的随机区域中提取颜色和光照信息，利用泊松混合技术将其应用到真实图像的前景上，从而生成具有丰富局部变化的合成图像。相较于传统的全局色彩转换方法，这一技术能够更好地模拟真实世界中的复杂光照条件，为图像协调任务提供了更具挑战性的训练数据。数据集包含12,787张训练图像和1,422张测试图像，均经过美学评分模型和人工筛选以确保质量。

特点

RPHarmony数据集的主要特点在于其合成图像的多样性和真实性。通过区域到区域的转换方法，数据集中的图像展现了丰富的局部色彩和光照变化，更接近真实场景中的复杂情况。数据集分为R-DUTS和R-ADE两个子集，覆盖日常生活场景，为模型训练提供了广泛的数据支持。与现有数据集相比，RPHarmony在保持全局协调的同时，更注重局部细节的真实性，有助于提升模型在实际应用中的泛化能力。

使用方法

使用RPHarmony数据集时，建议先利用iHarmony4等现有数据集进行预训练，再在RPHarmony上进行微调。数据集适用于基于潜在扩散模型（LDM）的图像协调任务，能够有效提升模型在细节保留和光照协调方面的性能。训练时可将图像调整为512×512分辨率进行训练，测试时则建议使用1024×1024分辨率以获得更佳效果。评估指标可采用PSNR、MSE、fMSE和SSIM等，以全面衡量模型的协调性能。

背景与挑战

背景概述

RPHarmony数据集由南京大学、浙江理工大学和电子艺术公司的研究人员于2025年提出，旨在解决生成式图像协调任务中的关键挑战。该数据集基于创新的区域到区域转换范式构建，通过随机泊松融合技术将参考图像的随机区域信息融入前景对象，从而生成具有复杂真实世界光照变化的合成图像。作为首个采用中间尺度区域操作的数据集，RPHarmony包含12,787张训练图像和1,422张测试图像，显著超越了传统基于全局色彩迁移方法构建的数据集（如iHarmony4）的多样性水平。该数据集的推出为图像协调领域提供了更接近真实场景的基准测试平台，推动了生成对抗网络和扩散模型在视觉一致性任务中的应用边界扩展。

当前挑战

RPHarmony数据集主要应对两大核心挑战：在领域问题层面，传统图像协调方法难以处理真实场景中复杂的局部光照变化与色彩动态，现有基于潜在扩散模型（LDM）的方法存在细节丢失与协调能力受限的双重困境；在构建过程层面，传统合成数据集依赖的全局色彩迁移技术无法模拟真实世界的光照交互，而随机泊松融合技术的开发需要解决区域选择优化、融合强度控制以及美学质量保持等关键技术难题。数据集构建过程中还需克服大规模高质量掩码标注获取成本高、合成图像真实性验证复杂等实际障碍，这些挑战促使研究者开发了包含自适应滤波器的Clear-VAE结构和掩码感知通道注意力机制等创新解决方案。

常用场景

经典使用场景

RPHarmony数据集在图像和谐化领域具有广泛的应用场景，特别是在生成对抗网络（GANs）和潜在扩散模型（LDMs）的研究中。该数据集通过随机泊松混合技术生成多样化的合成图像，为模型训练提供了丰富的样本。其经典使用场景包括图像背景替换、前景调整以及光照一致性增强等任务。通过区域到区域的转换方法，RPHarmony能够有效平衡全局和局部信息，提升图像和谐化的视觉效果。

衍生相关工作

RPHarmony数据集的推出催生了一系列相关研究工作。基于该数据集，研究者们开发了多种先进的图像和谐化模型，如R2R模型和Harmony Controller。这些模型通过结合自适应滤波器和掩码感知通道注意力机制（MACA），进一步提升了图像和谐化的性能。此外，RPHarmony还启发了对合成数据生成方法的新探索，例如随机泊松混合技术的改进和扩展，为后续研究提供了重要的技术参考。

数据集最近研究

最新研究方向

在计算机视觉领域，图像和谐化技术旨在通过调整前景元素，使其与背景在颜色、光照等低层次视觉线索上达到一致，从而提升合成图像的真实感。近期，基于潜在扩散模型（LDM）的方法成为研究热点，RPHarmony数据集的提出进一步推动了该领域的发展。该数据集通过随机泊松混合技术生成更具多样性和挑战性的合成图像，弥补了现有数据集在局部变化和复杂光照条件模拟上的不足。前沿研究聚焦于区域到区域的转换范式，通过自适应区域注入实现细节保留与和谐化的平衡。R2R模型结合Clear-VAE和谐控制器，在保留高频细节的同时动态调整前景特征，在iHarmony4基准上实现了0.28dB的PSNR提升。这一进展不仅提升了生成图像的视觉一致性，更为真实场景下的图像编辑应用提供了新的技术路径。

相关研究论文

• Region-to-Region: Enhancing Generative Image Harmonization with Adaptive Regional Injection

  南京大学, 浙江科技大学, 电子艺界 · 2025年