Paired Region Dataset (PRD)

Paired Region Dataset（PRD）是由上海交通大学研究团队构建的大规模区域拖拽编辑数据集，旨在支持基于区域的图像变形研究。该数据集包含287,153个训练样本，数据来源于视频数据集OpenVid，通过SemanticSAM和SAM2工具提取多粒度分割掩码并利用光流采样生成不完整掩码，形成了图像与掩码的配对样本。数据集的创建过程涉及从视频帧中提取语义一致的掩码标签，并模拟真实用户输入生成稀疏编辑区域。该数据集主要应用于计算机视觉领域的图像编辑任务，特别是解决区域拖拽中因缺乏大规模训练数据而导致的模型泛化能力不足问题，为基于掩码的精细几何编辑提供基准支持。Paired Region Dataset (PRD) is a large-scale regional drag editing dataset constructed by the research team from Shanghai Jiao Tong University, aiming to support region-based image deformation research. This dataset contains 287,153 training samples derived from the video dataset OpenVid. Multi-granularity segmentation masks are extracted using SemanticSAM and SAM2 tools, and incomplete masks are generated via optical flow sampling to form paired image-mask samples. The dataset construction process involves extracting semantically consistent mask labels from video frames and generating sparse editing regions by simulating real user inputs. This dataset is mainly applied to image editing tasks in the field of computer vision, specifically addressing the issue of insufficient model generalization in regional drag editing caused by the lack of large-scale training data, and providing benchmark support for mask-based fine-grained geometric editing.

原始信息汇总

基于您提供的数据集详情页面地址和README文件内容，该页面仅包含标题“ICRDrag-Region-Drag-Editing”，没有提供任何关于数据集的具体描述、内容、用途、结构或使用说明等信息。因此，无法总结出有效的数据集详情。

搜集汇总

数据集介绍

构建方式

在图像编辑领域，区域级拖拽（Region-based Drag）相较于点级拖拽具有更低的歧义性和更高的编辑精度。然而，现有的大规模数据集普遍缺乏针对区域级拖拽任务的专业构建。为填补这一空白，Paired Region Dataset (PRD) 应运而生。该数据集基于OpenVid视频数据集构建，利用SemanticSAM从源图像中提取多粒度分割掩码，并借助SAM2在目标图像上生成对应的一致标签掩码，从而获得完整的源区域掩码与目标区域掩码。为模拟现实场景中用户仅提供稀疏区域掩码的情况，研究团队进一步通过UniMatch计算光流，并结合分水岭算法采样子区域，生成不完整区域掩码。最终，PRD训练集包含287,153对带掩码的样本。此外，还构建了包含1,000个经人工验证样本的基准测试集PRDBench，其中同时标注了掩码和关键点。

特点

PRD数据集的特点鲜明，集中体现在其多层次、高一致性和针对性上。首先，数据集提供了多粒度分割掩码，覆盖从粗粒度整体到细粒度部件的不同编辑粒度，充分适应多样化的用户编辑需求。其次，通过SemanticSAM与SAM2的联合处理，确保了同一语义区域在源图像与目标图像之间拥有相同的标签，从而保证了掩码的跨图像一致性，避免了因标签混乱导致的学习偏差。尤为重要的是，PRD创新性地引入了“不完整区域掩码”，即仅保留部分编辑区域而将其他区域填充为灰色值，这精准模拟了真实用户可能提供的稀疏输入，大幅提升了模型对现实场景的泛化能力。同时，PRDBench基准测试集提供了人工校验的高质量标注，支持区域级与点级方法的公平比较。

使用方法

研究者在使用PRD数据集时，可遵循两阶段课程学习策略以充分发挥数据集的效能。第一阶段，模型使用源图像、源完整区域掩码与目标完整区域掩码作为条件输入，通过流匹配损失学习基本的图像-掩码映射关系。该阶段确保模型充分理解密集掩码所编码的空间结构信息。第二阶段，模型切换至不完整区域掩码进行训练，此时仅有部分编辑区域被显式标注，模型需学会在稀疏输入条件下推断非标注区域的必要调整。训练过程中，还可随机对采样的区域进行膨胀处理，以增强模型对用户输入不精确性的鲁棒性。最终，模型可在单次前向传播中，依据源图像、源区域掩码与目标区域掩码三部条件，直接生成编辑后的目标图像，实现高效且精确的区域级拖拽编辑。

背景与挑战

背景概述

在图像生成与编辑领域，基于扩散模型的拖拽式编辑（drag-style editing）已成为一项备受关注的研究方向。2024年，上海交通大学的研究团队针对传统点基拖拽存在的固有歧义性问题，提出了一种全新的区域基拖拽范式，并构建了Paired Region Dataset (PRD)数据集。该数据集由Jiacheng Sui、Tianyu Hao、Bingjie Gao、Li Niu和Guangtao Zhai等人开发，旨在解决区域基拖拽任务缺乏大规模标注数据的困境。PRD基于OpenVid视频数据集，通过SemanticSAM和SAM2提取多粒度分割掩码，最终生成包含287,153对训练样本的庞大规模数据集，并附带了1,000个经过人工验证的基准测试样本。该数据集的问世填补了区域基拖拽领域的空白，为后续研究提供了坚实的数据基础，显著推动了扩散模型在精细几何编辑任务中的应用与发展。

当前挑战

PRD数据集所面临的挑战主要体现在两个方面。首先，区域基拖拽任务本身具有高度复杂性，其核心难题在于如何精准地将源区域内容变换至目标区域，同时保持编辑区域与非编辑区域之间的视觉一致性。与点基拖拽不同，区域基拖拽要求模型理解密集的空间语义信息，并处理复杂的形状变形、姿态调整等非刚性变换，这对模型的生成精度和泛化能力提出了极高要求。其次，在数据集构建过程中，团队遇到了多粒度掩码标注的挑战：需要从视频数据中提取帧间语义一致的精确掩码，并实现不同粒度的分割标签统一。为模拟用户输入的不完整性，研究者还需通过光流和分水岭算法采样不完全掩码，这进一步增加了构建复杂度。此外，确保训练数据的多样性、编辑类型的平衡性以及掩码质量的一致性，均为数据集构建中的关键难点。

常用场景

经典使用场景

在图像编辑与生成领域，区域级拖拽编辑（Region-based Drag）作为一种精细化的几何操控范式，正逐渐取代传统基于点的拖拽方法，以应对语义歧义与操控精度不足的挑战。Paired Region Dataset（PRD）正是在这一背景下应运而生，它作为首个大规模、专门面向区域级拖拽任务的数据集，提供了超过28万组包含源图像、源区域掩码、目标图像与目标区域掩码的配对样本。该数据集的核心使用场景在于训练与评估能够将任意源区域精准拖拽至任意目标形状的深度学习模型，尤其适用于采用上下文学习框架的扩散变压器架构。研究者可借助PRD中的多粒度语义分割掩码与不完全掩码，构建具备结构感知能力的拖拽编辑系统，从而在保持视觉真实感的同时，实现姿态调整、形状变形、物体移动等复杂几何变换。

解决学术问题

PRD的构建填补了区域级拖拽编辑领域大规模标注数据缺失的空白，有效解决了该领域长期存在的三大核心学术难题：其一，基于点的拖拽方法因稀疏条件的固有多义性，导致编辑结果与用户意图之间常存在显著偏差，而PRD通过引入密集的空间条件（即区域掩码），大幅降低了语义歧义，提升了编辑的可控性与可复现性；其二，现有区域级拖拽方法如EditGAN与RegionDrag，在处理复杂形状变形与跨区域内容融合时，面临边界伪影显著、生成内容与周围环境融合度低等问题，PRD提供的多样化配对样本与注意力正则化约束，为模型学习深层图像-掩码一致性与源-目标区域对应关系奠定了数据基础；其三，以往缺乏统一的基准评估体系，PRD精心构建了包含1000组人工验证样本的PRDBench基准，同时提供掩码与点注释，使得区域级与点级拖拽方法可在公平条件下进行定量比较，推动了可控图像编辑领域的标准化研究进程。

衍生相关工作

PRD的发布直接催生了一系列具有影响力的衍生研究工作，进一步巩固了其在该领域的基石地位。首先，基于PRD训练的ICRDrag方法本身即是一项开创性成果，它创新性地提出了图像-掩码注意力一致性（IMAC）与源-目标注意力对应（STAC）两种正则化约束，将上下文学习框架引入区域拖拽任务，显著提升了编辑精度与视觉保真度。该方法的成功激发了后续研究对多模态注意力机制在生成式编辑中作用的探索，例如相关工作借鉴了PRD中不完全掩码的课程学习策略，以应对真实场景中用户输入稀疏性的挑战。此外，PRDBench基准已成为评估拖拽编辑方法的标准测试平台，后续涌现的DragFlow、DiffEditor等模型均以其作为核心比较对象。该数据集还促进了点级与区域级拖拽方法的融合研究，为开发统一、高效的交互式编辑框架提供了数据与评价基础，推动了可控图像生成从实验室走向实际应用的关键一步。