遇见数据集

PRD, PRDBench, DragBench

收藏
github2026-07-05 更新2026-07-07 收录
官方服务:

资源简介:

PRD是用于基于区域的图像拖拽训练的数据集,包含287,153个元组(源图像、源区域掩码、目标图像、目标区域掩码),由processed_videos_rgb/和mask_numpys/生成。PRDBench是主要的定量基准,包含1000个元组。DragBench用于评估ICRDrag在DragBench-DR和DragBench-SR上的性能。

PRD is a dataset for region-based image dragging training, containing 287,153 tuples (source image, source region mask, target image, target region mask), generated from processed_videos_rgb/ and mask_numpys/. PRDBench serves as the primary quantitative benchmark, comprising 1000 tuples. DragBench is utilized to evaluate the performance of ICRDrag on DragBench-DR and DragBench-SR.

创建时间:
2026-06-18
原始信息汇总

数据集名称

ICRDrag (In-context Region-based Drag: Drag Any Region to Any Shape)

数据集简介

ICRDrag 是一种拖拽式图像编辑模型,支持将多个源区域拖拽至对应的目标区域,可用于姿态调整、形状变换等细粒度几何编辑。该数据集为 ICRDrag 的训练和评估提供了 PRD 训练集以及两个推理/评估基准。

数据集规模与构成

  • PRD 训练集:包含 287,153 个元组,每个元组包括 source image, source region mask, target image, target region mask
  • PRDBench 基准:包含 1,000 个元组,用于定量评估。
  • DragBench 基准:用于在 DragBench-DR 和 DragBench-SR 上进行评估。

数据集文件结构

下载解压后,数据布局如下:

data/ ├── PRD/ │ └── train/ │ ├── processed_videos_rgb/ │ └── mask_numpys/ ├── PRDBench/ │ └── test/ └── DragBench/ ├── openvid_format_dbscan_dr/ └── openvid_format_dbscan_sr/

数据集下载方式

数据集及模型结果可通过以下链接下载:

提供以下压缩文件:

  • PRD_train_processed_videos_rgb.tar (PRD 训练视频)
  • mask_numpys.tar.gz (全景分割掩码)
  • PRD_train_tuples_287153.tar (生成的 PRD 训练元组)
  • PRDBench_test.tar.gz (PRDBench 测试集)
  • DragBench.tar.gz (DragBench 测试集)
  • PRDBench_results_opt.tar (PRDBench 最佳结果)
  • DragBench_result.tar (DragBench 最佳结果)

数据集构建方法

PRD 训练数据以时间子采样视频和逐帧全景分割掩码的形式存储。训练时,ICRDrag 从 processed_videos_rgb/ 中采样相邻帧,并从 mask_numpys/ 中读取对应的 .npy 掩码,动态构建 source image, source region mask, target image, target region mask

提供了独立脚本 preprocessing/prepare_prd_tuples.py 用于重现元组构建过程。

评估指标

PRDBench 评估指标包括:

  • MSE / LPIPS / SSIM
  • MD (Mean Distance)
  • mMD (Modified Mean Distance)

DragBench 评估脚本位于 evaluation/DragBench/ 目录下。

在线演示

在线演示地址:https://drag.ustcnewly.com/

相关资源

引用方式

bibtex @article{sui2026incontext, title={In-context Region-based Drag: Drag Any Region to Any Shape}, author={Sui, Jiacheng and Hao, Tianyu and Gao, Bingjie and Niu, Li and Zhai, Guangtao}, journal={ECCV}, year={2026} }

搜集汇总
数据集介绍
PRD, PRDBench, DragBench 数据集图片
构建方式
在图像编辑领域,区域级拖拽编辑技术旨在实现灵活、精细的几何形变操作。PRD数据集作为ICRDrag模型的训练基础,其构建过程独具匠心:研究团队从时间子采样视频和全景分割掩码中,通过动态采样相邻帧的方式,生成由源图像、源区域掩码、目标图像及目标区域掩码构成的四元组数据。具体而言,系统从processed_videos_rgb目录读取视频帧,同步解析mask_numpys中对应的.npy掩码文件,再借助preprocessing/prepare_prd_tuples.py脚本完成元组构建,最终产出287,153个高质量的拖拽训练样本,为模型学习区域到区域的变换规律奠定了坚实的数据基础。
特点
PRD与PRDBench、DragBench共同构成了一套完整的数据集体系,展现出鲜明的结构优势。PRD训练集拥有超过28万个四元组样本,规模宏大且覆盖丰富的编辑场景;PRDBench作为定量基准测试集,包含1,000个精心设计的元组,用于精确评估模型性能。DragBench则进一步细分为DragBench-DR和DragBench-SR两个子集,支持对单区域与多区域拖拽任务的分项评测。所有数据集均提供了清晰的源图像、目标图像及对应的彩色掩码文件,便于研究者直接开展训练与验证工作,确保了实验的可重复性与评估的严谨性。
使用方法
使用PRD系列数据集开展研究时,用户需遵循标准流程。首先从百度云或Dropbox下载PRD、PRDBench和DragBench压缩包,并按照data/目录结构进行解压与组织。对于模型推理,用户需运行inference/run_inference.py脚本,通过—testset参数指定测试集类型(如prdbench、dragbench-dr或dragbench-sr),编辑结果将自动保存至指定输出目录。评估阶段则调用evaluation/下的专用脚本,分别计算MSE、LPIPS、SSIM等图像质量指标,以及MD与mMD等拖拽对齐精度指标。值得注意的是,评估过程中需要额外部署Stable Diffusion v1.5特征提取模型,以支持DIFT特征的提取与度量计算。
背景与挑战
背景概述
PRD(Pairwise Region Drag)、PRDBench与DragBench是由中国科学技术大学多媒体计算与图像处理实验室(BCMI)于2026年提出的图像编辑数据集体系,学术带头人包括隋佳成、郝天宇、高冰洁、牛力教授及翟广涛教授。这三个数据集旨在解决基于区域拖拽的细粒度图像几何编辑问题,即如何将任意源区域精准迁移至目标形状。PRD作为包含287,153个元组的训练集,通过视频帧间采样与全景分割掩码构建,为模型提供了海量的区域配对监督信号。PRDBench是包含1,000个样本的定量评测基准,DragBench则聚焦于双区域与单区域拖拽场景的评估,共同推动了‘区域感知拖拽编辑’这一新兴研究方向的发展,相关成果已被ECCV 2026接收。
当前挑战
数据集面临的核心挑战首先来自领域问题:与全局图像编辑不同,区域拖拽需在保持背景不变的前提下,独立控制多个指定区域的几何变换,这要求模型具备细粒度空间理解与多对象解耦能力。其次在构建过程中,PRD训练数据需从视频中动态采样相邻帧并提取对应区域掩码,流程依赖高精度的全景分割与帧间对齐,任何掩码噪声或运动模糊都会引入不可控的标签偏差。PRDBench与DragBench的评测则需协调多种指标(如MSE、LPIPS、SSIM、MD/mMD),且MD/mMD计算依赖外部特征的精确匹配,使得评估标准统一与可复现性成为另一重挑战。
常用场景
经典使用场景
PRD、PRDBench与DragBench数据集专为区域级图像拖拽编辑任务而设计,其核心应用场景是支持用户将图像中的任意区域以非刚性方式拖拽至任意目标形状。研究者利用PRD大规模训练集中的数万组源-目标图像对与掩码对,训练模型实现多区域同步拖拽,在姿态调整、形状变换等精细几何编辑任务中展现出卓越性能。PRDBench与DragBench则为该任务提供了标准化的定量评测基准,涵盖单区域与多区域拖拽场景,使得不同模型的编辑精度、区域一致性及视觉质量得以公正比较。
实际应用
在实际图像编辑与内容创作领域,该数据集支撑的ICRDrag模型已被部署为在线Demo系统,用户通过绘制不同颜色的源-目标区域对,即可直观地调整人物姿态、变形物体形状或重塑场景布局,无需专业的掩码或抠图技能。其应用触角延伸至电商产品展示中的局部细节修改、影视后期中的角色动作微调、虚拟现实中的3D模型引导变形,以及辅助设计软件中的创意草图细化。由于模型支持添加锚点式区域对以保持无关区域不变,实际使用中可有效兼顾精准编辑与背景保真,极大降低了图像几何编辑的技术门槛。
衍生相关工作
围绕PRD、PRDBench与DragBench数据集,衍生了一系列推动区域级图像编辑发展的重要工作。DragLoRA借鉴了该评测体系中的掩码距离指标以优化轻量级拖拽模型;OneDiffusion利用PRD的区域配对思想拓展至多视角一致生成;RegionDrag则在区域拖拽基础上引入了交互式语义锚点机制。此外,多个后续研究以PRDBench为基准,对比了基于流的变形、扩散模型条件控制及跨注意力引导等不同技术路线,显著丰富了区域拖拽的理论工具箱。这些工作共同验证了高质量区域拖拽数据集对于激发新算法、促进可重复研究的关键作用。
以上内容由遇见数据集搜集并总结生成
二维码
社区交流群
二维码
科研交流群
商业服务