图律脉动数据集-修改、添加、移除

# 图律脉动数据集-修改、添加、移除

本数据集由开源项目 [ImagePulse](https://github.com/modelscope/ImagePulse) 构建，可用于训练图像局部编辑能力。

主要字段说明：

* `image_1`: 图像1
* `image_2`: 图像2
* `mask`: 图像编辑区域
* `editing_instruction`: 将图像1编辑成图像2所需的文本指令
* `reverse_editing_instruction`: 将图像2编辑成图像1所需的文本指令

数据集构建流程：

* 在数据集 [DiffusionDB](https://modelscope.cn/datasets/AI-ModelScope/diffusiondb) 中随机抽取提示词
* 用 [FLUX](https://modelscope.cn/models/black-forest-labs/FLUX.1-dev) 模型根据提示词生成图像1
* 用 [Qwen-VL](https://modelscope.cn/models/Qwen/Qwen2.5-VL-72B-Instruct) 模型以 bbox 格式标注出图像1中的实体
* 用 [Qwen-VL](https://modelscope.cn/models/Qwen/Qwen2.5-VL-72B-Instruct) 模型随机选择一个 bbox 区域并随机生成编辑指令
* 用 [FLUX](https://modelscope.cn/models/black-forest-labs/FLUX.1-dev) 和 [Inpaint-ControlNet](https://modelscope.cn/models/alimama-creative/FLUX.1-dev-Controlnet-Inpainting-Beta) 编辑选中的区域，得到图像2
* 用 [Qwen-VL](https://modelscope.cn/models/Qwen/Qwen2.5-VL-72B-Instruct) 模型重新生成对偶编辑指令

数据样例：

|image_1|image_2|mask|editing_instruction|reverse_editing_instruction|
|-|-|-|-|-|
||||Remove the mustache and beard, change the white shirt to a blue turtleneck sweater, and remove the glass of milk.|Add a mustache and beard, change the blue turtleneck sweater to a white shirt, and add a glass of milk.|
||||Add a silver butterfly to the glowing golden lace on her face.|Remove the silver butterfly from the glowing golden lace on her face.|
||||Remove the necklace.|Add a necklace.|

# 图律脉动数据集——修改、添加与移除

本数据集由开源项目 [ImagePulse](https://github.com/modelscope/ImagePulse) 构建，可用于训练图像局部编辑能力。

## 主要字段说明
* `image_1`：图像1
* `image_2`：图像2
* `mask`：图像编辑区域
* `editing_instruction`：将图像1编辑为图像2所需的文本编辑指令
* `reverse_editing_instruction`：将图像2编辑为图像1所需的反向文本编辑指令

## 数据集构建流程
* 从数据集 [DiffusionDB](https://modelscope.cn/datasets/AI-ModelScope/diffusiondb) 中随机抽取提示词
* 使用 [FLUX](https://modelscope.cn/models/black-forest-labs/FLUX.1-dev) 模型基于抽取的提示词生成图像1
* 使用 [Qwen-VL](https://modelscope.cn/models/Qwen/Qwen2.5-VL-72B-Instruct) 模型以边界框（bounding box，简称bbox）格式标注图像1中的实体
* 使用 [Qwen-VL](https://modelscope.cn/models/Qwen/Qwen2.5-VL-72B-Instruct) 模型随机选取一个边界框区域，并随机生成编辑指令
* 使用 [FLUX](https://modelscope.cn/models/black-forest-labs/FLUX.1-dev) 与 [Inpaint-ControlNet](https://modelscope.cn/models/alimama-creative/FLUX.1-dev-Controlnet-Inpainting-Beta) 对选中区域进行编辑，得到图像2
* 使用 [Qwen-VL](https://modelscope.cn/models/Qwen/Qwen2.5-VL-72B-Instruct) 模型重新生成反向编辑指令

## 数据样例
|image_1|image_2|mask|editing_instruction|reverse_editing_instruction|
|-|-|-|-|-|
||||移除胡须与鬓毛，将白色衬衫更换为蓝色高领毛衣，并移除一杯牛奶。|添加胡须与鬓毛，将蓝色高领毛衣更换为白色衬衫，并添加一杯牛奶。|
||||在她面部的发光金色蕾丝上添加一只银色蝴蝶。|移除她面部发光金色蕾丝上的银色蝴蝶。|
||||移除项链。|添加项链。|

搜集汇总

背景与挑战

背景概述

该数据集基于开源项目ImagePulse构建，旨在训练图像的局部编辑能力，包含成对图像、编辑区域掩膜及双向文本指令。其构建过程涉及从DiffusionDB随机选取提示，使用FLUX和Qwen-VL模型生成图像和编辑指令，并通过Inpaint-ControlNet实现区域修改。