图律脉动数据集-风格迁移

# 图律脉动数据集-风格迁移

本数据集由开源项目 [ImagePulse](https://github.com/modelscope/ImagePulse) 构建，可用于训练图像风格迁移能力。

主要字段说明：

* `image_1`: 图像1，内容图片
* `image_2`: 图像2，风格图片
* `image_3`: 图像3，风格迁移图片（低质量中间结果）
* `image_4`: 图像4，风格迁移图片
* `editing_instruction`: 将图像1编辑成图像4所需的文本指令
* `reverse_editing_instruction`: 将图像4编辑成图像1所需的文本指令

数据集构建流程：

* 在数据集 [DiffusionDB](https://modelscope.cn/datasets/AI-ModelScope/diffusiondb) 中随机抽取提示词
* 用 [FLUX](https://modelscope.cn/models/black-forest-labs/FLUX.1-dev) 模型根据提示词生成图像1
* 用 [Qwen-VL](https://modelscope.cn/models/Qwen/Qwen2.5-VL-72B-Instruct) 模型删除提示词中与风格相关的部分，仅保留内容提示词
* 用[风格提示词模板](https://github.com/modelscope/ImagePulse/blob/main/pulse/processor/style.py)和内容提示词构造随机的风格迁移提示词
* 用 [FLUX](https://modelscope.cn/models/black-forest-labs/FLUX.1-dev) 模型根据风格迁移提示词生成图像2
* 用 [SDXL](https://modelscope.cn/models/AI-ModelScope/stable-diffusion-xl-base-1.0)、[IP-Adapter](https://modelscope.cn/models/AI-ModelScope/IP-Adapter)、[Union-ControlNet](AI-ModelScope/controlnet-union-sdxl-1.0-promax) 组装的模型进行风格迁移，启用 InstantStyle 得到图像3
* 用 [FLUX](https://modelscope.cn/models/black-forest-labs/FLUX.1-dev) 和 [IP-Adapter-FLUX](https://modelscope.cn/models/InstantX/FLUX.1-dev-IP-Adapter) 模型润色图像3，得到图像4
* 用 [Qwen-VL](https://modelscope.cn/models/Qwen/Qwen2.5-VL-72B-Instruct) 模型重新生成对偶编辑指令

数据样例：

|image_1|image_2|image_3|image_4|editing_instruction|reverse_editing_instruction|
|-|-|-|-|-|-|
|||||transform the image into a cartoon style with vibrant colors and a confident expression.|transform the image into a realistic portrait with a serious expression and subtle lighting.|
|||||transform the image to have a brighter, more colorful palette and a clear blue sky.|transform the image to have a more muted color palette and an overcast sky.|
|||||transform the style of the image to an anime illustration, change the jacket to red, and add a cityscape background.|transform the style of the image to a digital painting, change the jacket to black, and remove the cityscape background.|

# 图律脉动数据集-风格迁移

本数据集由开源项目[ImagePulse](https://github.com/modelscope/ImagePulse)构建，可用于图像风格迁移模型的训练。

## 主要字段说明
* `image_1`：图像1，即内容源图像
* `image_2`：图像2，即风格参考图像
* `image_3`：图像3，风格迁移中间结果（低质量版本）
* `image_4`：图像4，最终风格迁移结果图像
* `editing_instruction`：将图像1转换为图像4所需的文本编辑指令
* `reverse_editing_instruction`：将图像4转换为图像1所需的反向文本编辑指令

## 数据集构建流程
* 从数据集[DiffusionDB](https://modelscope.cn/datasets/AI-ModelScope/diffusiondb)中随机采样生成式提示词
* 使用[FLUX](https://modelscope.cn/models/black-forest-labs/FLUX.1-dev)模型基于上述提示词生成图像1
* 借助[Qwen-VL](https://modelscope.cn/models/Qwen/Qwen2.5-VL-72B-Instruct)模型剔除提示词中与风格相关的表述，仅保留内容核心提示词
* 结合[风格提示词模板](https://github.com/modelscope/ImagePulse/blob/main/pulse/processor/style.py)与内容核心提示词，构建随机化的风格迁移专用提示词
* 再次使用[FLUX](https://modelscope.cn/models/black-forest-labs/FLUX.1-dev)模型，基于风格迁移提示词生成图像2
* 采用由[SDXL](https://modelscope.cn/models/AI-ModelScope/stable-diffusion-xl-base-1.0)、[IP-Adapter](https://modelscope.cn/models/AI-ModelScope/IP-Adapter)、[Union-ControlNet](https://modelscope.cn/models/AI-ModelScope/controlnet-union-sdxl-1.0-promax)整合而成的模型执行风格迁移任务，并启用InstantStyle功能，生成图像3
* 使用[FLUX](https://modelscope.cn/models/black-forest-labs/FLUX.1-dev)与[IP-Adapter-FLUX](https://modelscope.cn/models/InstantX/FLUX.1-dev-IP-Adapter)模型对图像3进行画质优化与细节润色，得到图像4
* 借助[Qwen-VL](https://modelscope.cn/models/Qwen/Qwen2.5-VL-72B-Instruct)模型重新生成双向编辑指令

## 数据样例
|image_1|image_2|image_3|image_4|editing_instruction|reverse_editing_instruction|
|-|-|-|-|-|-|
|||||将图像转换为色彩鲜亮明快、表情自信的卡通风格|将图像转换为表情严肃、光影细腻的写实肖像风格|
|||||调整图像色彩至更明亮饱满的色调，并添加晴朗蓝天背景|调整图像色彩至更柔和内敛的色调，并替换为阴天天空背景|
|||||将图像风格转换为动漫插画风格，将外套调整为红色，并添加城市景观背景|将图像风格转换为数字绘画风格，将外套调整为黑色，并移除城市景观背景|

搜集汇总

背景与挑战

背景概述

图律脉动数据集-风格迁移是一个用于训练图像风格迁移能力的数据集，包含内容图像、风格图像、风格迁移后的图像及相关的编辑指令。数据集通过多模型协作构建，确保了数据的多样性和高质量，适用于图像处理和风格迁移任务。