图律脉动数据集-人脸保持

# 图律脉动数据集-人脸保持

本数据集由开源项目 [ImagePulse](https://github.com/modelscope/ImagePulse) 构建，可用于训练图像生成中的人脸保持能力。

主要字段说明：

* `image_face`: 人脸图像
* `image_1`: 图像1
* `image_2`: 图像2，与图像1中的人脸一致
* `editing_instruction`: 将图像1编辑成图像2所需的文本指令
* `reverse_editing_instruction`: 将图像2编辑成图像1所需的文本指令

数据集构建流程：

* 在数据集 [DiffusionDB](https://modelscope.cn/datasets/AI-ModelScope/diffusiondb) 中随机抽取10个提示词
* 在数据集 [CelebA-HQ-Face](https://modelscope.cn/datasets/AI-ModelScope/celeb-a-hq_training_untransformed_faces) 中随机抽取人脸
* 用 [Qwen-VL](https://modelscope.cn/models/Qwen/Qwen2.5-VL-72B-Instruct) 模型选出10个提示词中与人脸图片性别相符的提示词
* 用 [FLUX](https://modelscope.cn/models/black-forest-labs/FLUX.1-dev) 和 [InfiniteYou](https://modelscope.cn/models/ByteDance/InfiniteYou) 模型分别用选出的提示词生成图像1和图像2
* 用 [Qwen-VL](https://modelscope.cn/models/Qwen/Qwen2.5-VL-72B-Instruct) 模型重新生成对偶编辑指令

数据样例：

|image_face|image_1|image_2|editing_instruction|reverse_editing_instruction|
|-|-|-|-|-|
||||Change the woman's white t-shirt to a white tank top.|Change the woman's white tank top to a white t-shirt.|
||||Add a nighttime street scene with bokeh lights in the background.|Remove the nighttime street scene and bokeh lights from the background.|
||||Change the background to a warmly lit room with lamps, change the suit to maroon, and add a sweater under the suit.|Change the background to a dimly lit room with red lighting, change the suit to black, and remove the sweater.|

# 图律脉动数据集-人脸保持

本数据集由开源项目ImagePulse（https://github.com/modelscope/ImagePulse）构建，可用于训练图像生成模型的人脸保持能力。

主要字段说明：
* `image_face`：人脸图像
* `image_1`：图像1
* `image_2`：图像2，其中包含的人脸与图像1中的人脸一致
* `editing_instruction`：正向编辑指令，即用于将图像1编辑为图像2所需的文本编辑指令
* `reverse_editing_instruction`：反向编辑指令，即用于将图像2编辑为图像1所需的文本编辑指令

数据集构建流程：
* 在DiffusionDB（https://modelscope.cn/datasets/AI-ModelScope/diffusiondb）数据集中随机选取10条提示词
* 在CelebA-HQ-Face（https://modelscope.cn/datasets/AI-ModelScope/celeb-a-hq_training_untransformed_faces）数据集中随机抽取人脸样本
* 使用Qwen-VL（https://modelscope.cn/models/Qwen/Qwen2.5-VL-72B-Instruct）模型从10条候选提示词中筛选出与抽取的人脸样本性别匹配的提示词
* 分别使用FLUX（https://modelscope.cn/models/black-forest-labs/FLUX.1-dev）与InfiniteYou（https://modelscope.cn/models/ByteDance/InfiniteYou）模型，基于筛选出的提示词生成图像1与图像2
* 使用Qwen-VL模型重新生成双向编辑指令

数据样例：
|image_face|image_1|image_2|editing_instruction|reverse_editing_instruction|
|-|-|-|-|-|
||||将该女性的白色T恤更换为白色吊带背心。|将该女性的白色吊带背心更换为白色T恤。|
||||为背景添加带有散景灯光的夜间街景。|移除背景中的夜间街景与散景灯光。|
||||将背景更换为带有灯具的暖光房间，将西装改为酒红色，并在西装内添加一件毛衣。|将背景更换为带有红色灯光的昏暗房间，将西装改为黑色，并移除内搭毛衣。|

搜集汇总

背景与挑战

背景概述

该数据集源自ImagePulse开源项目，旨在训练图像生成中的人脸保持能力，包含人脸图像、编辑前后的图像及对应的文本指令字段。其构建过程涉及从DiffusionDB和CelebA-HQ-Face数据集中随机选取元素，使用Qwen-VL模型匹配提示词，并通过FLUX和InfiniteYou模型生成图像。