multi-edit-clipd-improved

该数据集是[multi-instruct-image-editing/multi-edit-image-pairs](https://huggingface.co/datasets/multi-instruct-image-editing/multi-edit-image-pairs)的改进版本，通过使用Qwen2-VL-7B生成的指令在CLIP方向相似性（CLIP-D）指标上进行了优化。数据集包含1000个样本，其中52.6%的指令被替换为Qwen2-VL生成的指令。主要改进包括CLIP-D平均得分从0.0861提升至0.1135。数据集结构包含原始图像、编辑后图像、指令文本、指令来源（原始或Qwen2-VL生成）以及各项指标的改进值。适用于图像编辑、图像到图像转换等任务，遵循MIT许可协议。

原始信息汇总

Multi-Edit Image Pairs - CLIP-D Improved Instructions 数据集概述

数据集简介

该数据集是 multi-instruct-image-editing/multi-edit-image-pairs 的精炼版本。当CLIP方向相似性（CLIP-D）指标得到改善时，数据集中部分指令被Qwen2-VL-7B生成的指令选择性替换。

数据集统计

• 总样本数：1000
• 被替换的指令数：526（52.6%）
• 保留的原始指令数：474（47.4%）

改进指标

CLIP-D（方向相似性）

• 原始平均值：0.0861
• 过滤后平均值：0.1135
• 改进值：+0.0274

PickScore

• 原始平均值：20.64
• 过滤后平均值：20.51
• 改进值：-0.12

CLIP-T（文本-图像相似性）

• 原始平均值：0.3125
• 过滤后平均值：0.3068
• 改进值：-0.0057

构建方法

1. 源数据集：来自 multi-instruct-image-editing/multi-edit-image-pairs 的前1000个样本。
2. 使用模型：采用4位量化的 Qwen2-VL-7B-Instruct 模型。
3. 选择标准：仅当CLIP-D指标得到改善时才替换指令。
4. 评估指标：CLIP-D、CLIP-T、PickScore。

数据结构

数据集包含以下字段：

• original_image: PIL.Image，编辑前的原始图像。
• edited_image: PIL.Image，编辑后的结果图像。
• instruction: str，最终指令（原始或生成）。
• original_instruction: str，来自源数据集的原始指令。
• instruction_source: str，指令来源，值为 qwen2vl 或 original。
• clip_d_improvement: float，CLIP-D分数的变化。
• clip_d_old: float，原始CLIP-D分数。
• clip_d_new: float，新的CLIP-D分数（如果被替换）。
• pickscore_improvement: float，PickScore的变化。
• clip_t_improvement: float，CLIP-T分数的变化。

使用方式

可通过 datasets 库加载数据集： python from datasets import load_dataset dataset = load_dataset("engy58/multi-edit-clipd-improved")

示例代码支持按指令来源或CLIP-D改进程度筛选样本。

引用要求

使用此数据集时，请同时引用原始数据集并说明过滤方法。

许可协议

MIT许可证（与源数据集相同）。

搜集汇总

数据集介绍

构建方式

在图像编辑指令优化领域，该数据集基于multi-instruct-image-editing/multi-edit-image-pairs的前1000个样本构建，通过引入Qwen2-VL-7B-Instruct模型生成新的编辑指令。构建过程采用选择性替换策略，仅当新指令的CLIP方向相似性（CLIP-D）指标相较于原始指令有所提升时，才将指令替换为模型生成的内容，从而确保数据质量的定向优化。整个流程同步评估了CLIP-D、CLIP-T与PickScore等多维度度量，最终形成包含526条替换指令与474条保留指令的混合数据集。

特点

该数据集的核心特点在于其指令来源的混合性与质量导向的筛选机制。每条样本均标注了指令来源（Qwen2-VL生成或原始保留），并完整记录了CLIP-D、CLIP-T及PickScore在指令替换前后的数值变化，为研究指令与图像编辑对齐性提供了细粒度的分析基础。数据集中CLIP-D平均提升0.0274，体现了生成指令在方向一致性上的优化效果，而结构化的元信息字段如clip_d_improvement与instruction_source，则支持用户灵活筛选高改进样本或特定来源数据，增强了数据集的实用性与可探索性。

使用方法

使用该数据集时，可通过Hugging Face的datasets库直接加载，并利用内置过滤功能进行灵活的数据子集提取。例如，用户可筛选instruction_source为'qwen2vl'的样本以专注分析模型生成指令，或基于clip_d_improvement阈值选取高改进样本进行深入评估。数据集保留了原始图像、编辑后图像及对应指令对，支持图像编辑模型训练、指令跟随能力评测或多模态对齐研究。其清晰的字段结构与丰富的度量信息，使得该数据集能够便捷地集成至各类实验流程，促进图像编辑指令优化领域的实证探索。

背景与挑战

背景概述

在图像生成与编辑领域，指令引导的图像编辑技术旨在通过自然语言指令精确操控图像内容，实现复杂且符合用户意图的视觉修改。Multi-Edit Image Pairs - CLIP-D Improved Instructions数据集作为该方向的重要资源，由研究人员基于现有multi-edit-image-pairs数据集于2026年构建而成。该数据集通过引入Qwen2-VL-7B模型对原始指令进行选择性替换，并严格依据CLIP方向相似性指标的提升作为筛选准则，从而优化了指令与编辑结果之间的对齐质量。其核心研究问题聚焦于提升指令的明确性与编辑效果的可控性，为基于扩散模型或生成对抗网络的图像编辑方法提供了高质量的评估基准，推动了指令跟随与视觉对齐相关研究的发展。

当前挑战

该数据集致力于解决指令引导图像编辑任务中的核心挑战，即如何确保自然语言指令能够准确、一致地引导模型生成预期的视觉修改结果。具体而言，挑战体现在指令的模糊性、编辑意图的多样性以及评估指标的有效性上。在构建过程中，研究人员面临的主要挑战包括：如何设计可靠的自动化评估指标（如CLIP-D）以量化指令与编辑结果的对齐程度；如何在保留原始数据多样性的同时，通过大语言模型生成更优指令并避免引入偏差；以及如何平衡不同评估指标（如CLIP-D、PickScore、CLIP-T）之间的潜在冲突，确保数据质量的全面提升。

常用场景

经典使用场景

在图像编辑与生成领域，高质量指令的构建对于提升模型遵循人类意图的能力至关重要。该数据集通过整合原始图像、编辑后图像及优化指令，为指令驱动的图像编辑任务提供了标准化的评估基准。其经典使用场景在于训练和验证多模态大语言模型，特别是那些专注于理解并执行复杂图像编辑指令的模型，例如基于扩散模型或生成对抗网络的架构。研究人员利用该数据集中的图像对和指令，能够系统地探究模型在保持图像语义一致性的同时，实现精准编辑的性能。

解决学术问题

该数据集主要解决了指令引导图像编辑中指令质量评估与优化的核心学术问题。传统方法往往依赖人工标注指令，其一致性与清晰度难以保证。通过引入CLIP方向相似性等量化指标，并利用Qwen2-VL等先进模型生成候选指令，该数据集为自动筛选和提升指令质量提供了数据驱动的方法论。这有助于学术界更客观地衡量编辑指令与图像变化之间的对齐程度，推动了基于量化指标的指令优化研究，减少了模型训练中对模糊或低效指令的依赖。

衍生相关工作

围绕该数据集衍生的经典工作主要集中在指令优化算法和编辑模型性能评测框架的开发。许多研究借鉴其基于CLIP-D的指令筛选策略，提出了更精细的指令重写或增强方法，以进一步提升多模态模型的指令跟随能力。同时，该数据集常被用作基准，用于比较不同图像编辑模型在遵循复杂、多步骤指令方面的优劣。这些工作不仅深化了对指令-图像对齐机制的理解，也促进了如InstructPix2Pix等指令驱动编辑模型的迭代与创新。