EditHF-1M

EditHF-1M是一个百万规模的图像编辑数据集，包含超过29M人类偏好对和148K人类平均意见分数（MOS），评估了三个维度：视觉质量、编辑对齐和属性保留。

EditHF-1M is a million-scale image editing dataset that contains over 29M human preference pairs and 148k Mean Opinion Scores (MOS), and evaluates three core dimensions: visual quality, editing alignment, and attribute retention.

原始信息汇总

EditHF-1M 数据集概述

数据集基本信息

• 数据集名称：EditHF-1M
• 核心描述：一个百万规模的图像编辑数据集，包含丰富的人类偏好反馈。

数据集规模与内容

• 数据规模：包含超过 29M 个人类偏好对 和 148K 个人类平均意见得分。
• 评估维度：数据在三个维度上进行评估：
  • 视觉质量
  • 编辑对齐度
  • 属性保持度

相关子集与挑战

• IEQA 数据集：EditHF-1M 数据集的一个子集被采纳为 IEQA 数据集，用于 CVPR 2026 的“图像恢复与增强新趋势”研讨会和挑战赛，具体是“X-AIGC 质量评估 – 赛道 2：图像编辑”。
• 下载地址：https://huggingface.co/datasets/sparkling621/IEQA/tree/main

基于数据集衍生的模型

1. EditHF 评估模型

   • 描述：一个基于 MLLM 的评估模型，在 EditHF-1M 上训练，用于为图像编辑提供细粒度、与人类对齐的跨维度评分。
   • 模型权重下载：https://huggingface.co/sparkling621/EditHF/tree/main

2. EditHF-Reward 奖励模型

   • 描述：一种利用 EditHF 信号通过强化学习改进文本引导图像编辑模型的奖励建模方法。
   • 衍生模型：使用 EditHF-Reward 精炼的高级图像编辑模型 Qwen-Image-Edit。
   • 模型权重下载：https://huggingface.co/sparkling621/EditHF-Reward/tree/main

引用信息

• 论文标题：EditHF-1M: A Million-Scale Rich Human Preference Feedback for Image Editing
• 作者：Zitong Xu, Huiyu Duan, Zhongpeng Ji, Xinyun Zhang, Yutao Liu, Xiongkuo Min 等
• 年份：2026
• 期刊：arXiv preprint arXiv:2603.14916
• arXiv 链接：https://arxiv.org/abs/2603.14916

搜集汇总

数据集介绍

构建方式

在图像编辑质量评估领域，构建大规模且精细标注的数据集对推动模型发展至关重要。EditHF-1M数据集通过系统化流程收集了超过一百万条图像编辑样本，并在此基础上生成了两千九百万个人类偏好对以及近十五万个人类平均意见分数。这些标注覆盖了视觉质量、编辑对齐度和属性保持三个核心维度，确保了评估的全面性与可靠性。数据集的构建整合了多样化的编辑指令与对应的图像对，为后续的模型训练与评估奠定了坚实基础。

特点

EditHF-1M的突出特点在于其规模宏大与标注维度的丰富性。作为百万级别的数据集，它不仅提供了海量的图像编辑样本，更引入了多维度的人类偏好反馈，包括视觉质量、编辑对齐度和属性保持的细致评分。这种结构化的标注体系使得数据集能够支持复杂的质量评估任务，尤其适用于训练能够模拟人类判断的评估模型。此外，数据集的部分子集已被采纳为国际顶级会议CVPR 2026研讨会的基准数据，进一步印证了其在学术与工业界的重要价值。

使用方法

该数据集主要服务于图像编辑质量评估模型的训练与验证。研究人员可通过下载提供的IEQA子集，直接用于模型性能的基准测试。对于更深入的应用，用户可基于完整数据集训练多模态大语言模型，如EditHF模型，以获取细粒度、人类对齐的评估分数。具体操作时，需按照指南安装依赖环境，并运行推理脚本，指定源图像、编辑后图像及编辑指令等参数，即可在指定维度上获得评估结果。数据集同时支持强化学习框架，通过EditHF-Reward方法优化图像编辑模型，提升其生成质量。

背景与挑战

背景概述

在生成式人工智能迅猛发展的时代背景下，图像编辑技术正经历从传统工具到智能生成范式的深刻变革。EditHF-1M数据集应运而生，由IntMeGroup等研究团队于2026年构建，旨在应对智能图像编辑质量评估中人类偏好数据稀缺的核心研究问题。该数据集以百万级规模汇集了超过2900万个人类偏好对和14.8万个平均意见分数，从视觉质量、编辑对齐与属性保持三个维度提供了精细的评判标准，为训练和评估图像编辑模型奠定了坚实的数据基础，显著推动了可解释、人类对齐的图像编辑评估体系的发展。

当前挑战

该数据集致力于解决图像编辑质量评估这一复杂领域的核心挑战，即如何建立多维度、可量化且与人类主观判断高度一致的评价标准。具体而言，其挑战体现在两个方面：在领域层面，需要精准刻画编辑后图像在视觉美感、指令遵循程度及原始属性保留度之间的微妙平衡；在构建过程中，则面临大规模、高质量人类标注数据的采集与清洗难题，包括确保标注者间评判标准的一致性，以及设计高效可靠的众包流程以获取涵盖广泛编辑场景的百万级偏好反馈。

常用场景

经典使用场景

在计算机视觉与图像生成领域，大规模人类偏好反馈数据集对于评估和优化图像编辑模型至关重要。EditHF-1M作为百万级数据集，其经典使用场景集中于为图像编辑任务提供多维度的质量评估基准。研究者通常利用该数据集中的视觉质量、编辑对齐和属性保留三个维度的评分，对各类生成式编辑模型进行系统性评测，从而量化模型输出与人类审美及意图的一致性，为模型比较与性能提升奠定数据基础。

衍生相关工作

围绕EditHF-1M数据集，已衍生出多项具有影响力的研究工作。其中，EditHF模型利用数据集训练的多模态大语言评估器，实现了细粒度、人类对齐的图像编辑评分；EditHF-Reward则进一步将偏好信号转化为奖励函数，通过强化学习优化生成模型。这些工作不仅丰富了图像质量评估的方法体系，还为CVPR 2026 NTIRE研讨会中的图像编辑质量评估挑战赛（IEQA）提供了基准数据，激励了后续在可解释评估、跨模态对齐等方向的探索。

数据集最近研究

最新研究方向

在生成式人工智能与图像编辑领域，大规模人类偏好反馈数据集正成为推动模型评估与优化的关键基础设施。EditHF-1M作为百万量级的图像编辑偏好数据集，其前沿研究聚焦于三个维度：一是基于多维度人类评分（视觉质量、编辑对齐度、属性保持）构建细粒度评估基准，为NTIRE 2026等国际竞赛提供数据支撑，促进图像编辑质量评估的标准化；二是利用该数据集训练多模态大语言模型EditHF，实现自动化、人类对齐的图像编辑评价，降低人工标注成本；三是通过EditHF-Reward奖励建模方法，将人类偏好信号融入强化学习框架，直接优化如Qwen-Image-Edit等编辑模型的生成能力，推动可控、高质量图像编辑技术的发展。这些方向共同体现了数据驱动下，图像编辑技术从感知评估到生成优化的闭环演进趋势。