zhwang/HPDv2

Human Preference Dataset v2 (HPD v2) 是一个大规模、干净标注的数据集，用于评估人类对从文本提示生成的图像的偏好。数据集中的提示来源于DiffusionDB和MSCOCO Captions，并通过ChatGPT清理以去除偏见性功能词。人类注释者被要求对由不同文本到图像生成模型从同一提示生成的图像进行排名。总共包含约798k对图像比较，涉及超过430k张图像和107k个提示，其中645k对用于训练分割，153k对用于测试分割。图像来源包括CogView2、DALL·E 2、GLIDE (mini)、Stable Diffusion v1.4、Stable Diffusion v2.0、LAFITE、VQ-GAN+CLIP、VQ-Diffusion、FuseDream和COCO Captions。此外，还提供了一组评估提示（基准提示），涉及测试模型在3200个提示上的表现，每个风格（“动画”、“概念艺术”、“绘画”和“照片”）有800个提示。

Human Preference Dataset v2 (HPD v2) is a large-scale, cleanly annotated dataset used to evaluate human preferences toward images generated from text prompts. The prompts in the dataset are sourced from DiffusionDB and MSCOCO Captions, and have been cleaned by ChatGPT to remove biased functional terms. Human annotators were requested to rank images generated by different text-to-image generation models from the same prompt. In total, the dataset contains approximately 798k image comparison pairs, involving over 430k images and 107k prompts. Among these, 645k pairs are allocated to the training split, while 153k pairs are for the test split. The source of the generated images includes CogView2, DALL·E 2, GLIDE (mini), Stable Diffusion v1.4, Stable Diffusion v2.0, LAFITE, VQ-GAN+CLIP, VQ-Diffusion, FuseDream, and COCO Captions. Additionally, a set of evaluation prompts (benchmark prompts) is provided to test model performance across 3200 prompts, with 800 prompts for each of the four styles: "animation", "concept art", "painting", and "photograph".

原始信息汇总

Human Preference Dataset v2 (HPD v2)

数据集概述

HPD v2是一个大规模、干净标注的人类偏好数据集，用于评估文本生成图像的人类偏好。数据集包含约798k对图像比较，涉及超过430k图像和107k提示。

数据来源

• 提示来源：DiffusionDB和MSCOCO Captions。
• 图像来源：
  • CogView2: 73,697张
  • DALL·E 2: 101,869张
  • GLIDE (mini): 400张
  • Stable Diffusion v1.4: 101,869张
  • Stable Diffusion v2.0: 101,869张
  • LAFITE: 400张
  • VQ-GAN+CLIP: 400张
  • VQ-Diffusion: 400张
  • FuseDream: 400张
  • COCO Captions: 28,272张

数据集结构

• 文件结构：
  • HPD
    • train/
      • {image_id}.jpg
    • test/
      • {image_id}.jpg
    • train.json
    • test.json
    • benchmark/
      • benchmark_imgs/
        • {model_id}/
          • {image_id}.jpg
      • drawbench/
        • {model_id}/
          • {image_id}.jpg
      • anime.json
      • concept-art.json
      • paintings.json
      • photo.json
      • drawbench.json

标注文件结构

• train.json：

  • human_preference: 列表[int]
  • prompt: 字符串
  • file_path: 列表[字符串]
  • user_hash: 字符串

• test.json：

  • prompt: 字符串
  • image_path: 列表[字符串]
  • rank: 列表[int]

评估提示

数据集提供了一套包含3200个提示的评估集，分为“动画”、“概念艺术”、“绘画”和“照片”四种风格，每种风格800个提示。

搜集汇总

数据集介绍

构建方式

在文本到图像生成技术蓬勃发展的背景下，人类对生成图像的偏好评估成为衡量模型性能的关键。HPDv2数据集从DiffusionDB和MSCOCO Captions中收集提示词，并利用ChatGPT对DiffusionDB的提示词进行清洗以消除功能词偏差。人类标注员针对同一提示词，对不同文本到图像生成模型产生的图像进行偏好排序，构建了约79.8万对图像比较数据，涵盖超过43万张图像和10.7万个提示词，其中训练集包含64.5万对，测试集包含15.3万对。图像来源包括CogView2、DALL·E 2、Stable Diffusion等多个主流模型。

特点

HPDv2数据集以大规模、干净标注著称，其核心特点在于通过人类偏好排序提供了可靠的偏好评估基准。数据集不仅包含训练和测试划分，还额外提供了3200个评估提示词，均匀分布在动画、概念艺术、绘画和摄影四种风格中，每个风格800个提示词。此外，数据集包含了基于这些评估提示词由多个主流生成模型（如ChilloutMix、SDXL等）生成的基准图像，便于直接比较不同模型的性能。数据以JSON格式组织，训练集和测试集分别存储，结构清晰，便于使用。

使用方法

使用HPDv2数据集时，用户首先解压数据文件夹，获得训练图像、测试图像以及对应的JSON标注文件。训练集JSON文件包含人类偏好列表、提示词、图像路径和用户哈希值，可用于训练偏好预测模型。测试集JSON文件提供提示词、图像路径和排名信息，用于评估模型性能。基准提示词文件（如anime.json）可直接用于生成图像，并与基准图像文件夹中的对应模型生成结果进行对比。用户可基于这些数据训练如Human Preference Score v2等偏好预测模型，或作为标准基准评估自身文本到图像生成模型的效果。

背景与挑战

背景概述

在文本到图像生成领域，如何准确评估生成图像与人类审美偏好的契合度始终是一项核心挑战。现有自动评估指标如FID或CLIP分数虽能反映图像质量与语义一致性，却难以捕捉人类对美学、风格及内容偏好的细微差异。为此，研究人员于2023年发布了Human Preference Dataset v2（HPD v2），由多机构团队构建，旨在系统性地量化人类对生成图像的偏好。该数据集汇聚了来自DiffusionDB和MSCOCO Captions的超过10万条提示词，并邀请人工标注者对CogView2、DALL·E 2、Stable Diffusion等主流模型生成的43万张图像进行成对比较，最终形成约79.8万对偏好标注。HPD v2不仅为评估文本到图像合成模型提供了标准化基准，还衍生出Human Preference Score v2（HPSv2）预测模型，显著推动了该领域评价体系的完善。

当前挑战

HPD v2所应对的核心挑战在于弥合自动评估与人类主观审美之间的鸿沟。传统指标无法反映人类对图像风格、构图或情感表达的真实偏好，而HPD v2通过大规模人工标注直接建模偏好关系，为模型优化提供了可量化目标。然而，构建过程面临多重困难：首先，提示词来源混杂需经ChatGPT清洗以消除偏见性词汇；其次，需平衡不同生成模型的图像分布，避免标注偏向；此外，标注任务中同一提示词对应多张图像，排序一致性维护极具复杂性。数据集本身亦存在局限，如偏好标注可能受标注者文化背景影响，且当前覆盖的生成模型版本有限，无法完全代表快速演进的领域现状。这些挑战提示未来需进一步扩展数据多样性并探索跨文化偏好建模方法。

常用场景

经典使用场景

HPDv2数据集在文本到图像生成领域中被广泛用于评估和比较不同生成模型的图像质量与人类偏好一致性。其经典使用场景包括：研究者利用该数据集中包含的约79.8万对人类偏好比较数据，训练能够预测人类偏好的评分模型，如HPSv2。该数据集覆盖了从CogView2到Stable Diffusion等多种主流生成模型产出的图像，并提供了涵盖动画、概念艺术、绘画和摄影四种风格的3200条基准提示词，使得模型评估更加全面和标准化。

实际应用

在实际应用中，HPDv2数据集及其衍生的HPSv2评分模型已被集成到多个图像生成工具和平台中，用于自动化筛选和优化生成结果。例如，在广告创意、游戏美术设计、影视概念图生成等场景中，设计师可以利用基于HPDv2训练的偏好预测模型，从海量候选图像中快速挑选出最符合目标受众审美的作品。此外，该数据集还支持对生成模型进行微调，使其输出更匹配特定用户群体的视觉偏好，从而提升个性化图像生成服务的用户体验。

衍生相关工作

基于HPDv2数据集，学术界和工业界衍生了一系列重要工作。最直接的是HPSv2评分模型的提出，该模型能够高效预测人类对生成图像的偏好，成为评估文本到图像模型的新基准。此外，研究者利用该数据集探索了偏好学习与强化学习在图像生成中的结合，例如通过人类反馈优化扩散模型（如RLHF for Diffusion）。还有工作将HPDv2作为训练数据，开发了能够感知美学质量的图像编辑和增强模型。这些衍生工作共同推动了生成式AI向更符合人类价值观和审美标准的方向发展。