yuvalkirstain/pickapic_v1

Pick-a-Pic数据集是通过Pick-a-Pic网页应用收集的，包含了超过50万个人类对模型生成图像的偏好示例。数据集的特征包括图像的唯一标识符、URL、二进制图像数据、用户ID、模型名称等。数据集分为训练集、验证集、测试集等不同的分割，并且提供了一个不包含实际图像数据的版本以节省空间。数据集的主要任务是选择测试集中的首选图像，并且提供了一些模型的测试集准确率。

The Pick-a-Pic dataset was collected using the Pick-a-Pic web application, comprising over 500,000 human preference instances for model-generated images. Its metadata includes unique image identifiers, URLs, binary image data, user IDs, model names, and other relevant attributes. The dataset is split into multiple subsets including training, validation, and test sets, and a lightweight version without the actual image data is provided to reduce storage overhead. The primary task associated with this dataset is to select the preferred image from the test set, and the test set accuracy scores of several baseline models are also provided.

原始信息汇总

数据集概述

数据集名称

Pick-a-Pic (v1)

数据集特征

• are_different: 布尔型
• best_image_uid: 字符串型
• caption: 字符串型
• created_at: 时间戳（纳秒）
• has_label: 布尔型
• image_0_uid: 字符串型
• image_0_url: 字符串型
• image_1_uid: 字符串型
• image_1_url: 字符串型
• jpg_0: 二进制型
• jpg_1: 二进制型
• label_0: 浮点型
• label_1: 浮点型
• model_0: 字符串型
• model_1: 字符串型
• ranking_id: 整数型
• user_id: 整数型
• num_example_per_prompt: 整数型
• index_level_0: 整数型

数据集分割

• train: 583747个样本，193273338802字节
• validation: 17439个样本，5638295249字节
• test: 14073个样本，4621428929字节
• validation_unique: 500个样本，178723392字节
• test_unique: 500个样本，178099641字节

数据集大小

• 下载大小: 202289408791字节
• 数据集大小: 203889886013字节

支持的任务

• 任务: 在测试集中选择首选图像
• 模型性能:
  • PickScore: 70.2%
  • Human Expert Baseline: 68.0%
  • HPS: 66.7%
  • ImageReward: 61.1%
  • CLIP-H: 60.8%
  • Aesthetics: 56.8%

许可证

MIT License

引用信息

bibtex @inproceedings{Kirstain2023PickaPicAO, title={Pick-a-Pic: An Open Dataset of User Preferences for Text-to-Image Generation}, author={Yuval Kirstain and Adam Polyak and Uriel Singer and Shahbuland Matiana and Joe Penna and Omer Levy}, year={2023} }