johko/dalle3-eval-samples

该数据集包含用于DALL-E 3白皮书评估的文本到图像样本。数据集不仅包含DALL-E 3的样本，还包括与其比较的竞争对手的样本。数据集的目的是使文本到图像领域的研究人员能够复现结果并推动该领域的进展。数据集包含六个目录，分别存储来自不同模型和评估集的样本。

原始信息汇总

DALL-E 3 Evaluation Samples 数据集概述

数据集结构

coco

• 包含约32,000个样本，每个模型从MSCOCO 2014评估集的约8,000个描述中生成。
• 这些样本用于计算CLIP分数。

drawbench

• 包含每个模型从drawbench数据集的每个提示生成的4个样本。
• 在论文中，这些样本通过GPT-4 with Vision和人工评分进行评估。

drawbench_upsampled

• 包含我们上采样的drawbench数据集中每个提示的4个样本，该数据集是使用论文中描述的描述上采样方法生成的。
• 这些样本通过GPT-4 with Vision进行评估。

prompts

• 包含用于生成其他目录中所有样本的提示。
• 提示文件是简单的文本文件，提示的顺序与相应图像样本的顺序相对应。

t2i_compbench

• 包含每个模型从T2I CompBench评估的每个提示生成的4个样本。
• 我们使用该评估提供的脚本来测量我们比较中模型的性能。

搜集汇总

背景与挑战

背景概述

该数据集是用于DALL-E 3文本到图像模型评估的样本集合，包含来自竞争对手模型的对比数据，旨在促进文本到图像领域的研究和结果复现。数据集结构包括多个评估目录（如coco、drawbench等），覆盖CLIP分数、GPT-4视觉和人类评分等多种评估方法，但规模较小，仅57行数据。