BaiqiL/GenAI-Bench

GenAI-Bench数据集是一个用于评估和改进组合文本到视觉生成能力的基准数据集。它包含1600个来自专业设计师的文本提示，这些提示涵盖了从基本（场景、属性、关系）到高级（计数、比较、区分、逻辑）的多种组合技能。数据集还包括由DALL-E 3、DeepFloyd_I_XL_v1、Midjourney_6、SDXL_2_1、SDXL_Base和SDXL_Turbo等领先模型生成的图像，以及对这些图像的人类评分（1到5的Likert量表）。此外，数据集还包含基本技能和高级技能的标签，用于进一步分析生成模型的表现。

The GenAI-Bench dataset is a benchmark dataset for evaluating and improving compositional text-to-visual generation capabilities. It contains 1600 text prompts from professional designers, covering diverse compositional skills ranging from basic ones (scene, attribute, relationship) to advanced ones (counting, comparison, differentiation, logical reasoning). The dataset also includes images generated by leading generative models such as DALL-E 3, DeepFloyd_I_XL_v1, Midjourney_6, SDXL_2_1, SDXL_Base and SDXL_Turbo, along with human ratings of these images on a 1-to-5 Likert scale. Furthermore, the dataset provides labels for basic and advanced skills to enable in-depth analysis of generative models' performance.

原始信息汇总

数据集概述

数据集信息

• 名称: GenAI-Bench
• 语言: 英语
• 许可证: Apache-2.0
• 大小类别: 1K<n<10K

数据集结构

特征

• id: 字符串类型，唯一标识符
• prompt: 字符串类型，提示信息
• basic_skills: 字符串类型，基本技能标签
• advanced_skills: 字符串类型，高级技能标签
• DALLE_3: 图像类型
• DeepFloyd_I_XL_v1: 图像类型
• Midjourney_6: 图像类型
• SDXL_2_1: 图像类型
• SDXL_Base: 图像类型
• SDXL_Turbo: 图像类型

数据实例

python DatasetDict({ train: Dataset({ features: [id, prompt, basic_skills, advanced_skills, DALLE_3, DeepFloyd_I_XL_v1, Midjourney_6, SDXL_2_1, SDXL_Base, SDXL_Turbo], num_rows: 1600 }) })

数据字段

• id: 唯一标识符，字符串类型
• prompt: 提示信息，字符串类型
• basic_skills: 基本技能标签，字符串类型
• advanced_skills: 高级技能标签，字符串类型
• DALLE_3: 由DALLE_3生成的图像，图像类型
• Midjourney_6: 由Midjourney_6生成的图像，图像类型
• DeepFloyd_I_XL_v1: 由DeepFloyd_I_XL_v1生成的图像，图像类型
• SDXL_2_1: 由SDXL_2_1生成的图像，图像类型
• SDXL_Base: 由SDXL_Base生成的图像，图像类型
• SDXL_Turbo: 由SDXL_Turbo生成的图像，图像类型
• Human Rating: 人类对每个生成图像的评分，字典类型

统计信息

• GenAI-Bench:
  • 提示数量: 1600
  • 技能标签数量: 5,000+
  • 图像数量: 9,600
  • 视频数量: --
  • 人类评分数量: 28,800

数据来源

• 提示: 来自专业设计师，使用工具如Midjourney和CIVITAI
• 多重组合标签: 每个提示的标签由人工标注者验证
• 生成图像: 使用1,600个GenAI-Bench提示从DALLE_3, DeepFloyd_I_XL_v1, Midjourney_6, SDXL_2_1, SDXL_Base和SDXL_Turbo生成
• 生成视频: 使用800个GenAI-Bench提示从Pika, Gen2, ModelScope和Floor33生成
• 人类评分: 雇佣三名训练有素的人工标注者对每个生成的图像/视频进行评分

数据集构建

• 提示收集: 从专业设计师处收集提示，确保提示涵盖实际应用相关技能，无主观或不当内容
• 组合技能标签: 每个GenAI-Bench提示被仔细标记所有评估技能
• 图像/视频收集和人类评分: 使用先进模型如SD-XL和Gen2生成图像和视频，并收集1-to-5 Likert量表评分

使用考虑

• 社会影响: 数据集旨在评估和改进组合文本到视觉生成，收集了38,400个人类对合成图像和视频的评分
• 偏见讨论: 通过人工标注者过滤，最小化了NSFW和有毒内容
• 其他已知限制: 无

许可证信息

• 许可证: Apache-2.0

维护

• 联系人: Baiqi Li 或 Zhiqiu Lin
• 更新计划: 将持续更新数据集，确保其质量

搜集汇总

背景与挑战

背景概述

GenAI-Bench数据集是一个用于评估和改进组合文本到视觉生成能力的基准数据集，包含1600个专业设计师的文本提示和多个领先模型生成的图像及人类评分，涵盖从基本到高级的多种组合技能。