j-min/layoutbench-coco

LayoutBench-COCO是一个诊断基准，用于评估布局引导的图像生成模型在任意未见过的布局上的表现。与LayoutBench不同，LayoutBench-COCO包含真实对象的OOD布局，并支持零样本评估。数据集测量了四个技能（数量、位置、大小、组合），这些技能的对象来自MS COCO数据集。新的‘组合’拆分包含具有不同空间关系的两个对象的布局，其余三个拆分与LayoutBench类似。

LayoutBench-COCO is a diagnostic benchmark dataset for evaluating layout-guided image generation models on arbitrary, unseen layouts. The dataset consists of OOD layouts of real objects from MS COCO and supports zero-shot evaluation. LayoutBench-COCO measures four skills (Number, Position, Size, Combination), with the combination skill including layouts of two objects in different spatial relations. The dataset is divided into multiple config files, each containing different types of layout data.

原始信息汇总

LayoutBench-COCO 数据集概述

基本信息

• 许可证: MIT
• 任务类别: 文本到图像生成
• 语言: 英语
• 配置:
  • 默认配置:
    • 分割: combinations_common
      • 路径: combinations_layouts_common.json
    • 分割: combinations_uncommon
      • 路径: combinations_layouts_uncommon.json
    • 分割: count_2_4
      • 路径: count_layouts_2_4.json
    • 分割: count_5_7
      • 路径: count_layouts_5_7.json
    • 分割: count_8_10
      • 路径: count_layouts_8_10.json
    • 分割: position_boundary
      • 路径: position_layouts_boundary.json
    • 分割: position_center
      • 路径: position_layouts_center.json
    • 分割: size_large
      • 路径: size_layouts_large.json
    • 分割: size_small
      • 路径: size_layouts_small.json
• 数据集名称: LayoutBench-COCO

数据集描述

• 来源: 来自Diagnostic Benchmark and Iterative Inpainting for Layout-Guided Image Generation (CVPR 2024 Workshop)
• 作者:
  • Jaemin Cho
  • Linjie Li
  • Zhengyuan Yang
  • Zhe Gan
  • Lijuan Wang
  • Mohit Bansal

数据集特点

• 目标: 评估布局引导的图像生成模型在任意、未见过的布局上的表现。
• 区别: 与LayoutBench不同，LayoutBench-COCO包含真实对象的OOD布局，并支持零样本评估。
• 技能测量: 包含四个技能（数量、位置、大小、组合），对象来自MS COCO。

技能详情

技能1: 数量

• 定义: 为2到10个对象定义两种布局，使用40个COCO对象，共720个布局（= 2×9×40）。
• 分割: 2到4个对象的布局称为“few”分割，8到10个对象的布局称为“many”分割。
• 描述: 布局与模板为“a photo of [N] [objects]”的标题配对。

技能2: 位置

• 定义: 为边界和中心分割分别定义四种布局，使用40个COCO对象，共320个布局（= 2 × 4 × 40）。
• 描述: 布局与模板为“a photo of [N] [objects]”的标题配对。

技能3: 大小

• 定义: 为tiny和large分割分别定义九种布局，使用40个COCO对象，共720个布局（= 9×2×40）。
• 描述: 布局与模板为“a photo of [N] [objects]”的标题配对。

技能4: 组合

• 定义: 测量模型是否能生成在现实世界中常见或不常见的两个对象。
• 布局: 为三种空间关系（holding, next to, sitting on）定义三种布局，不指定对象。
• 对象对: 为每种关系手动定义20对COCO对象，分为常见和不常见分割。
• 示例: 例如，“person sitting on chair”比“elephant sitting on banana”更常见。
• 总数: 共360个布局（= 2×3×3×20）。
• 描述: 布局与模板为“[objA] [relation] [objB]”的标题配对。

使用指南

• 步骤1: 下载LayoutBench-COCO并从布局生成图像。
• 步骤2: 运行评估。

引用

bibtex @inproceedings{Cho2024LayoutBench, author = {Jaemin Cho and Linjie Li and Zhengyuan Yang and Zhe Gan and Lijuan Wang and Mohit Bansal}, title = {Diagnostic Benchmark and Iterative Inpainting for Layout-Guided Image Generation}, booktitle = {The First Workshop on the Evaluation of Generative Foundation Models}, year = {2024}, }