j-min/layoutbench

LayoutBench是一个诊断基准，用于评估布局引导的图像生成模型在未见过的布局上的表现。数据集包含8K图像，分为8个任务，每个任务1K图像，涵盖了数量、位置、大小和形状四个空间控制技能。数据集通过Blender模拟器生成，并提供了场景文件和COCO格式的转换文件用于评估。

LayoutBench is a diagnostic benchmark that examines layout-guided image generation models on arbitrary, unseen layouts. The dataset consists of 8K images with 1K images per task, covering four spatial control skills: number, position, size, and shape. The images are generated using the Blender simulator, and the dataset provides scene files and COCO format conversions for evaluation.

原始信息汇总

LayoutBench 数据集概述

数据集基本信息

• 许可证: MIT
• 任务类别: 文本到图像生成
• 语言: 英语
• 配置:
  • 配置名称: default
  • 数据文件:
    • number_few: number/images/*_0-2_*.png
    • number_many: number/images/*_11-13_*.png, number/images/*_14-16_*.png
    • position_boundary: position/images/*_position_boundary_*.png
    • position_center: position/images/*_position_center_*.png
    • shape_horizontal: shape/images/*_H2W1_*.png, shape/images/*_H3W1_*.png
    • shape_vertical: shape/images/*_H1W2_*.png, shape/images/*_H1W3_*.png
    • size_tiny: size/images/*size_020_*.png
    • size_large: size/images/*size_090_*.png, size/images/*size_110_*.png, size/images/*size_130_*.png, size/images/*size_150_*.png

数据集详细信息

• 数据集名称: LayoutBench
• 数据集来源: 来自论文《Diagnostic Benchmark and Iterative Inpainting for Layout-Guided Image Generation (CVPR 2024 Workshop)》
• 作者:
  • Jaemin Cho
  • Linjie Li
  • Zhengyuan Yang
  • Zhe Gan
  • Lijuan Wang
  • Mohit Bansal

数据集内容

• 任务数量: 8个任务，每个任务包含1000张图像
• 任务类型:
  • number_few: 包含0-2个对象的图像
  • number_many: 包含11-16个对象的图像
  • position_center: 对象放置在中心位置的图像
  • position_boundary: 对象仅放置在边界位置的图像
  • size_tiny: 对象尺寸为2的图像
  • size_large: 对象尺寸为9, 11, 13, 15的图像
  • shape_horizontal: 对象水平方向为2或3倍于垂直方向的图像
  • shape_vertical: 对象垂直方向为2或3倍于水平方向的图像

数据集创建方法

• 步骤:
  1. 为每个技能采样场景，定义为对象及其位置
  2. 使用Blender模拟器渲染图像并获取边界框布局
• 对象配置: 保持CLEVR数据集的对象配置，包含3种形状、2种材质和8种颜色

数据集文件结构

• 文件类型:
  • scene files: 用于Blender模拟器渲染的场景文件
  • images: 渲染后的图像
  • scene files in COCO format: 转换为COCO格式的场景文件，用于评估
• 文件结构示例: bash number/ scenes_number_few.json scenes_number_many.json scenes_number_0-2_200.json scenes_number_3-5_200.json ... scenes_number_14-16_200.json scenes.json images/ LayoutBench_val_number_0-2_000000.png ... LayoutBench_val_number_14-16_002599.png coco/ scenes_number_few_coco.json scenes_number_many_coco.json scenes_number_0-2_200_coco.json scenes_number_14-16_200_coco.json