TIGER-Lab/ImagenWorld-condition-set

ImagenWorld是一个大规模的基准数据集，旨在评估图像生成和编辑模型在真实多模态场景中的性能。它包括六个多样化的任务和六个内容领域，提供了一个统一的框架来评估模型的组合性、指令遵循能力和多模态能力。每个任务文件夹包含多个条目，每个条目对应一个唯一的条件集。数据集涵盖了六个视觉领域，确保跨领域的鲁棒性。

ImagenWorld is a large-scale benchmark designed to evaluate image generation and editing models in realistic multimodal scenarios. It spans six diverse tasks and six content domains, providing a unified framework for assessing model compositionality, instruction following, and multimodal capabilities. Each task folder contains multiple entries, each corresponding to a unique condition set. The dataset covers six visual domains, ensuring cross-domain robustness.

搜集汇总

数据集介绍

构建方式

在图像生成与编辑模型评估领域，ImagenWorld-condition-set的构建体现了严谨的系统化设计。该数据集通过涵盖文本到图像生成、文本与图像编辑、单参考图像生成与编辑、多参考图像生成与编辑共六项核心任务，并横跨艺术作品、摄影写实图像、信息图表、文本图形、计算机图形及屏幕截图六大视觉领域，构建了一个多维度的评估框架。其构建过程依赖于人工撰写的文本指令，形成了约3.6千个独立的条件集合，每个集合均以标准化的元数据文件记录任务类型、领域、提示词及参考图像等信息，确保了数据结构的统一性与可追溯性。

特点

该数据集的核心特点在于其广泛的任务覆盖与丰富的领域多样性。它不仅整合了从纯文本生成到复杂多模态编辑的连续任务谱系，还深入涉足艺术创作、信息可视化等专业视觉场景，从而能够全面检验模型在组合性、指令遵循及多模态理解方面的能力。每个数据条目均包含原始提示与精炼后的标准化提示，并标注了是否经过针对开源或闭源模型的人工对象与片段级问题评估，这为模型性能的细粒度分析提供了坚实基础。数据集的结构化组织与清晰的元数据规范，进一步提升了其作为基准测试工具的可靠性与实用性。

使用方法

研究人员可通过Hugging Face Hub便捷地获取该数据集。下载后，数据集以按任务分组的压缩文件夹形式提供，用户需解压以获得包含TIG、TIE等六个任务目录的完整结构。每个任务目录下包含以唯一ID标识的条件集合文件夹，其中存放着元数据文件及相关的参考图像。元数据文件详细描述了任务要求、视觉领域、提示文本及评估标注状态。使用者可依据这些信息，将条件输入至待评估的图像生成或编辑模型，并将输出结果与数据集提供的结构化评估框架相结合，从而系统性地量化模型在开放世界任务上的表现。

背景与挑战

背景概述

在人工智能生成内容技术迅猛发展的背景下，图像生成与编辑模型的评估亟需超越传统封闭任务，转向开放、真实且多模态的场景。为此，TIGER-AI Lab的研究团队于2026年推出了ImagenWorld-condition-set这一大规模基准数据集。该数据集旨在系统性地评估模型在文本到图像生成、图像编辑等多种任务中的组合性、指令遵循能力及多模态理解水平，覆盖艺术、摄影、信息图表等六个视觉领域。其构建为相关研究提供了统一的评估框架，显著推动了生成模型在复杂现实任务中的性能分析与解释性评估进程。

当前挑战

ImagenWorld数据集致力于应对图像生成与编辑模型在开放世界任务中面临的评估挑战，核心在于如何量化模型对复杂、组合性指令的理解与执行能力，以及在不同视觉风格间保持生成一致性的问题。在构建过程中，挑战体现为如何设计涵盖多任务、多领域的全面条件集合，并确保其真实性与多样性；同时，为数千个条件集进行精细的人工标注与质量验证，以支持可解释的人类评估，也构成了数据收集与标准化的重要难点。

常用场景

经典使用场景

在计算机视觉与生成式人工智能领域，ImagenWorld-condition-set作为大规模基准数据集，其经典使用场景集中于对图像生成与编辑模型进行系统性评估。该数据集通过涵盖文本到图像生成、文本与图像编辑、单参考图像生成与编辑、多参考图像生成与编辑等六项核心任务，并跨越艺术作品、写实图像、信息图表、文本图形、计算机图形及屏幕截图六大视觉领域，为研究者提供了一个统一且多维度的测试平台，用以深入探究模型在复杂、开放式的真实世界场景中的综合表现能力。

解决学术问题

该数据集有效解决了生成式模型评估中长期存在的若干关键学术问题。它通过设计结构化的条件集与人类标注，为量化模型的组合性、指令遵循能力以及多模态理解提供了可解释的评估框架。其意义在于推动了图像生成研究从单一的保真度评估，转向对模型在复杂语义组合、跨域泛化及创造性任务执行等深层能力的系统性考察，从而促进了评估方法的标准化与科学化，对领域的发展方向产生了深远影响。

衍生相关工作

围绕ImagenWorld-condition-set，已衍生出一系列重要的相关研究工作。其中，配套发布的模型输出数据集为不同模型的性能提供了直接对比基准，而带有人工标注的注释集则为训练自动化评估模型或进行细粒度错误分析提供了宝贵资源。这些衍生工作共同构建了一个更完善的评估生态系统，不仅支撑了原论文中提出的可解释性人类评估方法，也激发了后续研究在自动化评估指标设计、模型能力诊断以及针对特定缺陷的模型改进等方面的深入探索。