TIGER-Lab/ImagenWorld

ImagenWorld是一个大规模的基准数据集，旨在评估在真实的多模态场景中的图像生成和编辑模型。它涵盖了六个不同的任务和六个内容领域，并以Parquet格式提供，包括结构化的元数据、文本提示和嵌入的参考图像。数据集还包括对‘训练’分割的人类注释。README还提供了使用🤗 datasets库加载数据集的信息，并为那些希望在研究中使用数据集的人提供了引用。ImagenWorld is a large-scale benchmark designed to evaluate image generation and editing models in realistic multimodal scenarios. It spans six diverse tasks and six content domains, providing a unified framework for assessing model compositionality, instruction following, and multimodal capability. The dataset is provided in Parquet format, which includes structured metadata, text prompts, and embedded reference images for each task. It also includes human annotations for the train split. The README provides information on how to load the dataset using the 🤗 datasets library, and a citation for those who wish to use the dataset in their research.

搜集汇总

数据集介绍

构建方式

在图像生成与编辑模型评估领域，ImagenWorld数据集通过系统化设计构建而成。该数据集涵盖了文本到图像生成、文本引导图像编辑、单参考图像生成与编辑、多参考图像生成与编辑六大任务，每个任务下又细分为六个视觉领域。构建过程中，研究者精心设计了结构化元数据，包括任务类型、主题、子主题、原始提示词、精炼提示词以及条件图像列表。数据条目均配有唯一标识符，并标注了对象列表和人工注释状态，确保了数据的一致性与可追溯性。

特点

ImagenWorld数据集展现出多维度、高复杂度的显著特点。其核心在于覆盖了从基础生成到复杂编辑的完整任务谱系，每个任务均跨越艺术创作、摄影写实、信息图表、文本图形、计算机图形及屏幕截图六大视觉领域，实现了评估场景的广泛多样性。数据集不仅提供原始文本指令，还包含了经过大语言模型精炼的标准提示词，以及嵌入式的参考图像列表。此外，数据集中部分样本附有人工标注，为模型性能的细粒度评估提供了可靠依据。

使用方法

为高效利用ImagenWorld数据集进行评估研究，用户可通过Hugging Face的`datasets`库便捷加载。数据集按任务划分为不同配置，研究者可根据需要加载特定任务（如TIG）的全部训练数据。加载后，每条数据均以结构化形式呈现，包含提示词、条件图像及各类元数据。该数据集主要服务于对图像生成与编辑模型进行系统性、多任务的基准测试，用户可基于其提供的丰富条件，评估模型在组合性、指令遵循及多模态理解等方面的综合能力。

背景与挑战

背景概述

在生成式人工智能迅猛发展的浪潮中，图像生成与编辑模型的评估长期面临缺乏统一、综合性基准的困境。为应对这一挑战，TIGER-AI Lab的研究团队于2026年推出了ImagenWorld数据集。该数据集旨在为图像生成与编辑模型在开放、真实的多模态场景下提供一个系统性的评估基准，其核心研究问题聚焦于如何全面衡量模型在组合性、指令遵循以及多模态理解方面的能力。通过涵盖文本到图像生成、图像编辑等六大任务，并横跨艺术作品、信息图表等六大视觉领域，ImagenWorld构建了一个大规模、结构化的评估框架，对推动生成模型的可解释性评估与性能基准测试产生了深远影响。

当前挑战

ImagenWorld致力于解决的领域挑战在于，现有评估基准往往局限于单一任务或狭窄的视觉范畴，难以全面检验模型在复杂、开放的真实世界场景下的综合能力。具体而言，该数据集旨在应对模型在理解多模态指令、整合多参考图像信息以及在不同视觉风格间保持一致性方面所面临的严峻考验。在构建过程中，挑战同样显著：如何系统性地定义并收集覆盖六大任务和六大领域的海量、高质量的提示词与条件图像对；如何设计严谨的元数据结构以支持细粒度的分析与评估；以及如何组织大规模的人工标注流程，以确保评估结果的可信度与可解释性，这些均是数据集构建者需要克服的核心难题。

常用场景

经典使用场景

在图像生成与编辑模型的评估领域，ImagenWorld数据集被广泛应用于基准测试与性能比较。该数据集通过涵盖文本到图像生成、文本引导图像编辑、单参考与多参考图像生成及编辑等六种核心任务，为研究者提供了一个统一且多样化的评估框架。其经典使用场景包括对扩散模型、生成对抗网络等前沿生成式AI模型进行系统性压力测试，以衡量模型在遵循复杂指令、处理多模态输入以及实现视觉组合性方面的能力。

衍生相关工作

围绕ImagenWorld数据集，已衍生出多项重要的研究工作。这些工作主要集中在开发新的评估指标、构建自动化评估流程以及训练专门的多模态理解模型上。例如，部分研究利用该数据集的条件集和标注集，训练视觉语言模型以更精准地解析生成任务中的对象与关系；另一些工作则基于其丰富的任务划分，提出了新的模型性能排行榜和诊断工具，用于深入分析不同模型架构在特定任务上的失败模式与瓶颈。

数据集最近研究

最新研究方向

在图像生成与编辑领域，ImagenWorld数据集作为一项大规模基准测试，正推动着多模态场景下模型性能评估的前沿探索。当前研究聚焦于利用其涵盖的六项多样化任务和六个内容领域，深入分析生成模型在组合性、指令遵循及多模态理解方面的能力。随着扩散模型和大型视觉语言模型的快速发展，该数据集为评估模型在开放世界任务中的鲁棒性和创造性提供了关键支撑。相关热点事件包括社区对生成模型安全性与可控性的广泛讨论，ImagenWorld通过引入人类标注的细粒度评估，为模型的可解释性研究奠定了实证基础。其影响在于为学术界和工业界提供了一个统一、全面的评估框架，促进了生成式人工智能在真实应用场景中的可靠部署与持续优化。