MagicData340K

MagicData340K是第一个大规模人工标注的生成图像数据集，包含34万张图像，具有细粒度伪影标签，用于文本到图像生成中的伪影评估。

MagicData340K is the first large-scale manually annotated generative image dataset, which consists of 340,000 images and is equipped with fine-grained artifact labels for artifact evaluation in text-to-image generation.

原始信息汇总

MagicMirror 数据集概述

数据集基本信息

• 名称：MagicMirror
• 全称：A Large-Scale Dataset and Benchmark for Fine-Grained Artifacts Assessment in Text-to-Image Generation
• 主要贡献者：Jia Wang、Jie Hu、Xiaoqi Ma、Hanghang Ma、Yanbing Zeng、Xiaoming Wei
• 机构：University of Chinese Academy of Sciences、Meituan
• 对应作者：Jie Hu
• 联系方式：[e-mail]、[e-mail]

数据集内容

• 核心数据：MagicData340K，首个大规模人工标注的生成图像细粒度伪影标注数据集，包含34万张生成图像
• 标注类型：基于详细生成的图像伪影分类法进行人工标注，提供细粒度伪影标签

相关资源

• 论文：https://arxiv.org/abs/2509.10260
• 数据集地址：https://huggingface.co/datasets/wj-inf/MagicData340k
• 模型地址：https://huggingface.co/wj-inf/MagicAssessor-7B
• 基准测试地址：https://github.com/wj-inf/MagicMirror
• 主页：https://wj-inf.github.io/MagicMirror-page

框架组成

1. MagicData340K：大规模人工标注数据集
2. MagicAssessor：基于视觉语言模型（VLM）的评估器，提供详细评估和相应标签
3. MagicBench：用于评估当前T2I模型图像伪影的自动化基准测试

评估结果

主要模型性能比较

FLUX.1-dev模型表现最佳：

• 交互得分：84.71
• 人类得分：46.00
• 动物得分：44.50
• 物体得分：89.60
• 总体得分：62.16

GPT-image-1模型表现最佳：

• 交互得分：81.54
• 人类得分：45.00
• 动物得分：49.00
• 物体得分：91.41
• 总体得分：63.08

引用格式

bibtex @article{wang2025magicmirror, title = {MagicMirror: A Large-Scale Dataset and Benchmark for Fine-Grained Artifacts Assessment in Text-to-Image Generation}, author = {Wang, Jia and Hu, Jie and Ma, Xiaoqi and Ma, Hanghang and Zeng, Yanbing and Wei, Xiaoming}, journal = {arXiv preprint arXiv:2509.10260}, year = {2025} }

搜集汇总

数据集介绍

构建方式

在文本到图像生成领域，MagicData340K数据集的构建基于一套精心设计的伪影分类体系。研究团队首先确立了一套详尽的生成图像伪影分类标准，随后对34万张生成图像进行了人工标注，确保每一张图像都配备了细粒度的伪影标签。这一过程不仅涵盖了人类、动物、物体等多个视觉类别，还特别关注了交互场景中的伪影表现，为后续的模型训练与评估奠定了坚实基础。

特点

MagicData340K作为首个大规模人工标注的生成图像伪影评估数据集，其突出特点在于标签的细粒度与全面性。数据集覆盖了多种伪影类型，从纹理异常到结构失真，均提供了精确的标注信息。此外，该数据集还包含了丰富的图像来源，涵盖了当前主流的文本到图像生成模型，使得其能够全面反映不同模型在伪影生成方面的差异与共性。

使用方法

研究人员可通过Hugging Face平台直接访问MagicData340K数据集，或通过GitHub仓库获取完整的基准测试代码。使用前需配置指定的Python环境，安装必要的深度学习库与图像处理工具。数据集支持以JSONL格式组织图像数据，用户可借助提供的评估脚本对自定义文本到图像生成模型进行自动化伪影评估，并获得详细的分数报告。

背景与挑战

背景概述

MagicData340K数据集由美团技术团队与中国科学院大学联合研发，于2025年正式发布，旨在构建文本到图像生成领域的细粒度伪影评估体系。该数据集作为MagicMirror框架的核心组成部分，首次实现了对34万张生成图像的人工精细标注，涵盖了交互、人体、动物与物体四大类伪影类型。其建立推动了生成图像质量评估从主观感知向客观量化的范式转变，为多模态人工智能模型的可靠性验证提供了重要基准。

当前挑战

该数据集致力于解决文本到图像生成模型中普遍存在的视觉伪影评估难题，包括生成图像的结构失真、纹理异常、语义不一致等复杂问题。构建过程中面临标注体系设计的科学性挑战，需要建立兼具全面性和可操作性的伪影分类标准；同时应对大规模人工标注的一致性保障难题，需通过多轮标注校准与质量控制确保34万条数据的标注可靠性。此外，跨模态语义对齐的复杂性也对标注人员的专业素养提出了极高要求。

常用场景

经典使用场景

在文本到图像生成领域，MagicData340K数据集被广泛用于训练和验证视觉语言模型对生成图像中细微伪影的识别能力。该数据集通过精细标注的34万张生成图像，为研究人员提供了评估图像质量的多维度标准，特别是在人物交互、生物形态和物体结构等关键方面的伪影检测。

衍生相关工作

基于该数据集衍生的MagicAssessor视觉语言模型已成为生成图像评估领域的重要基准工具，催生了包括FLUX.1-dev、Seedream3.0等多个先进模型的优化迭代。相关研究工作还推动了细粒度图像质量评估指标的发展，为后续大规模多模态评估体系的建立奠定了理论基础。

数据集最近研究

最新研究方向

在文本生成图像领域，MagicData340K数据集正推动生成图像伪影评估的前沿研究。该数据集通过构建细粒度伪影分类体系，为生成图像质量评估提供了首个大规模人工标注基准。基于此数据集训练的MagicAssessor视觉语言模型，能够自动识别图像中的结构扭曲、纹理异常等伪影类型，显著提升了生成图像的质量控制能力。当前研究聚焦于利用该数据集构建自动化评估基准MagicBench，系统性评测主流文本生成图像模型的伪影生成倾向，为模型优化提供量化依据。这一工作对提升生成式人工智能的可信度与实用性具有重要影响，推动了生成内容质量评估标准化的进程。