MagicData340K

MagicData340K 是一个包含 34 万张生成图像的大规模数据集，这些图像带有细粒度的缺陷标签，旨在评估文本到图像生成中的细粒度缺陷。该数据集由中国科学院大学和美团的研究人员创建，收集了来自各种高级 T2I 模型的图像，并由人工进行了细粒度标注。该数据集可用于训练图像缺陷评估器，并构建自动化基准测试 MagicBench，以评估当前 T2I 模型的图像缺陷。

MagicData340K is a large-scale dataset consisting of 340,000 generated images paired with fine-grained defect labels, designed to evaluate fine-grained defects in text-to-image (T2I) generation. Developed by researchers from the University of Chinese Academy of Sciences and Meituan, this dataset collects images from various state-of-the-art T2I models, which were subsequently manually annotated with fine-grained labels. It can be utilized to train image defect evaluators and construct the automated benchmark MagicBench for assessing image defects in contemporary T2I models.

搜集汇总

数据集介绍

构建方式

在文本到图像生成领域，物理伪影的评估长期缺乏系统化框架。MagicData340K的构建遵循精细分类学指导，通过整合来自Pick-a-Pic和GPT生成的多样化提示，利用FLUX.1、Midjourney等先进模型生成约34万张图像。经过多阶段人工标注流程，采用分层标签体系对每张图像进行多标签注释，涵盖解剖结构、属性特征和元素交互三大类伪影，最终形成首个大规模细粒度人工标注数据集。

特点

该数据集的核心特征体现在其层次化多标签标注体系，能够精准捕捉图像中并存的多种伪影类型。数据分布呈现近乎均衡的正常图像与伪影图像比例，其中人体解剖异常出现频率最高，占比达61.53%，揭示了当前生成模型在复杂生物结构建模中的共性挑战。数据集特别包含链式思维标注子集，为模型推理过程提供细粒度监督信号，支撑从粗粒度检测到细粒度分析的渐进式评估。

使用方法

作为文本到图像生成质量评估的基础设施，该数据集主要服务于视觉语言模型的训练与基准测试。研究人员可借助其分层标签体系进行模型缺陷诊断，通过多标签分类任务量化不同伪影类型的发生频率。数据集支撑的两阶段训练流程——监督微调与群体相对策略优化，能够有效提升模型在类别不平衡场景下的检测性能，为构建自动化评估基准提供可靠数据支撑。

背景与挑战

背景概述

MagicData340K数据集于2025年由美团与国科大联合团队发布，聚焦文本生成图像领域中的物理伪影评估难题。该数据集针对扩散模型生成图像中普遍存在的解剖结构异常、物体形态失真等缺陷，构建了首个大规模人工标注的细粒度分类体系。通过整合多源提示词与先进生成模型输出，其34万张标注图像为量化生成质量提供了关键基准，推动了可信视觉生成系统的研究进程。

当前挑战

该数据集需解决生成图像中复杂伪影的细粒度识别挑战，包括人体解剖结构扭曲、物体交互逻辑矛盾等异构缺陷的精准定位。构建过程中面临标注一致性保障难题，需通过多轮专家校验与分层标签体系设计来平衡标注效率与质量。同时，数据分布不均衡现象显著，罕见正例样本的缺乏要求创新性过采样策略，以提升模型对精细伪影的敏感度。

常用场景

经典使用场景

在文本到图像生成领域，MagicData340K数据集为评估模型输出中的物理伪影提供了系统化框架。该数据集通过人工标注的34万张生成图像，构建了细粒度伪影分类体系，涵盖对象解剖结构、属性特征和元素交互三大维度。研究者可借助该数据集对生成图像进行多层级缺陷检测，特别在人体解剖异常和对象形态失真等关键问题上实现精准量化评估。

衍生相关工作

该数据集催生了多项创新性研究工作，其中最具代表性的是基于GRPO训练的MagicAssessor视觉语言模型。后续研究进一步拓展了伪影检测的边界，如结合多尺度奖励机制的优化方法、针对特定伪影类型的增强训练策略等。这些衍生工作共同推动了生成式人工智能在可靠性评估方向的技术演进。

数据集最近研究

最新研究方向

在文本到图像生成领域，MagicData340K数据集的推出标志着对生成图像中物理伪影问题的系统性研究迈入新阶段。该数据集通过构建细粒度伪影分类体系，首次大规模标注了34万张生成图像，涵盖解剖结构异常、物体形态失真及元素交互不合理等关键维度。前沿研究聚焦于利用该数据集训练视觉语言模型MagicAssessor，结合分组相对策略优化与多级奖励机制，显著提升了模型对复杂伪影的检测精度。这一进展不仅揭示了当前顶级生成模型仍普遍存在伪影缺陷的现状，更通过自动化评测基准MagicBench为行业提供了量化评估工具，推动生成式AI向更高可靠性与视觉合理性演进。

相关研究论文

• 通过

  中国科学院大学；美团 · 2025年