ArtiBench

ArtiBench是由KRAFTON等机构构建的大规模视觉伪影数据集，包含10万张通过ArtiAgent框架合成的图像。该数据集通过感知、合成和筛选三个智能体模块，在真实图像中注入结构型伪影（如重复、缺失、扭曲和融合），并生成详细的伪影标注（包括位置边界框和文本解释）。数据集旨在解决现代扩散模型生成图像中的物理结构失真问题，为视觉语言模型提供训练数据以提升伪影检测、定位和推理能力，并应用于图像生成修复等下游任务。

ArtiBench is a large-scale visual artifact dataset constructed by institutions including KRAFTON, which contains 100,000 images synthesized via the ArtiAgent framework. This dataset injects structural artifacts (e.g., repetition, missing content, distortion, and fusion) into real images through three agent modules: perception, synthesis, and filtering, and generates detailed artifact annotations including location bounding boxes and textual explanations. The dataset aims to address the physical structural distortion issue in images generated by modern diffusion models, providing training data for vision-language models to enhance their artifact detection, localization, and reasoning capabilities, and can be applied to downstream tasks such as image generation and restoration.

搜集汇总

数据集介绍

构建方式

在视觉生成模型日益精进的背景下，ArtiBench的构建采用了前沿的代理驱动数据合成框架ArtiAgent，以自动化方式生成具有丰富标注的视觉伪影数据。该框架通过三个协同工作的智能代理实现：感知代理利用视觉语言模型识别并定位真实图像中的实体与子实体，为伪影注入提供语义候选；合成代理基于扩散变换器的补丁级嵌入操作，通过创新的反演-注入方法，在选定区域引入重复、缺失、扭曲或融合等结构性伪影；策展代理则通过感知差异度量与视觉语言模型验证，过滤低质量样本，并为每个实例生成局部与全局的文本解释。整个流程无需人工标注，从COCO、Caltech-101等多源真实图像数据中合成了十万对高质量伪影-干净图像对，确保了数据的多样性与可扩展性。

特点

ArtiBench作为针对现代生成模型视觉伪影的基准数据集，其核心特点体现在时效性、丰富性与结构性三个维度。数据集涵盖由FLUX、Nano-Banana等五种前沿扩散模型生成的图像，精准捕捉了当前模型典型的重复、缺失、扭曲与融合四类结构性伪影，超越了早期数据集中简单的高斯噪声或模糊伪影。每张图像均包含二元伪影标签、边界框定位及自然语言解释的三重标注，支持检测、定位与推理的全方位评估。数据集的千张样本经过严格的人工标注与平衡设计，其中半数图像包含伪影，半数保持洁净，确保了评估的公正性与挑战性。这些特征使得ArtiBench能够有效衡量模型对复杂、真实视觉伪影的理解与处理能力。

使用方法

ArtiBench主要用于评估视觉语言模型在视觉伪影感知任务上的性能，涵盖二元检测、空间定位与语义解释三大核心任务。研究者可将该数据集作为测试基准，验证模型在二元分类中判断图像是否存在伪影的准确性，在定位任务中预测伪影边界框的精确度，以及在解释任务中生成自然语言描述的相关性。此外，基于ArtiBench训练或评估的模型可进一步应用于下游任务，例如利用伪影感知奖励引导扩散模型生成无伪影图像，或驱动修复模型对含伪影区域进行自动编辑与校正。数据集的标注格式统一，兼容常见的评估指标如准确率、F1分数、交并比与ROUGE，便于集成至现有研究流程中，推动视觉生成模型可靠性的提升。

背景与挑战

背景概述

ArtiBench数据集由KAIST、首尔国立大学及KRAFTON的研究团队于2026年提出，旨在应对现代扩散模型生成图像中普遍存在的视觉伪影问题。该数据集聚焦于结构性伪影，如重复、缺失、扭曲和融合等类型，通过创新的ArtiAgent代理框架自动合成大规模伪影标注数据，无需人工干预。其核心研究问题在于解决视觉语言模型在识别、定位和解释AI生成图像伪影方面的能力不足，为提升生成模型的可靠性与下游应用如医学图像生成和自动驾驶提供了关键基准。

当前挑战

ArtiBench面临的挑战主要涉及领域问题与构建过程两方面。在领域层面，该数据集致力于解决现代扩散模型中结构性伪影的检测与理解难题，这些伪影往往表现为细微的物理结构失真，对视觉语言模型的感知与推理能力构成严峻考验。构建过程中，挑战在于如何自动化生成多样且真实的伪影标注，避免依赖昂贵且难以扩展的人工标注，同时确保伪影类型覆盖现代生成模型的典型失败模式，如处理早期扩散模型中罕见的复杂失真现象。

常用场景

经典使用场景

在生成式人工智能领域，ArtiBench数据集主要应用于评估和提升视觉语言模型对扩散模型生成图像中视觉伪影的感知能力。该数据集通过人工标注的二元标签、边界框定位及文本解释，为模型提供了结构化的伪影检测、定位与推理任务基准。研究者通常利用ArtiBench对现有视觉语言模型进行微调或基准测试，以系统评估模型在识别现代生成模型中常见结构性伪影（如重复、缺失、扭曲和融合）方面的性能，从而推动模型在复杂视觉理解任务上的进步。

解决学术问题

ArtiBench数据集有效解决了生成式人工智能中视觉伪影检测与理解的核心学术问题。传统方法依赖人工标注数据集，成本高昂且难以扩展，而ArtiBench通过自动化框架生成大规模、多样化的伪影标注数据，显著降低了数据获取门槛。该数据集支持模型在伪影检测、定位和解释等任务上的性能提升，帮助研究者深入探究视觉语言模型在复杂视觉异常识别中的局限性，并为开发更鲁棒的生成模型提供了关键评估工具，推动了视觉伪影缓解领域的方法创新与理论进展。

衍生相关工作

ArtiBench数据集衍生了一系列经典研究工作，主要集中在视觉伪影理解与生成模型优化方向。例如，基于ArtiAgent框架生成的训练数据，研究者开发了如Qwen2.5-VL和InternVL3.5等开源视觉语言模型的微调版本，这些模型在伪影检测、定位和解释任务上超越了GPT-5等专有模型。同时，该数据集促进了奖励引导生成方法的发展，通过训练基于CLIP的奖励模型指导扩散模型生成无伪影图像。此外，相关研究还探索了视觉语言模型引导的图像修复流程，实现了对生成图像中伪影区域的自动化识别与校正，为生成模型的可靠性提升提供了重要技术路径。