Holmes-Set

Holmes-Set是一个大规模且全面的AI生成图像检测数据集，包括Holmes-SFTSet和Holmes-DPOSet。Holmes-SFTSet包含6.5万张图像，带有关于图像是否为AI生成的解释，经过跨模型验证和专家指导过滤，以确保与人类可验证的证据一致。Holmes-DPOSet通过在Holmes-SFTSet的65K图像上构建对比性解释对，以及通过迭代专家校正对额外4K图像进行解释，有效地弥合了模型感知和人类推理之间的差距。数据集通过多专家陪审团系统进行高效的数据标注，增强了数据生成，并通过跨模型评估、专家缺陷过滤和人类偏好修改进行了质量控制。

Holmes-Set is a large-scale and comprehensive AI-generated image detection dataset that includes two subsets: Holmes-SFTSet and Holmes-DPOSet. Holmes-SFTSet contains 65,000 images with explanations indicating whether each image is AI-generated, and has undergone cross-model validation and expert-guided filtering to ensure consistency with human-verifiable evidence. Holmes-DPOSet constructs contrastive explanation pairs based on the 65,000 images from Holmes-SFTSet, and provides explanations for an additional 4,000 images through iterative expert correction, effectively bridging the gap between model perception and human reasoning. The dataset employs a multi-expert jury system for efficient data annotation to enhance data generation, and implements quality control via cross-model evaluation, expert defect filtering and human preference modification.

原始信息汇总

AIGI-Holmes 数据集概述

数据集基本信息

• 名称: AIGI-Holmes
• 发布年份: 2025
• 相关论文: AIGI-Holmes: Towards Explainable and Generalizable AI-Generated Image Detection via Multimodal Large Language Models
• 数据集地址: https://huggingface.co/datasets/zzy0123/AIGI-Holmes-Dataset/tree/main
• 许可证: Apache 2.0 license

数据集组成

• Holmes-SFTSet: 包含关于图像是否为AI生成的解释的指令调优数据集
• Holmes-DPOSet: 与人类对齐的偏好数据集

数据集特点

• 规模: 大规模
• 内容: 全面的AI生成图像检测数据集
• 标注方法: 采用多专家评审（Multi-Expert Jury）方法进行高效数据标注

数据集用途

• 主要任务: AI生成图像检测
• 辅助功能: 提供人类可验证的解释和与人类对齐的偏好数据

相关模型

• Holmes Pipeline: 三阶段训练框架
  1. 视觉专家预训练
  2. 监督微调
  3. 直接偏好优化
• AIGI-Holmes: 最终生成的模型，用于AI生成图像检测

实验验证

• 基准测试: 在三个基准测试上进行了广泛实验验证有效性

搜集汇总

数据集介绍

构建方式

Holmes-Set数据集的构建采用了多专家评审系统（Multi-Expert Jury），通过四种开源多模态大语言模型（MLLM-Experts）进行高质量数据标注。系统设计了三种定制化提示：通用正向提示用于随机选取的45K图像标注，通用负向提示生成对抗性标注以构建直接偏好优化（DPO）数据集，专家提示则专注于20K经专家筛选的缺陷图像。为确保标注质量，采用MLLM-as-a-judge方法进行交叉评估，仅保留共识评分最高的标注。此外，通过人类专家反馈和MLLM专家修改建议，进一步优化数据集，确保与人类判断标准对齐。

特点

Holmes-Set数据集包含Holmes-SFTSet和Holmes-DPOSet两部分，前者提供65K带有解释的图像标注，涵盖高级语义维度（如物理不一致、解剖学错误）和低级伪影（如色调、纹理），并通过跨模型验证和专家引导过滤严格优化。后者通过正负提示构建对比解释对，并通过迭代专家修正进一步优化4K图像解释，有效弥合模型感知与人类推理之间的差距。该数据集首次在AI生成图像检测领域提供了丰富的解释性标注和对比偏好对，解决了训练数据稀缺的关键问题。

使用方法

Holmes-Set数据集适用于多模态大语言模型（MLLMs）的系统性训练，包括视觉专家预训练、解释感知的监督微调和人类对齐的直接偏好优化。在使用时，首先利用Holmes-SFTSet通过二元分类快速适配视觉编码器，建立领域特定特征提取；随后进行监督微调，使MLLMs不仅能检测合成内容，还能生成人类可验证的解释；最后利用Holmes-DPOSet进行人类对齐的直接偏好优化，从根本上重塑MLLMs的推理模式。在推理阶段，采用协作解码策略，整合视觉专家的模型感知与MLLMs的语义推理，形成双通道验证过程，增强方法的泛化能力。

背景与挑战

背景概述

Holmes-Set数据集由厦门大学与腾讯优图实验室于2025年联合发布，旨在解决AI生成图像（AIGI）检测领域的两大核心问题：模型可解释性不足与泛化能力有限。该数据集包含65K标注图像及4K人工修正样本，创新性地引入多专家评审机制，通过结构化多模态大语言模型（MLLM）注释构建了包含语义层级解释的Holmes-SFTSet和人类偏好对齐的Holmes-DPOSet。作为首个融合视觉模态与语言解释的大规模AIGI检测基准，Holmes-Set通过物理矛盾、解剖学错误等12类细粒度标注维度，为构建可验证、可泛化的检测模型提供了关键数据支撑，推动了AIGC安全治理领域的研究范式转变。

当前挑战

Holmes-Set面临的挑战主要体现在：1) 领域问题层面：需突破现有检测方法对低阶伪影特征的依赖，解决扩散模型等新一代生成技术带来的分布偏移问题，同时实现检测结果的人类可验证解释；2) 构建过程层面：需克服跨模型验证的标注一致性难题，通过专家引导过滤平衡生成缺陷样本的覆盖率与标注质量，并设计高效的人类偏好对齐机制以弥合模型感知与人类推理的差异。具体表现为：生成图像缺乏真实参照导致标注困难、MLLM在细粒度伪造分析中存在系统性知识盲区，以及解释模板机械复制等问题。

常用场景

经典使用场景

Holmes-Set数据集在AI生成图像检测领域具有广泛的应用场景，特别是在需要解释性和泛化性的研究中。该数据集通过提供丰富的语义标注和对比偏好对，支持多模态大语言模型（MLLMs）的训练和评估。其经典使用场景包括训练模型以识别AI生成图像中的高层面语义缺陷（如物理不一致、解剖学错误）和低层面伪影（如色调、纹理、边缘异常），并通过结构化解释增强模型的可解释性。

实际应用

在实际应用中，Holmes-Set可部署于社交媒体内容审核、数字证据鉴定和新闻真实性验证等场景。例如，平台可利用基于该数据集训练的模型自动识别深度伪造图像，并生成人类可理解的检测报告，辅助人工审核。在信息安全领域，其提供的多维度解释能帮助追溯图像篡改痕迹，为司法取证提供技术支撑。此外，该数据集还可用于教育领域，通过可视化解释帮助学生理解AI生成内容的特征。

衍生相关工作

Holmes-Set催生了一系列相关研究工作，包括基于多模态大语言模型的解释性检测框架AIGI-Holmes及其三阶段训练流程（视觉专家预训练、监督微调、直接偏好优化）。该数据集还启发了后续研究如FakeBench和LOKI在指令微调数据集构建方面的探索。在方法论层面，其提出的多专家评审标注机制和协作解码策略为跨模态内容分析提供了新范式，推动了可解释AI在媒体取证领域的发展。