Forensics-Bench

Forensics-Bench是由香港大学等研究机构提出的一个新的伪造检测评估基准套件，旨在全面评估大型视觉语言模型（LVLMs）在伪造检测方面的能力。该数据集包含63292个精心挑选的多选视觉问题，涵盖了112种独特的伪造检测类型，从五个不同的角度（伪造语义、伪造模态、伪造任务、伪造类型和伪造模型）对伪造进行描述。数据集的内容包括RGB图像、近红外图像、视频和文本等多种模态，覆盖了人像和一般主题的多种语义，并包含了由不同AI模型创建或操作的各种伪造类型。该数据集的设计旨在推动LVLMs在伪造检测领域的发展，解决AI生成内容带来的挑战。Forensics-Bench is a novel forgery detection evaluation benchmark suite proposed by research institutions including the University of Hong Kong, aiming to comprehensively evaluate the forgery detection capabilities of Large Vision-Language Models (LVLMs). This dataset comprises 63,292 carefully curated multiple-choice visual questions, covering 112 unique forgery detection categories, and characterizes forgeries from five distinct perspectives: forgery semantics, forgery modalities, forgery tasks, forgery types, and forgery models. The dataset includes diverse modalities such as RGB images, near-infrared images, videos and text, covers diverse semantics of portraits and general topics, and encompasses various forgery types created or manipulated by different AI models. This benchmark is designed to advance the development of LVLMs in the field of forgery detection and address the challenges posed by AI-generated content.

搜集汇总

数据集介绍

构建方式

Forensics-Bench的构建过程基于五个关键视角：伪造语义、伪造模态、伪造任务、伪造类型和伪造模型。首先，研究团队通过头脑风暴列出了常见的伪造语义、模态、任务、类型和模型，随后从公开数据集中检索相关数据，确保覆盖尽可能多的伪造检测类型。接着，团队将原始数据转换为多选问答形式，部分数据通过手动处理，部分借助ChatGPT进行转换。最终，数据集包含63,292个样本，涵盖112种独特的伪造检测类型，确保数据集的多样性和全面性。

特点

Forensics-Bench的特点在于其广泛的覆盖范围和多样性。数据集从五个不同视角对伪造进行了全面分类，包括伪造语义（如人类主体与一般主体）、伪造模态（如RGB图像、近红外图像、视频和文本）、伪造任务（如二分类、空间定位、时间定位）、伪造类型（如面部交换、面部编辑、文本替换等）以及伪造模型（如GAN、扩散模型、VAE等）。这种多样性要求大型视觉语言模型具备全面的识别、定位和推理能力，以应对复杂的伪造检测任务。

使用方法

Forensics-Bench的使用方法主要围绕对大型视觉语言模型（LVLMs）的评估展开。研究人员可以通过该数据集对模型在多种伪造检测任务中的表现进行全面评估，包括二分类、空间定位、时间定位等任务。数据集的多选问答形式使得评估过程更加标准化和可量化。此外，Forensics-Bench还支持额外的评估协议，如鲁棒性检测和伪造归因，进一步分析模型在噪声环境下的表现及其对不同伪造模型的识别能力。通过这些评估，研究人员可以深入了解LVLMs在伪造检测领域的优势和局限性，并为未来的模型改进提供指导。

背景与挑战

背景概述

随着AIGC（AI生成内容）技术的快速发展，互联网上虚假媒体的多样性和传播速度显著增加，对社会安全、政治和法律等领域构成了前所未有的威胁。为了应对这一挑战，研究人员提出了利用大型视觉语言模型（LVLMs）设计鲁棒的伪造检测器，以应对AIGC时代日益多样化的恶意虚假媒体。然而，目前缺乏一个全面的基准来评估LVLMs在伪造媒体检测中的辨别能力。为此，香港大学、浙江大学等机构的研究团队于2025年提出了Forensics-Bench，这是一个包含63,292个多选视觉问题的伪造检测评估基准，涵盖了112种独特的伪造检测类型，从伪造语义、模态、任务、类型和模型五个角度进行全面评估。Forensics-Bench的推出旨在推动LVLMs在伪造检测领域的研究，并为相关领域提供重要的评估工具。

当前挑战

Forensics-Bench面临的挑战主要体现在两个方面。首先，伪造检测领域的复杂性要求模型具备全面的识别、定位和推理能力，尤其是在面对多种伪造类型和模态时，模型的表现差异显著。例如，LVLMs在某些伪造类型（如风格转换）上表现优异，但在其他类型（如多人脸交换）上表现较差，显示出模型对不同伪造类型的理解存在偏差。其次，构建Forensics-Bench的过程中，研究人员需要从大量公开数据集中筛选和标注数据，确保数据集的多样性和代表性。此外，生成多选问题和答案的过程也面临挑战，需要确保问题的准确性和公平性，避免引入偏差。这些挑战不仅要求模型具备强大的多模态理解能力，还需要数据集构建过程中保持高质量和一致性。

常用场景

经典使用场景

Forensics-Bench数据集主要用于评估大型视觉语言模型（LVLMs）在伪造检测任务中的表现。该数据集涵盖了多种伪造类型，包括图像、视频和文本的伪造，要求模型具备全面的识别、定位和推理能力。通过多选视觉问题的形式，Forensics-Bench能够全面测试模型在不同伪造任务中的表现，如伪造分类、空间定位和时间定位等。

实际应用

Forensics-Bench的实际应用场景广泛，尤其在社交媒体、新闻媒体和司法鉴定等领域具有重要意义。通过评估LVLMs在伪造检测中的表现，该数据集可以帮助开发更强大的伪造检测工具，用于识别和过滤虚假信息、伪造图像和视频，从而减少虚假信息对社会、政治和法律的负面影响。此外，该数据集还可用于提升LVLMs在多模态任务中的表现，推动其在更多实际场景中的应用。

衍生相关工作

Forensics-Bench的推出催生了一系列相关研究工作，尤其是在LVLMs的伪造检测能力评估方面。基于该数据集，研究人员开发了多种新的伪造检测方法，并提出了针对不同伪造类型的改进模型。此外，该数据集还激发了更多关于多模态伪造检测的研究，推动了LVLMs在视觉和语言结合任务中的进一步发展。相关研究不仅提升了伪造检测的准确性，还为LVLMs在其他领域的应用提供了新的思路。