MM-Hallu/MFC-Bench

MFC-Bench是一个全面的多模态事实核查基准，旨在评估大型视觉语言模型在识别事实不一致和反事实场景方面的能力。该数据集包含广泛的视觉和文本查询，组织成三个二元分类任务：1. 篡改分类（manipulation配置）：包含31,000个带有图像的样本，针对多种篡改类型，如人脸交换、人脸属性编辑、背景更改、图像生成、实体替换和风格迁移；标签manipulate表示图像是否被篡改（0为真实，1为篡改），manipulation_type表示具体的篡改类型。2. 上下文不符分类（ooc配置）：包含2,000个带有图像的样本，专注于识别图像和文本之间错误的关联（即使两者单独可能为真）；标签matched表示标题是否与图像正确匹配。3. 真实性分类（veracity配置）：包含2,000个带有图像的样本，是多模态版本，用于基于视觉证据对文本声明的真实性进行分类；标签relevancy表示声明是否得到视觉证据的支持，claim是要验证的文本声明。许可证：Apache-2.0 任务类别： - 图像分类（image-classification） - 视觉问答（visual-question-answering） 语言： - 英语（en） 标签： - 事实核查（fact-checking） - 多模态（multimodal） - 操纵检测（manipulation-detection） - 脱离上下文（out-of-context） - 真实性（veracity） - 基准测试（benchmark） 友好名称：MFC-Bench 样本量范围：10000 < 样本数 < 100000 配置项： - 配置名称：manipulation 数据文件： - 划分：训练集（train） 路径：manipulation/train-* - 配置名称：ooc 数据文件： - 划分：训练集（train） 路径：ooc/train-* - 配置名称：veracity 数据文件： - 划分：训练集（train） 路径：veracity/train-* 数据集信息： - 配置名称：manipulation 特征项： - 名称：标识符（id） 数据类型：字符串（string） - 名称：篡改标记（manipulate） 数据类型：类别标签（class_label） 类别映射： '0': authentic（真实未篡改样本） '1': manipulated（篡改样本） - 名称：篡改类型（manipulation_type） 数据类型：字符串（string） - 名称：标题（caption） 数据类型：字符串（string） - 名称：图像（image） 数据类型：图像（image） 数据集划分： - 名称：训练集（train） 样本数量：31000 - 配置名称：ooc 特征项： - 名称：图像ID（image_id） 数据类型：64位整数（int64） - 名称：标识符（id） 数据类型：64位整数（int64） - 名称：标题（caption） 数据类型：字符串（string） - 名称：匹配标记（matched） 数据类型：布尔值（bool） - 名称：图像（image） 数据类型：图像（image） 数据集划分： - 名称：训练集（train） 样本数量：2000 - 配置名称：veracity 特征项： - 名称：证据标识符（evidence_id） 数据类型：字符串（string） - 名称：主题（topic） 数据类型：64位整数（int64） - 名称：文档标识符（document_id） 数据类型：字符串（string） - 名称：相关性标记（relevancy） 数据类型：类别标签（class_label） 类别映射： '0': not_relevant（不相关） '1': relevant（相关） - 名称：声明（claim） 数据类型：字符串（string） - 名称：图像（image） 数据类型：图像（image） 数据集划分： - 名称：训练集（train） 样本数量：2000 # MFC-Bench：多模态事实核查基准测试 MFC-Bench 是一款全面的多模态事实核查测试平台，旨在评估大视觉语言模型（Large Vision-Language Models, LVLMs）识别事实不一致性与反事实场景的能力。 ## 数据集说明 本数据集源自论文：**《MFC-Bench: Benchmarking Multimodal Fact-Checking with Large Vision-Language Models》** MFC-Bench 涵盖丰富的视觉与文本查询任务，划分为三个二分类任务： ### 1. 操纵分类（`manipulation` 配置） - 包含31000个带图像的样本 - 目标为识别各类图像篡改操作：人脸交换、人脸属性编辑、背景替换、图像生成、实体替换与风格迁移 - `manipulate` 字段：0代表真实未篡改样本，1代表篡改样本 - `manipulation_type`：表示具体的图像篡改类型 ### 2. 脱离上下文分类（`ooc` 配置） - 包含2000个带图像的样本 - 聚焦于识别图像与文本之间的虚假关联（即便二者单独均为真实内容） - `matched` 字段：表示标题是否与图像正确匹配 ### 3. 真实性分类（`veracity` 配置） - 包含2000个带图像的样本 - 属于多模态任务，用于基于给定视觉证据对文本声明的真实性进行分类 - `relevancy` 字段：表示文本声明是否获得视觉证据的支持 - `claim`：表示待验证的文本声明 ## 引用格式 bibtex @misc{wang2024mfcbenchbenchmarkingmultimodalfactchecking, title={MFC-Bench: Benchmarking Multimodal Fact-Checking with Large Vision-Language Models}, author={Shengkang Wang and Hongzhan Lin and Ziyang Luo and Zhen Ye and Guang Chen and Jing Ma}, year={2024}, eprint={2406.11288}, archivePrefix={arXiv}, primaryClass={cs.CL}, url={https://arxiv.org/abs/2406.11288}, } ## 来源 - GitHub：[https://github.com/wskbest/MFC-Bench](https://github.com/wskbest/MFC-Bench) - 原始数据集：[manipulation-mfc-bench](https://huggingface.co/datasets/Anonymous-2024/manipulation-mfc-bench), [ooc-mfc-bench](https://huggingface.co/datasets/Anonymous-2024/ooc-mfc-bench), [veracity-mfc-bench](https://huggingface.co/datasets/Anonymous-2024/veracity-mfc-bench)