FaceXBench

FaceXBench是一个综合基准测试，旨在评估多模态大语言模型（MLLMs）在复杂面部理解任务上的表现。它包括从25个公共数据集和一个新创建的数据集FaceXAPI中提取的5000个多模态选择题，涵盖了14个任务，分布在6个关键类别中。

FaceXBench is a comprehensive benchmark designed to evaluate the performance of multimodal large language models (MLLMs) on complex facial understanding tasks. It comprises 5,000 multimodal multiple-choice questions extracted from 25 public datasets and a newly created dataset named FaceXAPI, covering 14 tasks distributed across 6 key categories.

原始信息汇总

FaceXBench 数据集概述

数据集简介

FaceXBench 是一个用于评估多模态大语言模型（MLLMs）在面部理解任务上的综合基准。该数据集包含 5,000 个多模态选择题，涵盖 14 个任务，涉及 6 个关键类别。这些任务包括偏见与公平、面部认证、识别、分析、定位和工具检索等。

数据集构成

• 数据来源：FaceXBench 的问题来源于 25 个公共数据集和一个新开发的数据集 FaceXAPI。
• 任务类型：每个问题可能包含单张或多张图像，并配有四个选项，其中只有一个正确答案。
• 问题分布：问题分布在 6 个主要类别和多个子类别中，具体分布情况可通过数据集中的饼图查看。

数据集贡献

1. 引入 FaceXBench：提供了一个全面的基准，用于评估 MLLMs 在 14 个任务中的面部理解能力。
2. 广泛评估：评估了 26 个开源 MLLMs 和两个专有模型（GPT-4o 和 GeminiPro1.5），结果显示这些模型在 FaceXBench 上的表现仍有显著提升空间。
3. 分析与讨论：详细分析了 MLLMs 在面部理解任务中的表现，并提出了可能的研究方向。

数据集使用

• 图像数据：位于 facexbench/benchmark/images 目录下。
• JSON 文件：位于 facexbench/benchmark 目录下。
• 评估工具：可使用 VLMEvalKit 进行评估。

评估步骤

1. 克隆 VLMEvalKit 和 FaceXBench 仓库。
2. 复制评估脚本到 VLMEvalKit 目录。
3. 安装支持的 MLLMs。
4. 运行评估脚本并汇总结果。

引用

如果 FaceXBench 对您的研究有帮助，请考虑引用我们（引用格式即将发布）。

联系方式

如有任何问题，请在本仓库创建 issue 或联系 [e-mail]。

搜集汇总

数据集介绍

构建方式

FaceXBench数据集的构建基于25个公开数据集和新创建的FaceXAPI数据集，涵盖了14个任务，涉及6个关键类别。每个任务包含单张或多张图像，并设计了四个选项，其中仅有一个正确答案。通过这种方式，数据集旨在评估多模态大语言模型（MLLMs）在复杂人脸理解任务中的表现。数据集的构建过程注重多样性和挑战性，以确保其能够全面反映模型在实际应用中的能力。

特点

FaceXBench数据集的特点在于其广泛的任务覆盖和多样化的数据来源。数据集包含5000个多模态选择题，涵盖了偏见与公平性、人脸认证、识别、分析、定位及工具检索等多个方面。每个问题都经过精心设计，旨在促使模型在做出选择前进行深入分析。此外，数据集还提供了详细的评估结果和分析，帮助研究者识别当前模型的不足之处，并为未来的研究方向提供建议。

使用方法

使用FaceXBench数据集时，研究者可以通过克隆GitHub仓库并安装所需的多模态大语言模型来进行评估。数据集提供了详细的评估脚本和结果聚合工具，用户可以通过运行这些脚本来获取模型在不同任务和类别中的表现。评估结果将存储在指定目录中，便于进一步分析和比较。此外，数据集还支持与VLMEvalKit等工具集成，以简化评估流程并提高研究效率。

背景与挑战

背景概述

FaceXBench是由约翰霍普金斯大学的Kartik Narayan、Vibashan VS和Vishal M. Patel等研究人员于2025年推出的一个多模态大语言模型（MLLMs）评估基准。该数据集旨在系统评估MLLMs在复杂人脸理解任务中的表现，涵盖了14个任务，涉及人脸理解的多个方面，如偏见与公平性、人脸认证、识别、分析、定位及工具检索等。FaceXBench基于25个公开数据集和新创建的FaceXAPI数据集，生成了5000个多模态选择题，为MLLMs在人脸理解领域的研究提供了重要的评估工具。该数据集的推出填补了MLLMs在人脸理解领域系统性研究的空白，并为未来的研究指明了方向。

当前挑战

FaceXBench所解决的核心领域问题在于评估多模态大语言模型在复杂人脸理解任务中的表现。当前MLLMs在这一领域面临的主要挑战包括：1）模型在处理多模态数据时的融合能力不足，尤其是在图像与文本的联合理解上；2）模型在面对复杂任务时的推理能力有限，尤其是在零样本、任务描述和链式思维提示等设置下表现不佳；3）模型在公平性和偏见问题上的表现仍需改进。此外，数据集的构建过程中也面临了数据多样性、任务复杂性以及评估标准统一性等挑战。尽管GPT-4o和GeminiPro1.5等先进模型在FaceXBench上取得了50.24%和54.40%的准确率，但仍显示出显著的改进空间。

常用场景

经典使用场景

FaceXBench作为一个多模态大语言模型（MLLMs）的评估基准，主要用于测试模型在复杂人脸理解任务中的表现。该数据集通过14个任务覆盖了6个关键类别，包括偏见与公平性、人脸认证、识别、分析、定位和工具检索等。每个任务包含5000个多模态选择题，这些问题源自25个公开数据集和新开发的FaceXAPI数据集，能够全面评估模型在不同场景下的表现。

实际应用

在实际应用中，FaceXBench可用于评估和改进多模态大语言模型在人脸识别、情感分析、身份验证等领域的性能。例如，在安全监控系统中，模型需要准确识别人脸并进行情感分析以判断潜在威胁。FaceXBench通过提供多样化的测试场景，帮助开发者在实际应用中优化模型，提升其准确性和鲁棒性。

衍生相关工作

FaceXBench的发布催生了一系列相关研究，尤其是在多模态大语言模型的性能优化和人脸理解任务中的应用。例如，基于FaceXBench的研究工作探索了如何通过改进模型架构、引入新的训练策略或增强数据集多样性来提升模型表现。此外，该基准还激发了关于模型公平性和偏见问题的讨论，推动了相关领域的研究进展。