FMBench|医学多模态数据集|模型公平性数据集

FMBench是由布里斯托大学、帝国理工学院、伊利诺伊理工学院和慕尼黑工业大学联合创建的医学多模态数据集，包含30,000个医学视觉问答对和10,000个医学图像报告对。数据集详细标注了种族、性别、语言和民族等多样性属性，旨在全面评估多模态大语言模型在医学任务中的公平性。数据集的创建过程结合了哈佛-FairVLMed数据集，通过LLM生成高质量的问答对，并进行后处理优化。FMBench的应用领域主要集中在医学视觉问答和报告生成任务，旨在解决模型在不同人口群体中的公平性问题。

AI搜集汇总

数据集介绍

构建方式

FMBench数据集的构建基于哈佛-FairVLMed数据集，该数据集包含10,000个样本，每个样本包括眼底图像、临床报告以及详细的元数据，如种族、性别、民族和语言。通过精心设计的问答对生成和优化过程，FMBench生成了30,000个医疗视觉问答对和10,000个图像报告对，每对均标注了详细的四类人口统计属性，以全面评估多模态大语言模型（MLLMs）的公平性。

特点

FMBench数据集的显著特点在于其全面的人口统计属性标注，包括种族、性别、民族和语言，涵盖了十个不同的群体。此外，该数据集采用了自由形式的视觉问答任务，增强了实际应用中的适用性，并减少了与预定义选项相关的偏见。FMBench还引入了新的公平性评估指标——公平性感知性能（FAP），以量化MLLMs在不同人口统计群体中的公平性表现。

使用方法

FMBench数据集主要用于评估多模态大语言模型在医疗视觉问答（VQA）和报告生成（RG）任务中的公平性。研究者可以通过该数据集对模型进行零样本评估，使用传统的词汇指标、基于大语言模型的指标以及新的FAP指标来全面评估模型的性能和公平性。此外，FMBench还提供了详细的实验配置和模型评估结果，为研究者提供了深入分析和优化模型的基础。

背景与挑战

背景概述

近年来，多模态大语言模型（MLLMs）在医疗任务中的应用取得了显著进展，如视觉问答（VQA）和报告生成（RG）。然而，这些模型在不同人口群体中的公平性问题尚未得到充分探讨，尽管其在医疗应用中的重要性不容忽视。这一问题的部分原因是现有医疗多模态数据集中缺乏人口多样性，这使得公平性的评估变得复杂。为此，我们提出了FMBench，这是首个旨在评估MLLMs在不同人口属性下公平性的基准。FMBench包括四个主要的人口属性：种族、民族、语言和性别，涵盖了VQA和RG两项任务，并采用零样本设置。

当前挑战

FMBench面临的挑战主要集中在两个方面：首先，解决医疗领域中多模态任务公平性评估的问题，特别是如何确保模型在不同人口群体中的表现一致性。其次，在构建过程中，如何确保数据集的人口多样性，以及如何设计有效的评估指标，如Fairness-Aware Performance (FAP)，以量化模型在不同人口属性下的公平性表现。此外，传统的词汇评估指标在开放式多模态任务中的不足，也促使我们引入基于大语言模型的评估方法，以更全面地评估模型的性能和公平性。

常用场景

经典使用场景

FMBench数据集在医疗领域的多模态大型语言模型（MLLMs）中扮演着重要角色，特别是在视觉问答（VQA）和报告生成（RG）任务中。通过包含种族、民族、语言和性别等四个关键的多样性属性，FMBench为评估这些模型在不同人群中的公平性提供了独特的平台。其开放式VQA任务设计增强了现实世界的适用性，并减少了预定义选项带来的偏见。此外，结合词汇和基于LLM的评估指标，FMBench不仅关注语言准确性，还从临床角度进行评估，确保模型在实际医疗应用中的可靠性。

解决学术问题

FMBench数据集解决了在医疗多模态任务中评估模型公平性的关键学术问题。传统上，医疗领域的公平性研究主要集中在单一模态任务上，而忽视了多模态任务的公平性评估。FMBench通过引入多样性属性，填补了这一研究空白，使得研究人员能够更全面地评估和改进模型的公平性。此外，FMBench提出的Fairness-Aware Performance（FAP）指标，为量化评估模型在不同人群中的公平性提供了新的工具，推动了医疗AI领域的公平性研究进展。

衍生相关工作

FMBench数据集的推出激发了大量相关研究工作，特别是在医疗多模态任务的公平性评估和改进方面。许多研究团队基于FMBench开发了新的评估方法和模型优化策略，以提高模型在不同人群中的表现。例如，一些研究提出了基于FMBench的公平性增强训练方法，通过调整训练数据和模型架构来减少偏见。此外，FMBench还促进了跨学科的合作，吸引了计算机科学、医学和社会科学领域的研究人员共同探讨和解决医疗AI中的公平性问题，推动了该领域的整体发展。