MMXU|医学图像分析数据集|疾病诊断数据集

arXiv2025-02-17 更新2025-02-19 收录

医学图像分析

疾病诊断

下载链接：

https://github.com/linjiemu/MMXU

下载链接

链接失效反馈

资源简介：

MMXU数据集是由上海交通大学构建的多模态和多X射线理解数据集，旨在研究疾病进展。该数据集利用MIMIC-CXR数据集中的患者电子病历资源，包含两次就诊间特定区域变化的图像和问题。MMXU分为测试集和开发集，其中测试集包含来自1201名患者的3000条记录，开发集包含114000个问题和图像对。该数据集专注于胸部X射线图像，通过比较两次就诊的同一区域的复杂变化，为医学视觉问答和诊断提供新的视角。

提供机构：

上海交通大学

创建时间：

2025-02-17

AI搜集汇总

数据集介绍

构建方式

MMXU数据集的构建采用了多模态和多X射线的方法，旨在解决现有数据集和模型在医疗诊断中忽略的关键问题，如历史记录的整合和疾病随时间推移的分析。数据集的构建过程分为四个阶段：比较句子提取、比较目标选择、QA对生成和后期处理。首先，从Chest ImaGenome数据集中提取包含比较信息的句子，然后根据疾病进展将句子分类为恶化、改善和无变化。接着，使用GPT-4o生成针对每个句子的区域级别的问题和答案对。最后，进行后期处理以确保QA对的质量，包括平衡答案选项的分布和验证问题的正确性。

特点

MMXU数据集的特点包括多模态和多X射线，允许多图像问题，并整合当前和历史患者数据。数据集包含两个分割：测试集和开发集。MMXU-test包含来自1201名患者的3000个条目和2469个研究，而MMXU-dev包含涉及114000张图像的121K个QA对。该数据集旨在询问患者在两次就诊期间特定区域之间的差异，以解决现有MedVQA基准与现实世界临床场景之间的差距。

使用方法

MMXU数据集的使用方法包括利用患者电子病历（EMR）中的丰富资源，并结合当前和历史数据进行分析。数据集可用于评估大型视觉语言模型（LVLMs）在识别疾病进展方面的性能，并提出MedRecord-Augmented Generation（MAG）方法，以增强LVLMs的医学诊断能力。MAG方法将全球和区域历史记录作为上下文信息，以促进LVLMs更好地理解疾病进展。通过在MMXU-dev数据集上对模型进行微调，可以进一步提高模型的性能。

背景与挑战

背景概述

随着大型视觉-语言模型（LVLMs）在医学应用中的不断发展，特别是在医学视觉问答（MedVQA）和医学图像诊断方面，MMXU数据集应运而生。由上海交通大学的研究团队创建，MMXU旨在解决现有数据集和模型在医学诊断中的不足，例如未能整合历史记录和未能分析疾病随时间的变化。MMXU数据集是首个多图像MedVQA数据集，专注于识别患者两次就诊之间特定区域的变化。与主要解决单图像问题的先前数据集不同，MMXU允许多图像问题，并纳入患者当前和历史数据。MMXU的创建为医学诊断领域带来了新的研究视角，强调了历史背景在医学图像解释中的重要性。

当前挑战

MMXU数据集和相关研究面临的主要挑战包括：1) LVLMs在识别疾病进展方面的局限性，即使是那些在传统基准上表现良好的模型，在MMXU-test上也难以识别疾病进展；2) 构建数据集过程中，如何有效地整合历史记录，以及如何处理可能存在的数据不平衡问题。为了解决这些挑战，研究团队提出了MedRecord-Augmented Generation（MAG）方法，该方法将全局和区域历史记录纳入模型生成过程中，显著提高了诊断准确性。然而，如何进一步优化MAG方法，使其在临床实践中发挥更大的作用，仍是一个亟待解决的问题。

常用场景

经典使用场景

MMXU数据集主要用于医疗视觉问答（MedVQA）领域，专注于识别病人在两次就诊之间特定区域的变化。该数据集的独特之处在于它允许多图像问题，并结合了当前和历史的患者数据。这使得研究者能够训练和评估大型视觉语言模型（LVLMs）在分析疾病进展方面的能力。

衍生相关工作

MMXU数据集衍生了MedRecord-Augmented Generation (MAG)方法，该方法通过结合全球和区域历史记录来增强LVLMs在疾病诊断方面的能力。实验结果表明，MAG方法可以显著提高诊断准确性，并缩小当前LVLMs与人类专家表现之间的差距。这一方法的提出为LVLMs在医疗诊断领域的应用开辟了新的途径。

数据集最近研究