MMXU

MMXU数据集是由上海交通大学构建的多模态和多X射线理解数据集，旨在研究疾病进展。该数据集利用MIMIC-CXR数据集中的患者电子病历资源，包含两次就诊间特定区域变化的图像和问题。MMXU分为测试集和开发集，其中测试集包含来自1201名患者的3000条记录，开发集包含114000个问题和图像对。该数据集专注于胸部X射线图像，通过比较两次就诊的同一区域的复杂变化，为医学视觉问答和诊断提供新的视角。The MMXU dataset is a multimodal and multi-X-ray understanding dataset constructed by Shanghai Jiao Tong University, aiming to study disease progression. It leverages the electronic medical record resources from the MIMIC-CXR dataset, containing images and questions about specific regional changes between two clinical visits. The MMXU dataset is split into a test set and a development set: the test set includes 3,000 records from 1,201 patients, while the development set contains 114,000 question-image pairs. Focusing on chest X-ray images, this dataset provides a new perspective for medical visual question answering and diagnosis by comparing complex regional changes of the same anatomical area between two clinical visits.

搜集汇总

数据集介绍

构建方式

MMXU数据集的构建采用了多模态和多X射线的方法，旨在解决现有数据集和模型在医疗诊断中忽略的关键问题，如历史记录的整合和疾病随时间推移的分析。数据集的构建过程分为四个阶段：比较句子提取、比较目标选择、QA对生成和后期处理。首先，从Chest ImaGenome数据集中提取包含比较信息的句子，然后根据疾病进展将句子分类为恶化、改善和无变化。接着，使用GPT-4o生成针对每个句子的区域级别的问题和答案对。最后，进行后期处理以确保QA对的质量，包括平衡答案选项的分布和验证问题的正确性。

特点

MMXU数据集的特点包括多模态和多X射线，允许多图像问题，并整合当前和历史患者数据。数据集包含两个分割：测试集和开发集。MMXU-test包含来自1201名患者的3000个条目和2469个研究，而MMXU-dev包含涉及114000张图像的121K个QA对。该数据集旨在询问患者在两次就诊期间特定区域之间的差异，以解决现有MedVQA基准与现实世界临床场景之间的差距。

使用方法

MMXU数据集的使用方法包括利用患者电子病历（EMR）中的丰富资源，并结合当前和历史数据进行分析。数据集可用于评估大型视觉语言模型（LVLMs）在识别疾病进展方面的性能，并提出MedRecord-Augmented Generation（MAG）方法，以增强LVLMs的医学诊断能力。MAG方法将全球和区域历史记录作为上下文信息，以促进LVLMs更好地理解疾病进展。通过在MMXU-dev数据集上对模型进行微调，可以进一步提高模型的性能。

背景与挑战

背景概述

随着大型视觉-语言模型（LVLMs）在医学应用中的不断发展，特别是在医学视觉问答（MedVQA）和医学图像诊断方面，MMXU数据集应运而生。由上海交通大学的研究团队创建，MMXU旨在解决现有数据集和模型在医学诊断中的不足，例如未能整合历史记录和未能分析疾病随时间的变化。MMXU数据集是首个多图像MedVQA数据集，专注于识别患者两次就诊之间特定区域的变化。与主要解决单图像问题的先前数据集不同，MMXU允许多图像问题，并纳入患者当前和历史数据。MMXU的创建为医学诊断领域带来了新的研究视角，强调了历史背景在医学图像解释中的重要性。

当前挑战

MMXU数据集和相关研究面临的主要挑战包括：1) LVLMs在识别疾病进展方面的局限性，即使是那些在传统基准上表现良好的模型，在MMXU-test上也难以识别疾病进展；2) 构建数据集过程中，如何有效地整合历史记录，以及如何处理可能存在的数据不平衡问题。为了解决这些挑战，研究团队提出了MedRecord-Augmented Generation（MAG）方法，该方法将全局和区域历史记录纳入模型生成过程中，显著提高了诊断准确性。然而，如何进一步优化MAG方法，使其在临床实践中发挥更大的作用，仍是一个亟待解决的问题。

常用场景

经典使用场景

MMXU数据集主要用于医疗视觉问答（MedVQA）领域，专注于识别病人在两次就诊之间特定区域的变化。该数据集的独特之处在于它允许多图像问题，并结合了当前和历史的患者数据。这使得研究者能够训练和评估大型视觉语言模型（LVLMs）在分析疾病进展方面的能力。

衍生相关工作

MMXU数据集衍生了MedRecord-Augmented Generation (MAG)方法，该方法通过结合全球和区域历史记录来增强LVLMs在疾病诊断方面的能力。实验结果表明，MAG方法可以显著提高诊断准确性，并缩小当前LVLMs与人类专家表现之间的差距。这一方法的提出为LVLMs在医疗诊断领域的应用开辟了新的途径。

数据集最近研究

最新研究方向

MMXU数据集的最新研究方向主要集中在多模态和多X射线理解，特别是在医学视觉问答（MedVQA）领域。该数据集旨在通过整合历史记录和分析疾病随时间的变化来提高医学诊断的准确性。与以往主要关注单张图像问题的数据集不同，MMXU允许多图像问题，并纳入了患者当前的和历史数据。研究结果表明，当前的大型视觉语言模型（LVLMs）在识别MMXU测试中的疾病进展方面存在局限性，即使是那些在传统基准测试中表现良好的模型。为了解决这一问题，研究人员提出了一个名为MedRecord-Augmented Generation (MAG)的方法，该方法结合了全局和区域历史记录。实验表明，整合历史记录可以将诊断准确性至少提高20%，从而缩小当前LVLMs与人类专家表现之间的差距。此外，使用MAG方法在MMXU-dev上进行模型微调也显示出显著的改进。这项工作的意义在于强调了历史背景在解读医学图像中的重要性，为LVLMs在医学诊断中的应用开辟了新的途径。

相关研究论文

• MMXU: A Multi-Modal and Multi-X-ray Understanding Dataset for Disease Progression

  上海交通大学 · 2025年