UniMed

UniMed是一个大规模、开源的多模态医学数据集，包含超过530万张图像-文本对，涵盖六种不同的医学成像模态：X射线、CT、MRI、超声、病理学和眼底。该数据集通过利用大型语言模型（LLMs）将特定模态的分类数据集转换为图像-文本格式，并结合现有的医学领域的图像-文本数据，以促进可扩展的视觉语言模型（VLM）预训练。

UniMed is a large-scale, open-source multimodal medical dataset containing over 5.3 million image-text pairs covering six distinct medical imaging modalities: X-ray, CT, MRI, ultrasound, pathology, and fundus imaging. This dataset is developed by leveraging large language models (LLMs) to convert modality-specific classification datasets into image-text format, and combining with existing medical-domain image-text datasets to facilitate scalable pre-training of vision-language models (VLMs).

原始信息汇总

UniMed-CLIP: Towards a Unified Image-Text Pretraining Paradigm for Diverse Medical Imaging Modalities

数据集概述

数据集名称

UniMed-CLIP

数据集简介

UniMed-CLIP 是一个用于多种医学影像模态的统一图像-文本预训练模型。该模型基于 UniMed 数据集进行训练，UniMed 数据集是一个大规模、开源的多模态医学数据集，包含超过 5.3 百万个图像-文本对，涵盖六种不同的医学影像模态：X-ray、CT、MRI、超声波、病理学和眼底。

数据集特点

1. UniMed 数据集：一个开源的大规模多模态医学数据集，包含超过 5.3 百万个样本，涵盖六种不同的医学影像模态。
2. UniMed-CLIP 模型：基于 UniMed 数据集训练的对比学习视觉-语言模型，显著优于现有的通用视觉-语言模型，并在多种医学影像模态上表现出色。
3. 广泛评估与分析：提供了对不同设计选择的消融实验，并开源了训练代码、数据集和模型检查点，以促进医学视觉-语言模型的进一步研究。

数据集模态

• X-ray
• CT
• MRI
• 超声波
• 病理学
• 眼底

数据集规模

• 超过 5.3 百万个图像-文本对

数据集应用

• 用于训练和评估医学视觉-语言模型（VLMs）
• 支持零样本分类任务

数据集下载与准备

• 提供了详细的下载和准备 UniMed 数据集的说明，参考 UniMed-DATA.md。

预训练模型

提供了三个 UniMed-CLIP 模型的权重：

• ViT-B-16-quickgelu：使用 BiomedNLP-BiomedBERT-base-uncased-abstract 文本编码器，分辨率为 224，平均得分 61.63。
• ViT-L-14-quickgelu：使用 BiomedNLP-BiomedBERT-large-uncased-abstract 文本编码器，分辨率为 336，平均得分 62.09。
• ViT-L-14-quickgelu：使用 BiomedNLP-BiomedBERT-base-uncased-abstract 文本编码器，分辨率为 336，平均得分 64.84。

数据集评估

• 提供了零样本评估的说明，参考 EVALUATION_DATA.md。

数据集引用

如果使用该数据集或模型，请引用以下论文： bibtex @inproceedings{khattakunimed, title={UniMed-CLIP: Towards a Unified Image-Text Pretraining Paradigm for Diverse Medical Imaging Modalities}, author={khattak, Muhammad Uzair and Kunhimon, Shahina and Muzzamal, Naseer and Khan, Salman and Khan, Fahad Shahbaz}, journal={arXiv:2412.10372}, year={2024} }

搜集汇总

数据集介绍

构建方式

UniMed数据集的构建采用了大规模数据收集框架，结合了大型语言模型（LLMs）的循环处理机制，将特定医学成像模态的分类数据集转换为图像-文本对格式。该数据集涵盖了六种不同的医学成像模态，包括X射线、CT、MRI、超声波、病理学和眼底图像，总计超过530万对图像-文本数据。通过整合现有的医学图像-文本数据，UniMed数据集为视觉-语言模型（VLMs）的预训练提供了丰富的资源，确保了数据的多模态性和广泛适用性。

特点

UniMed数据集的主要特点在于其大规模、多模态和开放性。该数据集不仅涵盖了六种不同的医学成像模态，还通过LLMs的处理机制确保了数据的多样性和高质量。此外，UniMed数据集的开放性为医学领域的视觉-语言模型研究提供了宝贵的资源，推动了该领域的进一步发展。通过对比实验，UniMed-CLIP模型在多个医学数据集上的表现显著优于现有的通用VLMs，甚至在某些情况下与特定模态的专家模型相媲美。

使用方法

使用UniMed数据集进行模型训练和推理时，用户可以通过提供的Jupyter Notebook快速上手。首先，用户需要加载预训练的UniMed-CLIP模型及其权重，并定义相关的文本编码器。随后，用户可以准备图像和文本数据，通过模型进行推理，获取图像与文本之间的相似度得分。此外，数据集的准备和训练过程也提供了详细的指导，用户可以根据需要下载原始数据并进行预处理，以构建适合训练的UniMed数据集。

背景与挑战

背景概述

在医学影像领域，视觉-语言模型（Vision-Language Models, VLMs）的应用逐渐受到关注，但其发展受限于缺乏大规模、多模态的开放数据集。UniMed数据集由Mohamed bin Zayed University of AI、Swiss Federal Institute of Technology Lausanne (EPFL)等机构的研究人员于2024年推出，旨在填补这一空白。该数据集包含了超过530万张图像-文本对，涵盖了X射线、CT、MRI、超声波、病理学和眼底图像等六种医学成像模态。通过利用大型语言模型（LLMs）进行数据转换和整合，UniMed为多模态医学VLM的预训练提供了坚实的基础。其核心研究问题是如何在多模态医学影像中实现统一的图像-文本预训练，从而提升模型的泛化能力和零样本分类性能。UniMed的发布不仅推动了医学VLM的研究，还为相关领域的进一步发展提供了重要的数据支持。

当前挑战

UniMed数据集的构建面临多重挑战。首先，医学影像数据的多样性和复杂性使得数据收集和标注过程异常复杂，尤其是在不同模态之间的数据整合和标准化方面。其次，由于医学数据的敏感性和隐私保护要求，数据集的构建必须严格遵守相关法规，确保数据的合法性和安全性。此外，如何有效地利用大型语言模型将分类数据转换为图像-文本对，并确保转换后的数据质量，也是构建过程中的一大挑战。在应用层面，UniMed-CLIP模型的训练和评估需要处理大规模数据和高计算资源的需求，这对硬件和算法设计提出了更高的要求。最后，如何在多模态数据上实现统一的预训练，并确保模型在不同医学影像任务中的泛化能力，是该数据集和模型面临的核心挑战。

常用场景

经典使用场景

UniMed数据集的经典使用场景主要集中在医学图像与文本的跨模态学习任务中。通过该数据集，研究者可以训练视觉-语言模型（VLMs），以实现对多种医学影像模态（如X射线、CT、MRI、超声、病理学和眼底图像）的零样本分类和图像-文本匹配。这种跨模态学习能力使得模型能够在无需特定模态标注的情况下，对不同医学影像进行理解和分类，极大地提升了医学影像分析的通用性和灵活性。

实际应用

UniMed数据集在实际应用中展现出巨大的潜力，特别是在医学影像的自动诊断和辅助决策系统中。通过训练基于UniMed的VLMs，医生可以利用模型对多种医学影像进行快速、准确的分类和诊断，尤其是在资源有限的地区或紧急情况下。此外，UniMed-CLIP模型在零样本分类任务中的优异表现，使其能够直接应用于临床实践中，无需针对特定模态进行额外训练，从而加速了医学影像分析技术的普及和应用。

衍生相关工作

基于UniMed数据集，研究者们开发了一系列相关的经典工作，其中最为突出的是UniMed-CLIP模型。该模型通过对比学习方法，显著提升了医学VLMs的性能，并在多个医学影像模态的零样本分类任务中取得了领先的结果。此外，UniMed的开放性还激发了更多关于医学数据集构建和跨模态学习的研究，推动了医学影像分析领域的技术进步。未来，基于UniMed的进一步研究有望在医学影像的自动化处理和智能诊断中发挥更大的作用。