MedFMC

一个用于评估基础模型适应性的新数据集和基准，包含来自多个机构的五种医疗影像数据，总计22,349张图像，涵盖胸腔疾病筛查、病理病变组织筛查、内镜图像病变检测、新生儿黄疸评估和糖尿病视网膜病变分级等临床任务。

A novel dataset and benchmark for evaluating the adaptability of foundation models. It comprises 22,349 medical images from multiple institutions across five medical imaging modalities, and covers a series of clinical tasks including thoracic disease screening, pathological lesion tissue screening, endoscopic image lesion detection, neonatal jaundice assessment, and diabetic retinopathy grading.

搜集汇总

数据集介绍

构建方式

在医学影像分析领域，基础模型的适应能力正成为研究焦点，然而缺乏公开且多样化的基准数据集制约了其发展。为此，MedFMC数据集应运而生，它整合了来自多家医疗机构的22,349张影像，涵盖胸部X光、病理组织切片、内窥镜图像、新生儿黄疸皮肤照片及视网膜图像五种模态。每类数据均经过标准化脱敏处理，并由初级标注者生成初始标签后，经资深专家逐张复核确认。数据集按照20%患者比例划分出小样本池与测试集，支持从1-shot到10-shot的灵活采样配置。

特点

MedFMC的核心特色在于其多模态、多任务的设计，能够全面评估基础模型在下游任务中的泛化能力。五组子数据集在图像尺寸、样本数量、分类类型（多标签、二分类、多分类）上差异显著，尤其包含罕见病尾类样本，可深入检验模型对长尾分布的适应性。此外，数据集兼顾预测精度与适应效率，通过重复10次随机采样实验提供稳定的性能基准，为少样本学习与迁移学习方法的公平对比奠定了坚实基础。

使用方法

使用MedFMC时，研究者可从每个子集的小样本池中随机抽取1、5或10名患者的影像作为支持集，其余数据用于测试。模型可采用元学习基线（如Meta-Baseline）或视觉提示调优（如VPT）等少样本方法，亦可用ImageNet预训练模型进行线性探测微调。评估指标根据任务类型选择：多标签分类采用mAP和AUC，多类分类则使用准确率与AUC。所有实验需重复10次并报告均值和标准差，以确保结果的可靠性。

背景与挑战

背景概述

在医学影像分析领域，大规模基础模型（如Vision Transformer、GPT等）的崛起为下游任务的高效适配开辟了新路径，然而，公开可用的医学影像数据集稀缺，尤其是针对少样本学习范式的评估基准严重不足，阻碍了该领域的发展。为此，上海人工智能实验室联合多家医疗机构于2023年提出了MedFMC数据集，旨在推动基础模型在医学图像分类中的适配研究。该数据集由Dequan Wang、Xiaosong Wang等研究人员主导，涵盖胸部X光、病理切片、内窥镜、新生儿黄疸及视网膜图像五种真实临床任务，共22,349张图像。MedFMC的核心研究问题在于评估基础模型在多样医疗场景下的泛化能力，尤其在少样本条件下对罕见疾病的识别性能，其影响力在于为医学影像分析提供了首个跨模态、多任务的少样本学习基准，填补了该领域的空白。

当前挑战

MedFMC数据集所解决的领域问题在于基础模型适配医学图像分类时面临的三大挑战：一是泛化性不足，现有方法多针对单一模态，难以在X光、病理、内窥镜等差异显著的影像任务上同时取得优异表现；二是罕见疾病（尾类）性能薄弱，少样本场景下算法对数据稀缺的尾类识别能力有限，而传统全监督训练范式无法有效应对长尾分布；三是预测精度与适配效率之间的权衡，如何以极少的训练样本（如1-shot、5-shot）实现高效适配，同时降低对计算资源与高质量标注的依赖。在构建过程中，挑战同样严峻：数据采集需从多家医院的多源异构系统中提取，并严格遵循伦理审查与患者隐私匿名化；标注环节采用“初级标注+高级专家复核”的两阶段流程，确保19种胸部疾病、4类内窥镜病变等复杂标注的准确性，但罕见病例的标注样本稀缺加剧了数据不平衡问题。

常用场景

经典使用场景

MedFMC数据集的核心应用场景在于评估和推动基础模型在医学图像分类任务中的泛化能力与适配效率。该数据集囊括了五种来自真实临床环境的医学影像模态，包括胸部X光片、病理组织切片、内窥镜图像、新生儿黄疸皮肤照片以及视网膜眼底图像，覆盖了多标签、二分类和多分类等多样化的任务类型。研究者可利用该数据集在少样本学习框架下，检验预训练模型（如视觉Transformer）通过微调或提示学习等方式，在数据稀缺的临床场景中实现高效迁移的能力。其设计特别强调对罕见病类别（长尾分布）的分类性能评测，为探索基础模型在医疗影像分析中的实际落地提供了标准化且具有挑战性的基准平台。

解决学术问题

该数据集有效回应了医学影像分析领域长期存在的两大核心学术困境：一是高质量标注数据的匮乏，二是现有模型在多模态、多任务场景下泛化能力的不足。传统深度学习范式依赖大规模人工标注，而MedFMC通过构建涵盖五种不同影像模态的少样本学习基准，使得研究者能够在仅使用1、5或10个样本的条件下，系统评估基础模型的适配性能。这一设计直接推动了少样本学习、提示学习及自监督预训练等方法在医学领域的理论验证与算法创新。该数据集还特别关注长尾分布中的罕见疾病分类问题，揭示了基础模型在稀疏数据条件下对尾部类别分类能力的提升潜力，从而为构建更具临床实用性的诊断辅助系统提供了理论支撑与实证依据。

衍生相关工作

MedFMC数据集的发布催生了一系列具有影响力的衍生研究工作。在方法层面，视觉提示调优（Visual Prompt Tuning, VPT）被引入作为少样本学习的基线方法，验证了在医学图像上仅通过少量可学习参数即可实现高效迁移的可行性。此外，Meta-Baseline等经典少样本学习框架在该数据集上得到了系统性的评估与对比，揭示了不同预训练策略（如监督学习、自监督学习）对下游任务性能的影响。这些工作不仅推动了基础模型在医学领域的适配研究，还促进了跨模态、跨任务的泛化性分析。未来，该数据集有望进一步扩展至3D影像分析与分割任务，并激励更多关于提示学习、上下文学习以及多模态融合在医疗影像中应用的前沿探索。