MedCAL-Bench

MedCAL-Bench是一个用于医学图像分析冷启动主动学习（CSAL）的综合基准测试。它评估了14种基础模型和7种CSAL策略在7个数据集上的表现，涵盖了来自不同医学模式的分类和分割任务。该数据集旨在解决在有限的标注预算下提高标注效率和模型性能的问题。

MedCAL-Bench is a comprehensive benchmark for cold-start active learning (CSAL) in medical image analysis. It evaluates 14 base models and 7 CSAL strategies across 7 datasets, covering classification and segmentation tasks from diverse medical modalities. This benchmark aims to address the challenge of improving annotation efficiency and model performance under limited annotation budgets.

原始信息汇总

MedCAL-Bench 数据集概述

1. 数据集简介

• 名称: MedCAL-Bench
• 目的: 首个系统性基于基础模型（FMs）的冷启动主动学习（CSAL）基准测试，用于医学图像分析
• 特点:
  • 评估14种基础模型和7种CSAL策略
  • 覆盖7个数据集，涉及不同标注预算
  • 包含分类和分割任务，涵盖多种医学模态
  • 首个同时评估特征提取和样本选择阶段的CSAL基准测试

2. 主要发现

• 基础模型表现:
  • 大多数FMs是有效的CSAL特征提取器
  • DINO家族在分割任务中表现最佳
  • 分割任务中FMs性能差异大，分类任务中差异小
• 样本选择策略:
  • 不同数据集应考虑不同策略
  • ALPS在分割任务中表现最佳
  • RepDiv在分类任务中领先

3. 数据集结构

sh MedCAL-Bench/ └── data/ └── dataset/ └── {dataset_name}/ ├── filename.npy ├── filename_label.npy ├── .... └── splits/ ├── train.csv ├── valid.csv └── test.csv

• CSV文件格式: 包含"image_pth"和"mask_pth"两列，分别表示图像和标签文件的路径

4. 使用流程

1. 环境设置: 使用conda创建特定Python环境并安装依赖
2. 准备检查点和数据集:
   • 下载检查点至"./FM-AL/Foundation_models/checkpoints"
   • 按指定结构组织数据集
3. 特征提取和样本选择:
   • 使用foundation_feature.py提取特征
   • 使用select_samples.py选择样本
4. 模型训练: 运行指定脚本（如run_Heart.sh）

搜集汇总

数据集介绍

构建方式

MedCAL-Bench数据集的构建采用了基于预训练基础模型（FMs）的冷启动主动学习（CSAL）范式，旨在解决医学图像分析中标注成本高昂的问题。该数据集通过整合14种不同的基础模型和7种样本选择策略，在7个医学图像数据集上进行了系统评估，涵盖了分类和分割任务。构建过程中，首先利用预训练的基础模型提取特征，然后通过多样化的样本选择策略筛选最具信息量的样本进行标注，从而在有限的标注预算下最大化模型性能。

特点

MedCAL-Bench数据集的特点在于其全面性和多样性。它不仅涵盖了多种医学图像模态（如MRI、CT、超声、内窥镜等），还包含了分类和分割任务，适用于广泛的医学图像分析场景。此外，该数据集首次系统评估了基础模型在CSAL任务中的表现，揭示了不同模型和样本选择策略的性能差异。数据集的另一个显著特点是其标注预算的灵活性，支持在不同预算水平下进行模型评估，从而更贴近实际应用需求。

使用方法

MedCAL-Bench数据集的使用方法主要包括三个步骤：特征提取、样本选择和模型训练。首先，用户可以选择预训练的基础模型（如DINO、CLIP或SAM）对未标注数据集进行特征提取。接着，利用多样化的样本选择策略（如ALPS、RepDiv等）筛选出最具信息量的样本进行标注。最后，使用标注后的样本训练任务特定的模型（如分类器或分割网络）。数据集提供了详细的实验设置和评估指标，用户可以根据自己的需求灵活调整特征提取器和样本选择策略，以优化模型性能。

背景与挑战

背景概述

MedCAL-Bench是由中国电子科技大学和上海人工智能实验室的研究团队于2025年提出的首个基于基础模型的冷启动主动学习（CSAL）医学图像分析基准。该数据集针对医学图像标注成本高昂的痛点，创新性地利用预训练基础模型（如CLIP、SAM和DINO）替代传统自监督学习，系统评估了14种基础模型和7种样本选择策略在7个多模态医学数据集上的表现，涵盖分类和分割两大核心任务。其开创性地将特征提取与样本选择两阶段联合评估，为医学图像高效标注提供了新范式，推动了小样本医学图像分析的发展。

当前挑战

该数据集面临双重挑战：在领域问题层面，需解决冷启动场景下无先验知识时样本选择效率低下的问题，传统自监督学习方法存在特征表征不足的局限；在构建过程中，需克服多模态医学图像（如MRI、CT、超声等）的域差异问题，以及3D医学图像与2D基础模型的维度不匹配难题。实验表明，不同基础模型在分割任务中性能差异显著（如DINO系列最优），而分类任务中模型差异较小，且医学专用基础模型未必优于通用模型，这为特征提取器的选择带来挑战。此外，样本选择策略需根据任务类型适配，如ALPS在分割任务表现最优而RepDiv适合分类任务。

常用场景

经典使用场景

MedCAL-Bench数据集在医学图像分析领域中被广泛应用于冷启动主动学习（CSAL）任务，特别是在标注预算有限的情况下。该数据集通过预训练的基础模型（FMs）进行特征提取，显著提升了样本选择的效率和模型性能。其经典使用场景包括医学图像分类和分割任务，涵盖了MRI、CT、超声、内窥镜、皮肤镜和X光等多种模态。

衍生相关工作

基于MedCAL-Bench的评估框架，衍生出多项重要研究，包括对DINOv2、SAM和CLIP等基础模型的迁移学习能力分析，以及ALPS、Typiclust等样本选择算法的优化。相关工作进一步探索了三维医学图像处理、不确定性估计等方向，推动了冷启动主动学习在医疗AI领域的理论发展和应用落地。

数据集最近研究

最新研究方向

在医学图像分析领域，MedCAL-Bench数据集的最新研究方向集中在冷启动主动学习（CSAL）与基础模型（FMs）的结合应用上。该研究通过系统评估14种基础模型和7种样本选择策略在7个多模态医学数据集上的表现，揭示了DINO系列模型在分割任务中的优越性，以及ALPS和RepDiv分别在分割与分类任务中的高效样本选择能力。这一工作不仅填补了FM-CSAL在医学影像领域缺乏基准的空白，还挑战了传统自监督学习方法的局限性，为低标注预算场景下的模型初始化提供了数据高效的新范式。

相关研究论文

• MedCAL-Bench: A Comprehensive Benchmark on Cold-Start Active Learning with Foundation Models for Medical Image Analysis

  电子科技大学, 上海人工智能实验室 · 2025年