BenchX

BenchX是一个统一的医学视觉-语言预训练（MedVLP）基准框架，专门用于胸部X光数据集。该数据集由九个数据集组成，涵盖四个医学任务，旨在标准化数据预处理、训练策略和微调协议，以促进MedVLP方法的系统性比较和分析。BenchX的创建过程包括使用MIMIC-CXR数据集进行预训练，并在多个下游任务中进行评估。该数据集的应用领域主要集中在医学图像和文本的联合表示学习，旨在提高数据效率和任务适应性，特别是在分类、分割和报告生成等临床相关任务中。

BenchX is a unified benchmark framework for Medical Vision-Language Pre-training (MedVLP), specifically tailored for chest X-ray datasets. This benchmark comprises nine individual datasets spanning four medical tasks, and is designed to standardize data preprocessing workflows, training strategies, and fine-tuning protocols to enable systematic comparison and analysis of MedVLP approaches. The development of BenchX involves pre-training on the MIMIC-CXR dataset and evaluation across a range of downstream tasks. The primary application domain of this benchmark lies in joint representation learning for medical images and texts, with the objective of enhancing data efficiency and task adaptability, especially in clinically relevant tasks including classification, segmentation, and report generation.

原始信息汇总

BenchX: A Unified Benchmark Framework for Medical Vision-Language Pretraining on Chest X-Rays

Dataset Preparation

Supported Datasets and Tasks

• COVIDx CXR-4: Binary Classification
• NIH Chest X-Rays: Multi-Label Classification
• Object-CXR: Binary Classification, Segmentation
• RSNA Pneumonia: Binary Classification, Segmentation
• SIIM-ACR Pneumothorax Segmentation: Binary Classification, Segmentation
• TBX11K: Segmentation
• VinDr-CXR: Multi-Label Classification, Segmentation
• IU X-Ray: Report Generation

数据集处理脚本详见 datasets/README.md。本仓库不包含数据集，也不拥有任何数据集的版权。

Pre-Trained Checkpoints

Supported MedVLP methods

• ConVIRT: "Contrastive Learning of Medical Visual Representations from Paired Images and Text"
• GLoRIA: "GLoRIA: A Multimodal Global-Local Representation Learning Framework for Label-efficient Medical Image Recognition"
• MedCLIP: "MedCLIP: Contrastive Learning from Unpaired Medical Images and Texts"
• MedKLIP: "MedKLIP: Medical Knowledge Enhanced Language-Image Pre-Training in Radiology"
• M-FLAG: "M-FLAG: Medical Vision-Language Pre-training with Frozen Language Models and Latent Space Geometry Optimization"
• MGCA: "Multi-Granularity Cross-modal Alignment for Generalized Medical Visual Representation Learning"
• PTUnifier: "Towards Unifying Medical Vision-and-Language Pre-training via Soft Prompts"
• MRM: "Advancing Radiograph Representation Learning with Masked Record Modeling"
• REFERS: "Generalized Radiograph Representation Learning via Cross-Supervision Between Images and Free-Text Radiology Reports"

预训练模型在 MIMIC-CXR 上进行训练，并将发布预训练的检查点。

Fine-Tuning & Evaluation

1. Classification

python bin/train.py config/classification/<dataset_name>/<model_name>.yml

2. Segmentation

python mmsegmentation/tools/train.py config/benchmark/<dataset_name>/<model_name>.yml

3. Report Generation

python bin/train.py config/report_generation/<dataset_name>/<model_name>.yml

4. Evaluation

For classification and report generation

python bin/test.py config/<task_name>/<dataset_name>/<model_name>.yml validator.splits=[test] ckpt_dir=<path_to_checkpoint>

For segmentation

python mmsegmentation/tools/my_test.py mmsegmentation/config/<dataset_name>/<model_name>.yml <path_to_checkpoint>

Reproduce Benchmark Results

Classification

• COVIDx: sh scripts/classification/run_BenchX_COVIDx.sh
• RSNA: sh scripts/classification/run_BenchX_RSNA.sh
• SIIM: sh scripts/classification/run_BenchX_SIIM.sh
• NIH Chest X-Ray: sh scripts/classification/run_BenchX_NIH.sh
• VinDr-CXR: sh scripts/classification/run_BenchX_VinDr.sh

Segmentation

• Object-CXR: sh scripts/segmentation/run_BenchX_Object_CXR.sh
• RSNA: sh scripts/segmentation/run_BenchX_RSNA.sh
• SIIM: sh scripts/segmentation/run_BenchX_SIIM.sh
• TBX11K: sh scripts/segmentation/run_BenchX_TBX11K.sh

Report Generation

• IU X-Ray: sh scripts/report_generation/run_BenchX_IU_XRay.sh

搜集汇总

数据集介绍

构建方式

BenchX 数据集的构建基于统一的基准框架，旨在对医学视觉-语言预训练（MedVLP）方法进行系统性比较和分析。该数据集整合了九个公开的胸部X光数据集，涵盖了四个医学任务，包括分类、分割、报告生成和图像-文本检索。通过标准化数据预处理、训练-测试分割和参数选择，BenchX 确保了不同 MedVLP 方法在相同条件下的公平比较。此外，统一的微调协议使得异构的 MedVLP 方法能够在分类、分割和报告生成任务中保持一致的任务适应性。

特点

BenchX 数据集的主要特点在于其综合性和标准化。它不仅涵盖了多个公开的胸部X光数据集，还标准化了数据预处理和训练策略，减少了实验设置不一致对 MedVLP 性能的影响。此外，BenchX 引入了统一的微调协议，确保了不同 MedVLP 方法在下游任务中的公平比较。通过这些特点，BenchX 为 MedVLP 方法的系统性评估提供了坚实的基础。

使用方法

使用 BenchX 数据集时，研究者可以利用其提供的综合数据集和标准化流程，对不同的 MedVLP 方法进行公平的比较和评估。具体步骤包括：首先，根据 BenchX 提供的预处理和训练策略对数据进行处理；其次，使用统一的微调协议对不同的 MedVLP 方法进行微调；最后，通过 BenchX 提供的基准测试套件对各方法在分类、分割、报告生成和图像-文本检索任务中的性能进行评估。通过这些步骤，研究者可以系统地分析和比较不同 MedVLP 方法的优劣。

背景与挑战

背景概述

BenchX数据集由新加坡高性能计算研究所（IHPC）、新加坡科技研究局（A*STAR）、新加坡国立大学（NUS）、山东大学（C-FAIR）、南洋理工大学（NTU）和微软亚洲研究院（Microsoft Research Asia）的研究人员共同创建。该数据集旨在解决医学视觉-语言预训练（MedVLP）方法在评估和比较上的挑战，特别是在胸部X光片数据集上的应用。BenchX通过提供一个统一的基准框架，标准化数据预处理、训练策略和微调协议，使得不同MedVLP方法能够在相同的条件下进行公平的比较和系统分析。该数据集的创建填补了现有MedVLP方法在统一、标准化和全面基准测试方面的空白，对推动医学图像与文本处理领域的发展具有重要意义。

当前挑战

BenchX数据集面临的挑战主要集中在以下几个方面：首先，现有的MedVLP方法在数据集、预处理和微调实现上存在差异，导致难以评估这些方法在临床相关任务中的泛化能力。其次，不同方法采用自定义的训练策略和不一致的数据预处理，增加了结果复现的难度和比较的不公平性。此外，MedVLP方法的微调协议通常不兼容，由于模型架构的异质性，使得在任务适应性上的比较变得复杂。BenchX通过提供综合的数据集、标准化的预处理和训练策略以及统一的微调协议，旨在解决这些挑战，确保不同方法在相同条件下进行公平和系统的比较。

常用场景

经典使用场景

BenchX 数据集在医学视觉-语言预训练（MedVLP）领域中被广泛用于评估和比较不同方法的性能。其经典使用场景包括在胸部X光片数据集上进行多任务学习，如分类、分割、报告生成和图像-文本检索。通过提供统一的基准框架，BenchX 使得不同 MedVLP 方法能够在标准化的数据预处理、训练策略和微调协议下进行公平的比较和系统分析。

衍生相关工作

基于 BenchX 数据集，许多相关工作得以展开。例如，研究者们利用 BenchX 进行了一系列关于 MedVLP 方法在不同医学任务中表现的研究，揭示了现有方法的优缺点。此外，BenchX 还激发了对训练策略和微调协议的深入研究，以进一步提升模型的性能。这些研究不仅推动了 MedVLP 领域的发展，也为实际应用提供了理论支持。

数据集最近研究

最新研究方向

在医学视觉-语言预训练（MedVLP）领域，BenchX数据集的最新研究方向主要集中在建立一个统一的基准框架，以促进不同MedVLP方法之间的公平比较和系统分析。通过整合九个数据集和四个医学任务，BenchX框架标准化了数据预处理、训练策略和微调协议，确保了异构MedVLP方法在分类、分割和报告生成等下游任务中的一致性。研究结果表明，通过适当的训练策略，早期MedVLP方法的性能可以显著提升，甚至超越近期方法，这提示了对现有方法和结论的重新评估。此外，BenchX的开放性和可扩展性为未来的研究提供了坚实的基础，有望推动医学视觉-语言预训练领域的进一步发展。

相关研究论文

• BenchX: A Unified Benchmark Framework for Medical Vision-Language Pretraining on Chest X-Rays

  高性能计算研究所 (IHPC), 新加坡科技研究局 (A*STAR), 新加坡 · 2024年