MIMIC-CXR, MIMIC-ABN, Two-view CXR

MIMIC-CXR是一个包含胸部X射线图像和放射学报告的医疗影像数据集；MIMIC-ABN是一个包含异常标记的胸部X射线图像数据集；Two-view CXR是一个包含两种视角的胸部X射线图像数据集。

MIMIC-CXR is a medical imaging dataset containing chest X-ray images and radiology reports; MIMIC-ABN is a chest X-ray image dataset with abnormality annotations; Two-view CXR is a chest X-ray image dataset that includes two viewing perspectives.

原始信息汇总

数据集概述

数据集名称

Enhanced Contrastive Learning with Multi-view Longitudinal Data for Chest X-ray Report Generation (MLRG)

数据集简介

MLRG 是一个利用多视角纵向数据增强对比学习，用于胸部 X 射线报告生成的方法。该方法整合了当前多视角图像的空间信息和纵向数据的时间信息，通过 tokenized absence 编码技术灵活处理缺失的先验知识，以生成更准确的放射学报告。

数据集包含

• MIMIC-CXR、MIMIC-ABN 和 Two-view CXR 数据集中的医学图像
• 对应的放射学报告

数据集来源

• MIMIC-CXR 和 MIMIC-ABN 数据集从 PhysioNet 和 NIH 获取
• Two-view CXR 数据集仅从 NIH 获取
• 放射学报告从 PhysioNet、NIH 和 huggingface 🤗 获取

数据集结构

• 图像存储结构：files/ 目录下按 p10, p11, ... p19, NLMCXR_png 组织
• 处理后的多视角纵向数据通过 study_id 结构化，可在 huggingface 🤗 获取（需PhysioNet授权）

评估方法

使用生成的放射学报告进行性能评估，通过 compute_performance_using_generated_reports 函数计算 BLEU-4、F1 分数等指标。

使用要求

• Python 环境依赖：torch==2.1.2+cu118、transformers==4.23.1、torchvision==0.16.2+cu118、radgraph==0.09
• 请参考 requirements.txt 文件获取更多细节

模型训练与评估

• 检查点（预训练和微调）和日志可在 Baidu Netdisk 和 huggingface 🤗 获取
• 模型训练与评估的详细步骤和脚本见 README 文件

引用信息

若使用或扩展此工作，请引用相关论文。

@misc{liu2025-mlrg, title={Enhanced Contrastive Learning with Multi-view Longitudinal Data for Chest X-ray Report Generation}, author={Kang Liu and Zhuoqi Ma and Xiaolu Kang and Yunan Li and Kun Xie and Zhicheng Jiao and Qiguang Miao}, year={2025}, eprint={2502.20056}, archivePrefix={arXiv}, primaryClass={cs.CV}, url={https://arxiv.org/abs/2502.20056}, }

搜集汇总

数据集介绍

构建方式

MIMIC-CXR、MIMIC-ABN和Two-view CXR数据集的构建融合了多视角纵向数据，通过整合当前多视角图像的空间信息以及纵向数据的时间信息，创新性地提出了多视角纵向对比学习法，以促进胸部X射线报告生成任务的执行。此方法还利用了放射学报告固有的时空信息来监督视觉和文本表示的预训练。

特点

该数据集的特点在于其多维度的数据整合，不仅涵盖了单次访问的多视角图像，还包含了追踪疾病进展的纵向数据。此外，数据集采用了标记化的缺失编码技术，能够灵活处理缺失的患者特定先验知识，从而使得模型能够基于可用的先验知识生成更准确的放射学报告。

使用方法

使用该数据集时，用户可以从PhysioNet和NIH下载医学图像，而从PhysioNet、NIH和huggingface获取放射学报告。数据集的多视角纵向数据通过`study_id`进行结构化处理，以便于使用。用户需要遵循相应的数据预处理和模型训练脚本，以进行胸部X射线报告的生成和性能评估。

背景与挑战

背景概述

MIMIC-CXR、MIMIC-ABN和Two-view CXR数据集是医学影像领域的重要资源，它们源于MIMIC数据库，专门用于胸部X射线影像报告的自动生成研究。MIMIC-CXR数据集包含了大量的胸部X射线影像及其对应的放射学报告，旨在减轻放射科医生的工作负担，提高报告生成的效率和准确性。该数据集由哈佛大学医学院和波士顿贝斯以色列女执事医学中心的研究人员创建于2020年，对相关领域产生了深远的影响。MIMIC-ABN和Two-view CXR则分别关注异常检测和双视角X射线影像的分析，为医学影像解析提供了多元化的视角和数据支持。

当前挑战

该数据集在研究领域中面临的挑战主要包括：一是如何有效地利用多视角和纵向数据来提高疾病诊断的准确性和疾病进展的追踪；二是如何在数据集中处理缺失的患者特定历史信息，以生成更准确的放射学报告；三是构建一个能够整合空间信息和时间信息的对比学习框架，以及如何在此框架下进行有效的模型训练和优化。这些挑战对于提升胸部X射线影像报告生成的质量和效率至关重要。

常用场景

经典使用场景

在医学影像分析领域，MIMIC-CXR, MIMIC-ABN, Two-view CXR数据集的典型应用场景在于辅助放射科医生生成胸部X光报告。通过整合多视角的纵向数据，该数据集能够提供更全面的病患信息，从而提高报告的准确性和完整性。

实际应用

在实际应用中，这些数据集的应用不仅限于学术研究，它们还可以被用于临床决策支持系统，帮助医生更快地解读影像，提高医疗服务的效率和质量。同时，该数据集生成的报告可以用于教育培训，辅助医学生和医生学习胸部X光的解读技巧。

衍生相关工作

基于MIMIC-CXR, MIMIC-ABN, Two-view CXR数据集的研究已经衍生出了一系列相关工作，如多视角增强对比学习（MCL）等，这些研究进一步推动了医学影像分析领域的发展，提高了疾病的诊断准确率和治疗效果。