MIMIC-IR, CTRATE-IR

MIMIC-IR和CTRATE-IR是基于MIMIC-CXR和CT-RATE数据集构建的两个大规模医学影像检索数据集，包含详细的图像-图像相似性排序注释。MIMIC-IR针对胸部X射线，CTRATE-IR针对胸部CT扫描。数据集通过挖掘放射学报告中的多粒度注释来构建，用于无条件和基于解剖结构的图像检索任务。

MIMIC-IR and CTRATE-IR are two large-scale medical image retrieval datasets constructed based on the MIMIC-CXR and CT-RATE datasets, which contain detailed image-to-image similarity ranking annotations. Specifically, MIMIC-IR targets chest X-rays while CTRATE-IR targets chest CT scans. These datasets are built by mining multi-granularity annotations from radiology reports, and are designed for both unconditional and anatomy-based image retrieval tasks.

搜集汇总

数据集介绍

构建方式

MIMIC-IR 和 CTRATE-IR 数据集的构建方式是通过分析医学影像报告中的详细解剖结构描述，利用先进的医学语言模型 RaTEScore 来评估这些描述的相关性。这种方法通过将报告分解为以解剖结构为中心的发现，并基于精心设计的语言指标对这些发现进行文本级别的相似性排名，从而推断出图像相似性排名。这个过程不仅为全局图像匹配提供了训练数据，还支持基于解剖结构的细粒度检索。MIMIC-IR 数据集专注于胸部 X 射线图像，而 CTRATE-IR 数据集则专注于 CT 扫描图像。

特点

MIMIC-IR 和 CTRATE-IR 数据集的特点在于它们提供了大规模的医学影像检索数据，并且具有细粒度的图像相似性排名注释。这些数据集不仅包含了丰富的图像报告配对，还通过利用报告中的解剖结构描述来定义图像间的相似性，这在现有的医学影像检索数据集中是独一无二的。此外，这些数据集支持基于特定解剖结构的文本条件检索，使得用户能够根据需要检索到特定解剖区域的图像。

使用方法

使用 MIMIC-IR 和 CTRATE-IR 数据集的方法包括两个主要步骤：首先，利用数据集中的报告分解和解剖结构提取技术来构建图像相似性排名；其次，利用这些排名来训练图像检索系统，如 RadIR-CXR 和 RadIR-ChestCT。这些系统在传统的图像检索任务中表现出色，并且支持基于解剖术语的文本条件检索。用户可以提交包含特定解剖结构的查询，系统将返回与该查询相关的图像。这种方法为医学诊断、治疗计划和教育研究提供了强有力的支持。

背景与挑战

背景概述

医学影像检索系统的发展面临着诸多挑战，其中一个关键问题是定义不同医疗背景下“相似图像”的多样化标准。此外，缺乏大规模、高质量的医学影像检索数据集和基准也加剧了这一挑战。为了解决这一问题，研究人员提出了RadIR，一个通过放射学报告挖掘定义图像相似度排序的框架。该框架利用密集的放射学报告，以可扩展和全自动的方式定义图像的相似度排序，并构建了两个全面的医学影像检索数据集：MIMIC-IR（用于胸部X光片）和CTRATE-IR（用于CT扫描）。这两个数据集提供了详细的图像-图像排名注释，并基于不同的解剖结构。RadIR框架的提出，为医学影像检索领域的研究提供了新的思路和方法，对推动相关领域的发展具有重要的意义。

当前挑战

RadIR框架在医学影像检索领域面临着一些挑战。首先，医学影像检索的定义复杂，需要考虑多个因素，如全局外观、局部发现和特定病理等，这给相似度的定义带来了困难。其次，现有的基准数据集通常依赖于粗略的图像级别标签或有限的手动注释，无法捕捉到临床上相关的全部特征，限制了可扩展系统的开发。为了解决这些挑战，RadIR框架提出了一个新的医学图像排序流程，通过挖掘相应的放射学报告中的多粒度注释，以可扩展和自动化的方式构建多粒度相似度排序训练数据。同时，RadIR框架还开发了两个检索系统：RadIR-CXR和RadIR-ChestCT，在传统的图像检索和图像报告检索任务中表现出优异的性能，并在基于解剖结构的图像检索方面取得了突破性进展。

常用场景

经典使用场景

MIMIC-IR和CTRATE-IR数据集主要用于医学图像检索，特别是胸部X光片和CT扫描图像的检索。这些数据集通过利用密集的放射学报告来定义图像之间的相似性排序，从而解决了传统图像检索中难以定义图像相似性的问题。这种方法使得研究人员能够构建具有高准确性的图像检索系统，这对于临床医生识别相似病例、支持诊断和治疗计划以及促进医学教育和研究具有重要意义。

实际应用

MIMIC-IR和CTRATE-IR数据集在实际应用中具有重要的价值。这些数据集可以帮助临床医生更快速地识别相似病例，从而支持诊断和治疗计划。此外，这些数据集还可以用于医学教育和研究，帮助研究人员更好地理解医学图像之间的关系。

衍生相关工作

MIMIC-IR和CTRATE-IR数据集衍生了许多相关工作，包括RadIR-CXR和RadIR-ChestCT检索系统。这些系统在传统的图像-图像和图像-报告检索任务中表现出色，并且在基于特定解剖结构的文本条件下实现了灵活、有效的图像检索。这些系统的开发对于医学图像检索领域具有重要意义，并为未来的研究提供了重要的参考。