RadGenome-Chest CT

RadGenome-Chest CT是一个基于CT-RATE的大型、综合性的3D胸部CT分析数据集，由上海交通大学和上海AI实验室联合创建。该数据集包含25,692个非对比3D胸部CT体积和报告，覆盖了197个类别的器官级分割掩码，以及665K多粒度接地报告和1.3M接地视觉问答对。数据集的创建过程涉及使用最新的通用分割和大型语言模型，将报告中的句子与相应的解剖区域以分割掩码的形式关联起来，以提高模型的解释能力。该数据集主要应用于开发多模态医学基础模型，旨在解决基于特定视觉区域的文本生成问题，这是以往相关数据集所无法实现的。

RadGenome-Chest CT is a large-scale, comprehensive 3D chest CT analysis dataset based on CT-RATE, jointly created by Shanghai Jiao Tong University and Shanghai AI Laboratory. This dataset includes 25,692 non-contrast 3D chest CT volumes and corresponding reports, covers organ-level segmentation masks across 197 categories, as well as 665K multi-granularity grounded reports and 1.3M grounded visual question-answer pairs. The dataset construction process uses state-of-the-art general-purpose segmentation and large language models to associate sentences in the reports with corresponding anatomical regions via segmentation masks, thus enhancing model interpretability. This dataset is primarily applied to develop multimodal medical foundation models, targeting the solution of region-specific visual text generation, a task that cannot be realized by previous relevant datasets.

AI搜集汇总

数据集介绍

构建方式

RadGenome-Chest CT数据集的构建基于CT-RATE数据集，通过利用最新的通用分割模型SAT和大型语言模型，对原始数据进行了扩展。具体步骤包括：首先，使用SAT模型生成覆盖197个类别的器官级别分割掩码，为解释提供中间推理视觉线索；其次，将665,000个多粒度接地报告中的每个句子与相应的CT体积解剖区域以分割掩码的形式进行链接；最后，生成130万个接地视觉问答对，其中问题和答案均与参考分割掩码关联，使模型能够将视觉证据与文本解释关联起来。所有验证集中的接地报告和问答对均经过人工验证，以确保数据集质量。

特点

RadGenome-Chest CT数据集具有以下显著特点：首先，它包含了197个类别的器官级别分割掩码，提供了详细的解剖分析；其次，665,000个多粒度接地报告中的每个句子都与相应的解剖区域精确匹配，增强了数据集的细粒度特性；最后，130万个接地视觉问答对不仅涵盖了关键区域发现，还包括全面的病例印象，所有问题和答案均与分割掩码关联，极大地提升了数据集的实用性和解释性。

使用方法

RadGenome-Chest CT数据集适用于训练和评估多模态医学基础模型，特别是那些需要基于给定分割区域生成文本的模型。使用者可以通过提供的分割掩码、接地报告和视觉问答对，进行模型的训练和验证。具体使用方法包括：首先，利用分割掩码进行视觉特征提取；其次，结合接地报告进行文本生成任务的训练；最后，通过视觉问答对进行模型的评估和优化。数据集的发布旨在促进该领域的进一步研究和开发。

背景与挑战

背景概述

在医学人工智能领域，开发通用基础模型已成为研究热点。RadGenome-Chest CT数据集由上海交通大学、上海人工智能实验室和中国科学技术大学的研究人员共同创建，旨在通过大规模、细粒度的3D胸部CT图像和报告数据，推动多模态医学基础模型的发展。该数据集基于CT-RATE数据集，包含超过25,692个非对比3D胸部CT体积和来自20,000名患者的报告。通过引入197个类别的器官级分割掩码、665,000个多粒度接地报告和130万个接地视觉问答对，RadGenome-Chest CT数据集显著提升了模型基于给定分割区域生成文本的能力，填补了现有数据集的空白。

当前挑战

RadGenome-Chest CT数据集在构建过程中面临多项挑战。首先，如何高效且准确地生成197个类别的器官级分割掩码，确保每个分割掩码与相应的解剖区域精确对应，是一个技术难题。其次，将放射学报告中的每个句子与CT体积中的特定解剖区域进行关联，需要高度精确的自然语言处理和命名实体识别技术。此外，生成与分割掩码关联的视觉问答对，确保问题和答案的准确性和相关性，也是一项复杂的任务。这些挑战不仅涉及技术层面的创新，还需确保数据集的高质量和临床实用性，以支持多模态医学基础模型的训练和验证。

常用场景

经典使用场景

RadGenome-Chest CT数据集的经典使用场景在于其能够支持多模态医学基础模型的训练与验证。通过结合3D胸部CT图像与详细的器官级分割掩码、多粒度接地报告以及接地视觉问答对，该数据集为模型提供了丰富的视觉和文本监督信号。这种多模态数据集的构建，使得模型能够在训练过程中学习到如何基于给定的分割区域生成文本，从而显著提升其在医学影像分析中的应用能力。

衍生相关工作

RadGenome-Chest CT数据集的发布催生了多项相关研究工作，特别是在多模态医学影像分析和自然语言处理领域。例如，基于该数据集的研究已经提出了多种新的模型架构，用于改进医学影像的分割和报告生成。此外，该数据集还激发了关于如何更有效地利用多模态数据进行医学诊断和预后的研究，推动了医学AI领域的技术进步和应用拓展。

数据集最近研究

最新研究方向

在医学影像分析领域，RadGenome-Chest CT数据集的最新研究方向聚焦于多模态医学基础模型的开发。该数据集通过整合大规模的3D胸部CT影像与详细的放射报告，提供了197个类别的器官级分割掩码、665K的多粒度接地报告以及1.3M的接地视觉问答对。这些数据不仅增强了模型的解释性，还推动了基于分割区域的文本生成能力，这在以往的相关数据集中是难以实现的。通过训练模型生成基于给定分割区域的文本，RadGenome-Chest CT数据集显著提升了多模态医学基础模型的性能，为医学诊断和患者护理提供了更精确的支持。

相关研究论文

• RadGenome-Chest CT: A Grounded Vision-Language Dataset for Chest CT Analysis

  上海交通大学 · 2024年