Cardiac-CLIP

Cardiac-CLIP是一个专为3D心脏CT图像设计的多模态基础模型，旨在解决心脏疾病诊断中的复杂问题。该模型通过大规模真实临床数据和公开数据集进行预训练，包括11,106个真实世界心脏CT扫描和5,535个胸部CT扫描，每个扫描都与放射科医生撰写的诊断报告配对。Cardiac-CLIP采用两阶段预训练策略，首先通过3D掩码自编码器进行自监督表示学习，然后通过对比学习对齐视觉和文本表示。为了全面评估Cardiac-CLIP的有效性，在多个任务上进行了广泛实验，包括心血管异常分类、信息检索和临床分析。实验结果表明，Cardiac-CLIP在多个下游任务中取得了最先进的性能，并在复杂现实世界临床分析中表现出卓越的能力，反映了其在临床决策支持方面的强大应用潜力。Cardiac-CLIP is a multimodal foundation model specifically designed for 3D cardiac CT images, aiming to tackle complex challenges in cardiac disease diagnosis. The model is pre-trained on large-scale real-world clinical data and public datasets, including 11,106 real-world cardiac CT scans and 5,535 chest CT scans, each paired with a diagnostic report authored by radiologists. Cardiac-CLIP adopts a two-stage pre-training strategy: first performing self-supervised representation learning via a 3D masked autoencoder, then aligning visual and textual representations through contrastive learning. To comprehensively evaluate the effectiveness of Cardiac-CLIP, extensive experiments were conducted across multiple tasks, including cardiovascular abnormality classification, information retrieval, and clinical analysis. Experimental results demonstrate that Cardiac-CLIP achieves state-of-the-art performance on multiple downstream tasks and exhibits exceptional capabilities in complex real-world clinical analysis, reflecting its strong application potential in clinical decision support.

搜集汇总

数据集介绍

构建方式

Cardiac-CLIP数据集的构建采用了两阶段预训练策略。第一阶段通过3D掩码自编码器（MAE）从大规模未标记的容积数据中进行自监督表示学习，使视觉编码器能够捕捉丰富的解剖和上下文特征。第二阶段引入对比学习，对齐视觉和文本表示，促进跨模态理解。数据集包含16,641个真实临床CT扫描，并补充了114,000个公开可用数据。同时，将自由文本放射学报告标准化为统一模板，并根据诊断属性构建病理向量，生成软标签矩阵以监督对比学习过程。

特点

Cardiac-CLIP数据集的特点在于其规模大、多样性丰富，涵盖了来自12个独立机构的6,722个真实临床数据，以及公开可用的数据。数据集特别关注心血管异常分类、信息检索和临床分析等多个任务。此外，该数据集在复杂的临床任务中表现出色，如急性冠状动脉综合征的前瞻性预测，这些任务在真实场景中极具挑战性。Cardiac-CLIP是首个基于如此大规模数据开发的心脏基础模型，具有显著的临床实用性和泛化能力。

使用方法

Cardiac-CLIP数据集的使用方法包括在零样本和微调设置下进行多任务评估。在零样本评估中，直接使用预训练参数进行推理，无需额外微调。在微调评估中，从预训练的基础模型中提取视觉编码器，并附加分类头形成完整的分类网络。数据集支持心血管异常分类、信息检索和临床分析等任务，实验结果表明其在内部和外部数据上均达到最先进的性能。此外，数据集还支持复杂临床任务，如急性冠状动脉综合征的前瞻性预测和冠状动脉钙化分级。

背景与挑战

背景概述

Cardiac-CLIP是由东南大学、金陵医院等多家机构的研究团队于2025年提出的首个面向3D心脏CT影像的多模态基础模型。该模型针对心血管疾病这一全球首要健康威胁，旨在解决传统AI模型在心脏CT分析中面临的标注依赖性强、泛化能力不足等核心问题。通过整合来自12家医疗机构的16,641例真实临床CT扫描和11.4万公开数据，研究团队创新性地采用两阶段预训练策略：先通过3D掩码自编码器学习解剖特征，再通过对比学习实现影像与放射报告的跨模态对齐。作为心脏影像领域规模最大的基础模型，Cardiac-CLIP在心血管异常分类、急性冠脉综合征预测等临床任务中展现出超越现有模型的性能，为心血管智能诊断建立了新的技术范式。

当前挑战

该数据集主要应对三大核心挑战：在领域问题层面，需解决心脏CT影像中冠状动脉钙化、斑块等微小病变的识别难题，以及跨机构数据分布差异导致的模型泛化瓶颈；在构建过程中，面临高质量心脏影像获取困难、放射报告文本标准化处理复杂等技术障碍。特别是需要设计病理向量和软标签矩阵来实现细粒度的跨模态对比学习，同时处理来自不同医院的异构数据格式与标注标准。此外，模型还需克服3D医疗数据计算复杂度高、显存占用大等工程挑战，这些因素共同构成了心脏影像基础模型开发的关键技术壁垒。

常用场景

经典使用场景

Cardiac-CLIP数据集在心血管疾病诊断领域具有广泛的应用场景，尤其是在3D心脏CT图像的分析和处理中。该数据集通过大规模的多模态预训练，能够支持心血管异常分类、信息检索和临床分析等多种任务。其最经典的使用场景包括冠状动脉钙化评分、功能性冠状动脉狭窄诊断以及急性冠状动脉综合征的前瞻性预测。这些场景不仅涵盖了心血管疾病诊断的核心需求，还展示了数据集在复杂临床任务中的强大能力。

实际应用

在实际应用中，Cardiac-CLIP数据集为临床决策提供了重要支持。例如，在冠状动脉钙化评分中，数据集能够自动识别和量化钙化斑块，辅助医生进行风险评估。在功能性冠状动脉狭窄诊断中，数据集通过对比学习生成的视觉-文本对齐特征，能够准确识别血流动力学显著狭窄，优化治疗方案。此外，数据集在急性冠状动脉综合征的前瞻性预测中表现出色，帮助医生提前识别高风险患者，改善临床预后。这些应用显著提升了心血管疾病的诊断效率和准确性。

衍生相关工作

Cardiac-CLIP数据集衍生了一系列经典研究工作，推动了心血管影像分析领域的发展。例如，基于该数据集的预训练视觉编码器被广泛应用于其他心血管影像任务，如冠状动脉分割和斑块表征。此外，数据集的对比学习框架为其他多模态医学影像分析任务提供了参考，如胸部X光与报告的对齐研究。Cardiac-CLIP还启发了后续研究探索更高效的预训练策略，如知识蒸馏和跨模态自监督学习，进一步扩展了其在医学影像中的应用范围。