INSPECT

INSPECT数据集是由斯坦福大学创建的一个大规模多模态医学数据集，专注于肺栓塞的诊断与预后评估。该数据集包含19,402名患者的结构化纵向电子健康记录（EHR），包括诊断/程序代码、实验室检查、药物、生命体征和人口统计信息，以及与这些记录对应的23,248次CT扫描及其相应的放射学报告印象部分。INSPECT数据集的创建旨在解决现有医学数据集在多模态数据整合方面的不足，特别是在3D医学影像与EHR数据结合方面的缺失。通过提供丰富的多模态数据，INSPECT数据集支持开发和评估用于肺栓塞诊断和预后的新型多模态融合方法，从而推动AI在医学诊断、预后和治疗规划中的应用。

The INSPECT dataset is a large-scale multimodal medical dataset developed by Stanford University, focusing on the diagnosis and prognostic assessment of pulmonary embolism. This dataset contains structured longitudinal electronic health records (EHRs) from 19,402 patients, including diagnostic/procedural codes, laboratory tests, medications, vital signs, and demographic information, along with 23,248 CT scans corresponding to these records and their corresponding impression sections from radiology reports. The development of the INSPECT dataset aims to address the gaps in existing medical datasets regarding multimodal data integration, particularly the absence of integrated 3D medical imaging and EHR data. By providing rich multimodal data, the INSPECT dataset supports the development and evaluation of novel multimodal fusion approaches for pulmonary embolism diagnosis and prognosis, thereby advancing the application of AI in medical diagnosis, prognosis, and treatment planning.

搜集汇总

数据集介绍

构建方式

INSPECT数据集通过从斯坦福大学医疗中心的大量患者中收集纵向记录，包括CT图像、放射学报告印象部分和结构化电子健康记录(EHR)数据构建而成。该数据集包含19,402名患者的数据，这些患者有患肺栓塞(PE)的风险。INSPECT数据集还包括多个结果的地面真实标签，用于评估和比较不同的模型。为了确保数据的安全性和隐私，所有数据都经过去识别处理。

特点

INSPECT数据集的特点在于它是一个大规模的多模态医疗数据集，集成了3D医学影像和EHR数据，并包含了丰富的标签，包括诊断和预后标签。该数据集的独特之处在于它结合了高分辨率CT图像、对应的放射学报告印象部分以及结构化EHR数据，使得研究人员能够探索多种重要的肺栓塞相关任务。此外，INSPECT数据集还提供了一个基准，用于评估各种基线建模方法在PE诊断和预后任务上的表现。

使用方法

INSPECT数据集可供非商业研究使用，需要通过数据使用协议(DUA)获取。使用该数据集的研究人员可以访问19,402名患者的数据，包括CT图像、放射学报告印象部分和结构化EHR数据。数据集还包含了对多个重要PE相关任务的基准评估，包括图像仅、EHR仅和多模态融合模型。此外，研究人员还可以访问在数据集上训练的模型权重，以便进行模型复现和进一步的研究。

背景与挑战

背景概述

INSPECT数据集的研究背景主要集中在现代医学中多模态信息融合的重要性。当前，人工智能在医学中的应用往往局限于单一模态数据，这主要是因为缺乏公开可用的多模态医学数据集。为了解决这个问题，研究人员开发了INSPECT数据集，该数据集包含大量有肺栓塞风险患者的去识别纵向记录，以及多个结果的真值标签。INSPECT数据集包含了19,402名患者的数据，包括CT图像、放射学报告印象部分以及结构化的电子健康记录（EHR）数据（包括人口统计信息、诊断、程序、生命体征和药物）。该数据集的创建旨在帮助开发新的多模态融合方法，并利用已知和尚未发现的生物标志物来预测肺栓塞的预后。

当前挑战

INSPECT数据集面临的挑战包括：1)解决领域问题的挑战，如肺栓塞的诊断和预后；2)构建过程中的挑战，如数据集的规模、多样性以及标签的准确性。尽管INSPECT数据集提供了丰富的多模态数据，但模型融合对于预后任务的效果并不理想，特别是在预测肺高压方面。此外，数据集仅包含单一医疗机构的数据，可能无法推广到其他患者群体。最后，标签的生成基于自然语言处理（NLP）输出和源EHR数据，而非手动图表审查，这可能在某些情况下导致标签的不准确。

常用场景

经典使用场景

在医学领域，多模态数据集的应用对于疾病的诊断和预后至关重要。INSPECT数据集作为首个结合3D医学影像和电子健康记录（EHR）的大型数据集，为研究者提供了宝贵的资源。其经典使用场景包括：基于CT图像和EHR数据的多模态融合模型，用于提高肺栓塞（PE）的诊断准确性；以及通过分析EHR数据预测患者未来的临床事件，如再入院和死亡率。这些应用场景为医疗AI模型的研究提供了坚实的基础，推动了诊断和预后工具的发展。

衍生相关工作

INSPECT数据集的发布为相关研究提供了重要的数据支持，衍生出了一系列经典工作。例如，研究者利用INSPECT数据集开发了多种基于深度学习的肺栓塞诊断和预后模型，并对其性能进行了评估。此外，研究者还探索了多模态融合策略在肺栓塞诊断和预后中的应用，并发现多模态模型在某些任务上表现出更高的性能。这些经典工作为医学AI研究提供了新的思路和方法，推动了该领域的发展。

数据集最近研究

最新研究方向

INSPECT 数据集的引入为肺栓塞诊断和预后研究提供了新的视角。该数据集融合了多种数据来源，包括 CT 影像、放射学报告和结构化的电子健康记录 (EHR)，为开发多模态融合模型提供了丰富的资源。目前，研究主要集中在利用 INSPECT 数据集评估和改进肺栓塞诊断和预后模型的性能，包括单模态模型（仅使用医学影像或 EHR 数据）和多模态融合模型。此外，研究还探索了 INSPECT 数据集在开发新的多模态融合策略、预测肺栓塞的长期并发症以及识别尚未发现的生物标志物方面的潜力。INSPECT 数据集的发布为医疗领域的研究人员提供了宝贵的资源，有助于推动人工智能在医疗诊断和预后方面的应用和发展。

相关研究论文

• INSPECT: A Multimodal Dataset for Pulmonary Embolism Diagnosis and Prognosis

  斯坦福大学 · 2023年