Multi-Modal Dataset for Federated Learning with DICOM Structured Reports

该数据集由德国心血管研究中心及其合作伙伴创建，旨在通过DICOM结构化报告整合多种医疗数据类型，支持联邦学习。数据集内容包括CT图像、心电图扫描、患者元数据等，通过统一的DICOM表示和过滤选项实现数据集的标准化和一致性。创建过程中，各机构从其临床信息系统中导出相关数据，并转换为DICOM格式以实现数据集成和匹配。该数据集主要应用于预测微创心脏瓣膜置换后的结果，通过多模态数据的整合和分析，提高深度学习模型在临床实践中的预测性能。

This dataset was created by the German Centre for Cardiovascular Research and its partners, aiming to integrate multiple types of medical data via DICOM structured reporting and support federated learning. The dataset includes CT images, electrocardiogram (ECG) scans, patient metadata, and other relevant data, and achieves standardization and consistency through unified DICOM representation and filtering options. During its development, each participating institution exported relevant data from its own clinical information system and converted the data into DICOM format to enable data integration and matching. This dataset is primarily used to predict post-operative outcomes following minimally invasive cardiac valve replacement, and it improves the predictive performance of deep learning models in clinical practice by integrating and analyzing multimodal data.

搜集汇总

数据集介绍

构建方式

本数据集的构建基于DICOM结构化报告，旨在解决联邦学习中数据集异构性的问题。数据集通过使用highdicom库将来自不同来源和模态的数据整合到一个统一的框架中，并通过结构化报告实现标准化。在此基础上，开发了一个开放平台，具有数据集成和交互式过滤功能，简化了多模态数据集的构建过程。

特点

该数据集的特点在于其多模态性和联邦学习的适应性。数据集包含了DICOM数据（如CT图像、心电图扫描）、注释（如钙化分割、点集和起搏器依赖性）和元数据（如假体和诊断）。此外，数据集的构建还考虑到了隐私保护，通过在各个机构本地进行训练，避免了敏感数据的集中存储。

使用方法

使用该数据集时，首先需要将来自不同机构的数据转换为DICOM格式，并上传到平台。然后，利用平台的交互式过滤功能，根据研究需求对数据进行筛选和匹配。最后，将筛选后的数据导出，以便进行联邦学习训练。该平台既可作为独立应用使用，也可作为现有框架的扩展，如Kaapana平台。

背景与挑战

背景概述

随着深度学习在医学领域的应用日益广泛，多模态数据集的构建对于模型的训练和预测至关重要。本研究背景下的数据集名为Multi-Modal Dataset for Federated Learning with DICOM Structured Reports，由德国心血管研究中心（DZHK）等机构的多个研究团队共同创建。该数据集的核心研究问题是如何利用DICOM结构化报告实现多模态数据的整合和交互式过滤，以便于构建适合联邦学习的多模态数据集。该数据集的创建对于推动联邦学习在医疗领域的应用具有重要意义。

当前挑战

本研究背景下的数据集主要面临的挑战包括：1)如何处理不同来源和模态的数据整合问题，实现统一的数据表示和过滤选项；2)如何应对联邦学习中数据集异构性带来的挑战，确保模型训练的有效性；3)如何利用DICOM结构化报告的特点，实现高效的多模态数据过滤和匹配。

常用场景

经典使用场景

在医学影像分析领域，多模态数据集为联邦学习提供了强大的支持。本数据集通过DICOM结构化报告，实现了不同来源和模态数据的整合，并提供了交互式筛选功能，极大地简化了多模态数据集的构建过程。经典使用场景包括预测微创心脏瓣膜置换后的结果，该场景涉及多种数据类型，如CT图像、心电图扫描、钙化分割、点集和起搏器依赖性，以及元数据如假体和诊断信息。

实际应用

该数据集在实际应用中展示了其在联邦学习环境下的强大功能。通过将模型发送到每个数据拥有机构进行本地训练，然后汇总模型权重，从而实现了跨多个地点的联邦训练。这对于预测微创心脏瓣膜置换后的结果具有重要意义，因为它允许在不同地点创建统一的多模态数据集，从而提高了数据的质量和模型的性能。

衍生相关工作

该数据集衍生了多项相关工作，如在联邦学习环境下进行数据整合和筛选的研究，以及在医学影像分析中使用多模态数据集的研究。这些研究进一步拓展了该数据集的应用范围，为其在医学影像分析和临床研究中的应用提供了更多的可能性。