FEDMEKI

FEDMEKI数据集由宾夕法尼亚州立大学和Sony AI联合创建，旨在通过联邦学习方法集成医疗知识到基础模型中。该数据集涵盖了8个多样化的医疗任务，涉及7种医疗模态，包括图像、信号、文本等，来源于7个公开可用的数据集。数据集的创建过程包括多站点、多模态和多任务数据的精心处理和分割。FEDMEKI数据集主要应用于医疗领域，特别是在保护患者隐私的前提下，提升医疗基础模型的性能和泛化能力。

The FEDMEKI dataset was jointly created by Pennsylvania State University and Sony AI, aiming to integrate medical knowledge into foundation models via federated learning methods. This dataset covers 8 diverse medical tasks across 7 medical modalities including imaging, signals, text and others, and is sourced from 7 publicly available datasets. The dataset creation process involves meticulous processing and partitioning of multi-site, multi-modal and multi-task data. The FEDMEKI dataset is primarily applied in the medical field, specifically to enhance the performance and generalization capability of medical foundation models while protecting patient privacy.

搜集汇总

数据集介绍

构建方式

FEDMEKI数据集的构建方式独具匠心，通过跨机构联邦学习方法，巧妙规避了集中式数据收集在医疗法规下的限制。该平台精心设计，能够处理多站点、多模态和多任务的医疗数据，涵盖了7种医疗模态，包括图像、信号、文本、实验室检测结果、生命体征、输入变量和输出变量。验证FEDMEKI的数据集涵盖了8个医疗任务，包括6个分类任务（肺不透明度检测、COVID-19检测、心电图异常检测、死亡率预测、脓毒症预测和心脏扩大检测）和2个生成任务（医疗视觉问答和心电图噪声澄清）。这些数据被划分为多个客户端，以促进在16种基准方法下的去中心化训练过程。

使用方法

FEDMEKI数据集的使用方法多样，适用于多种医疗AI模型的训练和评估。研究者可以通过该数据集进行多模态和多任务的联邦学习实验，以提升模型的泛化能力和任务适应性。具体使用时，可以将数据集划分为训练集和验证集，分别用于模型的训练和性能评估。此外，FEDMEKI平台还提供了16种基准方法，供研究者进行对比实验，从而更全面地评估模型的性能。

背景与挑战

背景概述

FEDMEKI数据集由宾夕法尼亚州立大学和索尼AI的研究人员于2024年创建，旨在解决在隐私约束下将医疗知识整合到基础模型中的独特挑战。该数据集通过跨机构联邦学习方法，规避了集中式数据收集的问题，这些数据收集通常受到健康法规（如美国的HIPAA法案）的限制。FEDMEKI平台精心设计，能够处理多站点、多模态和多任务的医疗数据，涵盖7种医疗模态，包括图像、信号、文本、实验室测试结果、生命体征、输入变量和输出变量。该数据集验证了FEDMEKI平台，涵盖8个医疗任务，包括6个分类任务（肺不透明度检测、COVID-19检测、心电图异常检测、死亡率预测、脓毒症预测和心脏扩大检测）和2个生成任务（医疗视觉问答和心电图噪声澄清）。FEDMEKI不仅保护了数据隐私，还通过允许基础模型在不直接暴露数据的情况下学习更广泛的医疗知识，增强了医疗基础模型的能力，从而在医疗领域的基础模型应用中树立了新的基准。

当前挑战

FEDMEKI数据集面临的挑战包括数据细调与参数适应的难题，即如何在客户端之间不共享私有数据的情况下提取医疗知识，并将客户端模型参数适应到基础模型中。此外，任务特定的细调与可扩展细调之间的平衡也是一个挑战，现有的医疗基础模型通常只能处理特定任务，而FEDMEKI需要同时细调具有多种模态的医疗基础模型。构建过程中遇到的挑战还包括数据异质性、通信开销和同步问题，这些都可能影响学习过程的整体效率和效果。

常用场景

经典使用场景

FEDMEKI数据集的经典使用场景在于通过跨机构的联邦学习方法，将医疗知识注入基础模型中，以解决在隐私约束下集成医疗数据的独特挑战。该数据集涵盖了多种医疗模态和任务，包括图像、信号、文本、实验室测试结果等，适用于训练和验证医疗基础模型在多站点、多模态和多任务环境下的性能。

解决学术问题

FEDMEKI数据集解决了在医疗领域中，由于数据隐私法规（如HIPAA）限制，难以集中收集和存储患者数据以训练医疗基础模型的学术问题。通过联邦学习，该数据集能够在不直接暴露数据的情况下，增强医疗基础模型的能力，使其能够从更广泛的医疗知识中学习，从而在医疗领域中应用基础模型时设立了新的基准。

实际应用

FEDMEKI数据集的实际应用场景包括但不限于疾病检测、患者生存预测、心电图异常检测等。通过联邦学习，医疗机构可以在不共享敏感患者数据的情况下，共同训练和改进医疗基础模型，从而提高诊断准确性和治疗效果。此外，该数据集还可用于开发个性化的医疗AI系统，以满足不同医疗机构的特定需求。

数据集最近研究

最新研究方向

在医疗领域，FEDMEKI数据集的前沿研究方向主要集中在通过联邦学习技术将医疗知识注入基础模型中，以解决隐私保护和数据共享的挑战。该数据集通过跨机构联邦学习方法，避免了集中式数据收集的限制，确保在遵守健康法规的前提下，提升医疗基础模型的能力。研究重点包括多站点、多模态和多任务数据的处理，以及如何在保护数据隐私的同时，增强模型对广泛医疗知识的理解和应用能力。这一方向的研究不仅有助于提高诊断准确性和个性化治疗，还为医疗AI的伦理和安全应用设立了新的标准。

相关研究论文

• FEDMEKI: A Benchmark for Scaling Medical Foundation Models via Federated Knowledge Injection

  宾夕法尼亚州立大学, Sony AI · 2024年