MedHK23/OmniFM-Dr

OmniFM-Dr框架引入了一个多任务胸部X光数据集，用于联合训练疾病分类、定位、分割和报告生成。该数据集由多个公开数据集组成，如MIMIC-CXR、VinDr-CXR和ChestX-Det10等。每个图像可能涉及多个任务，如报告生成和分类。由于数据合规性要求，数据集暂时不可用，但每个任务提供了五个样本展示。数据集结构部分详细列出了各个子数据集的文件格式和用途。OmniFM-Dr框架引入了一个多任务胸部X光数据集，用于联合训练疾病分类、定位、分割和报告生成。该数据集由多个公开数据集组成，如MIMIC-CXR、VinDr-CXR和ChestX-Det10等。每个图像可能涉及多个任务，如报告生成和分类。由于数据合规性要求，数据集暂时不可用，但每个任务提供了五个样本展示。数据集结构部分详细列出了各个子数据集的文件格式和用途。

原始信息汇总

数据集描述

OmniFM-Dr框架引入了一个多任务胸部X光数据集，用于疾病分类、定位、分割和报告生成的联合训练。该数据集包含多个公开可用的数据集，如MIMIC-CXR、VinDr-CXR和ChestX-Det10。每个图像可能对多个任务有贡献，例如报告生成和分类。

注意：由于数据合规性和其他法规要求，该数据集暂时不可用。然而，对于每个任务，我们将提供五个样本的展示。

数据集详情

• MIMIC：包含超过377,110张来自超过227,835个放射学研究的放射图像。每个放射图像都与病灶分类和相关的放射学报告配对。用于多标签分类和报告生成任务。
• Padchest：包含160,840张来自67,000名患者的图像，涵盖六种不同的位置视图。不同的放射学发现被标记，用于本研究的分类任务。
• CXR-AL14：是一个用于胸部X光图像检测的大规模数据集。它包含超过140,000张胸部X光放射图像，包含253,844个边界框，涉及14种胸部异常对象类别。
• VinDr-CXR：包含用于28种常见胸部疾病分类的胸部放射图像。数据集包含15,000张CXR扫描图像用于训练集。我们从中选择了八种疾病及其对应的边界框用于疾病定位任务。
• ChestX-Det：包含来自NIH ChestXray14的3,578张图像，用于13种常见疾病。我们从中选择了七种疾病及其边界框用于疾病定位任务。
• CheXmask：包含来自六个公开可用数据库的676,803张胸部图像的肺和心脏分割掩码。我们包含224,316个数据用于训练，10,000个数据来自ChestXray14用于下游评估。
• SIIM：来自SIIM-ACR气胸分割竞赛，包含12,090张图像，其中约3,000例为气胸疾病阳性，带有掩码。

数据集结构

• MIMIC：
  • MIMIC_classification_report-generation_xxx.tsv：用于分类和报告生成任务。每行包含id、报告、"label1 && label2"、subject_id、study_id、dicom_id。
  • MIMIC_classification-location_xxx.tsv：用于位置vqa任务。每行包含id、"label1,severity && label2, severity"、subject_id、study_id、dicom_id。
  • MIMIC_classification-severity_xxx.tsv：用于严重性vqa任务。每行包含id、"label, location1 & location2"、subject_id、study_id、dicom_id。
• Padchest：
  • Padchest_classification_xxx.tsv：用于分类任务。每行包含id、"label1 && label2"、subject_id、study_id、dicom_id。
• CXR-AL14：
  • CXR_AL14_localization_xxx.tsv：用于定位和分类任务。每行包含id、label、"x1,y1,x2,y2"、image_id。
• VinDr-CXR：
  • VinDr_CXR_localization_xxx.tsv：用于定位和分类任务。每行包含id、label、"x1,y1,x2,y2"、image_id。
• ChestX-Det：
  • ChestX_Det_localization_xxx.tsv：用于定位和分类任务。每行包含id、label、"x1,y1,x2,y2"、image_id。
• CheXmask：
  • CheXmask_segmentation_xxx.tsv：用于分割任务。每行包含id、label、"x1,y1,x2,y2, ..., x30, y30"、subject_id、study_id、dicom_id。
• SIIM：
  • SIIM_segmentation_xxx.tsv：用于分割任务。每行包含id、label、"x1,y1,x2,y2, ..., x30, y30"、subject_id、study_id、dicom_id。

数据集使用

• 请运行data_prepare.py，该脚本构建了所有任务的训练批次。每行应包含以下内容：id、instruction、label、image_id和task_type。

搜集汇总

数据集介绍

构建方式

在医学影像分析领域，构建综合性数据集对于推动多任务学习至关重要。OmniFM-Dr数据集通过整合多个公开胸部X光影像数据集而形成，其构建过程体现了系统性的数据融合策略。该数据集汇集了MIMIC-CXR、VinDr-CXR、ChestX-Det10等权威数据源，每幅影像均经过统一标注处理，能够同时支持疾病分类、病灶定位、器官分割及报告生成等多种任务。数据构建时注重任务间的关联性，确保单张影像可贡献于多个下游应用，从而为联合训练提供丰富且一致的监督信号。

使用方法

为有效利用这一多任务数据集，研究者需通过配套的数据准备脚本进行统一预处理。具体而言，运行data_prepare.py脚本可自动构建适用于所有任务的训练批次，每个批次数据均包含影像标识、任务指令、标注标签及任务类型等关键字段。数据按任务类型划分为不同子集，如分类、定位、分割及报告生成等，用户可根据研究目标灵活选择相应数据文件。这种设计使得模型能够在一个框架内进行端到端的多任务联合训练，显著提升医学影像分析的效率与泛化能力。

背景与挑战

背景概述

在医学影像人工智能领域，多任务学习框架的构建对于提升诊断系统的综合性能至关重要。OmniFM-Dr数据集由MedHK23团队于2023年推出，其核心研究目标在于整合胸部X光影像的疾病分类、定位、分割及报告生成等多重任务，旨在通过统一的数据架构推动端到端智能诊断模型的发展。该数据集汇聚了MIMIC-CXR、VinDr-CXR、ChestX-Det10等多个权威公开数据源，覆盖超过百万级影像样本，不仅深化了跨任务知识迁移的探索，也为医学影像分析的标准化与自动化提供了关键基础设施。

当前挑战

OmniFM-Dr数据集致力于应对医学影像中多任务协同建模的复杂挑战，其核心问题在于如何统一异构标注标准以实现分类、定位、分割与报告生成的任务对齐。在构建过程中，团队需克服多源数据集成带来的标注不一致性，例如不同数据集对疾病定义与边界框标注的差异；同时，数据合规性与隐私保护要求使得原始影像的公开访问受限，导致数据可用性成为实践瓶颈。此外，跨任务样本的平衡与质量控制亦增加了数据清洗与融合的难度。

常用场景

经典使用场景

在医学影像分析领域，OmniFM-Dr数据集以其多任务整合特性，成为胸部X光图像研究的核心资源。该数据集通过融合MIMIC-CXR、VinDr-CXR等多个公开数据集，支持疾病分类、病灶定位、器官分割和报告生成等任务的联合训练。研究者可借助其结构化标注，开发端到端的深度学习模型，实现从影像识别到临床文本生成的一体化流程，显著提升了多模态医学数据分析的效率和精度。

解决学术问题

该数据集有效应对了医学人工智能中数据分散与任务割裂的挑战。通过统一标注框架整合异构数据，它解决了跨数据集模型泛化能力不足的问题，并支持多任务协同学习，促进模型在有限标注下获得更稳健的特征表示。其意义在于推动了通用医学影像基础模型的发展，为构建能够同时处理分类、检测、分割及自然语言生成的一体化系统提供了关键数据支撑，加速了临床辅助诊断技术的演进。

实际应用

在实际临床环境中，OmniFM-Dr数据集支撑的系统可应用于胸科疾病的智能筛查与辅助诊断。例如，模型能自动识别肺炎、气胸等异常病变，精准定位病灶区域，并生成结构化的诊断报告初稿，减轻放射科医师的工作负荷。这类技术已逐步融入医院影像归档与通信系统，提升诊断一致性，缩短报告周转时间，为大规模公共卫生筛查和远程医疗提供了可靠的技术基础。

数据集最近研究

最新研究方向

在医学影像分析领域，OmniFM-Dr数据集作为多任务胸片分析的重要资源，正推动着前沿研究向统一多模态学习范式演进。该数据集整合了MIMIC-CXR、VinDr-CXR等多个公开数据集，支持疾病分类、定位、分割及报告生成等任务的联合训练，为构建端到端的智能诊断系统提供了数据基础。当前研究热点聚焦于跨任务知识迁移与视觉-语言对齐技术，旨在通过统一模型架构提升医学影像分析的泛化能力与解释性。随着医疗人工智能对可解释性与临床适用性要求的提升，此类多任务数据集正成为验证新型基础模型的关键基准，其设计思路亦影响着医疗影像标准化与自动化诊断工具的发展路径。