Med-ReasonSeg

Med-ReasonSeg是一个大规模推理分割数据集，专为医学图像分割与推理任务设计。该数据集包含539,383个图像-掩码-问答三元组，这些数据源自16个公开可用的生物医学图像分割数据集，共涉及90,021个独立的医学扫描影像，覆盖了9种不同的成像模态。数据集的构建采用了一个两阶段的大语言模型（LLM）流程，以确保问答对与图像分割掩码之间的逻辑一致性，并减少幻觉生成。MRI（48.6%）和CT（27.3%）影像构成了数据集的主体，其次是X射线（9.9%），其余14.2%的样本分布于皮肤镜、眼底、内窥镜、光学相干断层扫描（OCT）、乳腺X线摄影和超声等模态。该数据集主要用于训练和评估像MedFuse-Seg（MICCAI 2026）这类结合了多层级视觉特征注入与LLM引导掩码解码的推理驱动型医学图像分割模型。

原始信息汇总

数据集概述：Med-ReasonSeg

Med-ReasonSeg 是一个大规模、面向推理的医学图像分割数据集，旨在支持多模态大语言模型（LLM）驱动的医学图像推理分割任务。该数据集被用于训练 MedFuse-Seg 模型，该模型发表于 MICCAI 2026。

数据集规模与构成

• 总数：包含 539,383 个图像-掩码-问答三元组，来自 90,021 张不同的扫描图像。
• 模态覆盖：涵盖 9 种成像模态，来源于 16 个公开的生物医学图像分割数据集。
• 数据比例：
  • MRI（48.6%）和 CT（27.3%）占主体。
  • X-ray（9.9%）次之。
  • 其余 14.2% 分布在以下模态：皮肤镜、眼底、内镜、OCT、乳腺摄影和超声。

构建方法

• 数据集通过 两阶段LLM流水线 构建并验证，以确保逻辑忠实性并减少幻觉。

来源数据集

下表列出了构成 Med-ReasonSeg 的原始公开数据集及其对应模态：

数据集	模态	来源
BRISC	X-ray	Kaggle
BUSI	Ultrasound	开罗大学
CDD-CESM	Mammography	癌症影像档案（TCIA）
Chest Xray Masks and Labels	X-ray	Dataset Ninja
COVID-19 CT	CT	Kaggle
COVID-QU-Ex	X-ray	Kaggle
G1020	Endoscopy	DFKI
ISIC 2018	Dermoscopy	ISIC 挑战赛
LIDC-IDRI	CT	TCIA
MSD (Medical Segmentation Decathlon)	MRI, CT	医学分割十项全能
NeoPolyp	Endoscopy	Kaggle
NSCLC-Radiogenomics	CT	TCIA
OCT-CME	OCT	Kaggle
PolypGen	Endoscopy	Synapse
REFUGE	Fundus	Bitbucket
SIIM-ACR Pneumothorax	X-ray	Kaggle

许可证

• Apache-2.0

使用方式

1. 下载：通过 huggingface_hub 库下载元数据 JSON 文件和包含图像与掩码的 ZIP 文件。
2. 加载：使用 Hugging Face datasets 库加载数据集，并将路径列转换为 Image 对象。

引用

如需引用，请参考以下 BibTeX 条目：

@inproceedings{LimKee_MedFuseSeg_MICCAI2026, title={MedFuse-Seg: Multi-Level Visual and Semantic Context Fusion for Segmentation-Based Medical Reasoning}, author={Limaroon, Keetawan and Chiewhawan, Monrada and Timklaypachara, Watcharapong and Vateekul, Peerapon and Achakulvisut, Titipat}, booktitle = {Proceedings of Medical Image Computing and Computer Assisted Intervention -- MICCAI 2026}, year={2026} }

搜集汇总

数据集介绍

构建方式

Med-ReasonSeg 是专门为医学图像推理分割而构建的大规模数据集，其构建过程严谨且系统。该数据集从16个公开的生物医学图像分割数据集中提取了90,021张不同的扫描图像，覆盖MRI、CT、X射线、皮肤镜、眼底镜、内窥镜、OCT、乳腺X线和超声等9种成像模态。在此基础上，研究团队设计并实施了一个两阶段的大语言模型流水线，以自动生成高质量的图像-掩码-问答三元组，并通过逻辑验证环节有效抑制信息幻觉，最终构建出包含539,383个三元组的庞大集合。所有原始数据均经过预处理并以统一格式发布，便于直接使用。

特点

该数据集具有显著的多样性和规模优势，是目前医学图像推理分割领域中的标杆性资源。其图像来源横跨9种成像模态，其中MRI和CT占比最高，分别达48.6%和27.3%，X射线占9.9%，其余模态共同构成14.2%。数据集样本来源于BRISC、BUSI、LIDC-IDRI、MSD等多个权威公开数据集，确保了内容的专业性和覆盖面。每个样本均包含图像、掩码及对应的问答信息，这种三元组结构使得模型不仅能够执行分割任务，还能理解分割背后的语义逻辑，支持医学推理场景的训练与评估。

使用方法

使用Med-ReasonSeg数据集时，用户可通过Hugging Face的datasets库快速加载。首先利用huggingface_hub中的hf_hub_download函数下载元数据文件及包含图像和掩码的压缩包。解压后，使用load_dataset函数加载数据集，并通过cast_column方法将原本以路径字符串形式存储的图像和掩码列转换为Image对象，以便直接进行可视化和模型输入。加载后的数据集以字典形式组织，其中训练集可通过索引访问，返回包含图像、掩码及问答信息的多字段样本，适合用于训练和评估基于大语言模型的医学图像分割推理系统。

背景与挑战

背景概述

医学图像分割作为计算机辅助诊断的核心任务，长期受限于模型对复杂临床语义的浅层理解。现有数据集多聚焦于像素级标注，缺乏对分割决策背后推理逻辑的系统性建模，导致模型难以在临床场景中提供可解释的辅助判断。为此，研究者于2026年提出了Med-ReasonSeg数据集，由来自泰国朱拉隆功大学等机构的团队构建，旨在突破传统分割范式。该数据集包含539,383个图像-掩码-问答三元组，覆盖MRI、CT、X-ray等9种模态的90,021个扫描样本，整合了16个公开医学分割数据集。通过两阶段大语言模型流水线生成并验证推理逻辑，确保了问答对与分割任务的一致性和真实性。该数据集的发布推动了医学图像分割从感知到认知的跨越，为构建具备推理能力的多模态医学模型奠定了数据基础，其衍生模型MedFuse-Seg发表于MICCAI 2026，显著提升了模型在复杂病理场景下的分割可信度。

当前挑战

Med-ReasonSeg所解决的领域核心挑战在于传统分割模型仅能执行像素级定位，却无法理解解剖结构与病变之间的语义因果关联，导致模型在罕见病变或跨模态迁移时鲁棒性不足。该数据集通过引入推理问答对，要求模型在生成掩码的同时解释分割依据，从而弥合感知与推理间的鸿沟。其构建过程中面临多重挑战：首先，从16个异构数据源汇集的图像需统一处理格式、分辨率和标注风格，并确保跨模态的病理描述一致性；其次，利用大语言模型自动生成推理问答对时，需设计两阶段流水线降低逻辑幻觉风险，并通过人工校验保证医学知识的准确性；最后，在539,383个三元组的规模下，平衡数据多样性（如MRI占比48.6%与超声仅占极小部分）与类别平衡性，以避免模型对常见模态的偏见，同时维护大规模数据的存储与分发效率。

常用场景

经典使用场景

在医学影像分析领域，推理分割任务要求模型不仅精准定位病灶区域，更能理解临床语境中的逻辑关联。Med-ReasonSeg数据集凭借其海量的图像-掩膜-问答三元组，成为训练和评估多模态医学推理分割模型的基石。研究者常利用该数据集构建端到端的推理框架，例如将视觉特征与自然语言描述深度融合，使模型能够在复杂解剖结构中依据临床问题自主生成分割结果，从而推动医学影像理解从单纯的像素级预测迈向语义级认知。

衍生相关工作

基于Med-ReasonSeg，研究团队提出了MedFuse-Seg模型，该工作发表于MICCAI 2026，通过多层级视觉特征注入与大语言模型引导的掩膜解码机制，首次在医学成像领域实现了端到端的推理分割。后续衍生工作包括面向低资源场景的轻量化推理分割框架，以及融合时序信息的动态推理模型。这些工作共同推动了医学图像分析从单一模态识别向跨学科、可沟通的智能体协作演进，为构建能够与临床专家进行语义交互的AI助手铺平了道路。

数据集最近研究

最新研究方向

当前，随着多模态大语言模型在医疗影像分析领域的持续渗透，推理驱动的医学图像分割正成为前沿热点。Med-ReasonSeg作为该方向的大规模标杆数据集，整合了16个公开生物医学分割数据集，横跨MRI、CT、X-ray等9种成像模态，构建了逾53万组图像-掩膜-问答三元组。其独创的两阶段大语言模型验证管道有效抑制了幻觉现象，保障了逻辑一致性，为训练具备深层语义理解能力的推理型分割模型——如MICCAI 2026收录的MedFuse-Seg——提供了高质量的语料基础。这一数据集的出现，不仅突破了传统分割任务仅关注像素级标签的局限，更推动了临床诊断中“可解释的视觉推理”迈向新高度，具有重要的学术价值与应用潜力。