biodatlab/Med-ReasonSeg

Med-ReasonSeg是一个大规模推理分割数据集，包含539,383个图像-掩码-问答三元组，源自16个公开可用的生物医学图像分割数据集中的90,021个不同扫描，涵盖9种成像模态。数据集通过两阶段LLM（大语言模型）流程构建和验证，以确保逻辑保真度并减少幻觉。它被设计用于训练MedFuse-Seg模型（MICCAI 2026），这是一个推理驱动的医学图像分割模型，结合了多级视觉特征注入和LLM引导的掩码解码。MRI（48.6%）和CT（27.3%）构成主要部分，其次是X射线（9.9%），其余14.2%分布在皮肤镜、眼底、内窥镜、OCT、乳腺X射线和超声中。Med-ReasonSeg is a large-scale reasoning segmentation dataset containing 539,383 image–mask–Q&A triplets derived from 90,021 distinct scans across 9 imaging modalities from 16 publicly available biomedical image segmentation datasets. The dataset was constructed and verified via a two-stage LLM pipeline to ensure logical fidelity and reduce hallucinations. It was designed and used to train MedFuse-Seg (MICCAI 2026), a reasoning-driven medical image segmentation model that combines multi-level visual feature injection with LLM-guided mask decoding. MRI (48.6%) and CT (27.3%) constitute the majority, followed by X-ray (9.9%), with the remaining 14.2% distributed across dermoscopy, fundus, endoscopy, OCT, mammography, and ultrasound.

搜集汇总

数据集介绍

构建方式

Med-ReasonSeg 数据集源自 16 个公开可用的生物医学图像分割数据集，涵盖 X 射线、超声、乳腺摄影、CT、内窥镜、皮肤镜、眼底、OCT 等 9 种成像模态。研究团队从 90,021 张独立扫描中提取图像与掩码，并采用两阶段大型语言模型流水线生成 539,383 个图像-掩码-问答三元组。该流水线通过逻辑一致性校验与幻觉抑制机制，确保生成的问题与答案具备医学合理性，最终构建出大规模推理分割数据集。

特点

该数据集以 MRI（48.6%）和 CT（27.3%）为主体，辅以 X 射线（9.9%）及其他模态，分布覆盖广泛。其核心特点在于将视觉分割任务与语言推理深度融合，每个样本均包含病灶掩码及对应的自然语言问答对，既支持传统分割模型训练，也可驱动多模态大语言模型进行基于推理的医学图像分析。数据规模庞大，图像-掩码-问答三元组数量近 54 万，为鲁棒模型训练奠定数据基础。

使用方法

用户可通过 Hugging Face Hub 直接下载数据集元数据及压缩包。使用 Python 的 `huggingface_hub` 库调用 `hf_hub_download` 函数即可获取文件，解压后利用 `datasets` 库加载，并通过 `cast_column` 方法将图像与掩码路径列转换为 PIL Image 对象，便于后续处理。数据集内置训练集划分，加载后可直接用于训练多模态分割模型，示例代码展示了从下载到数据加载的完整流程。

背景与挑战

背景概述

Med-ReasonSeg数据集诞生于医学图像分析与大语言模型交叉融合的前沿领域，由泰国朱拉隆功大学Biodat实验室的Titipat Achakulvisut研究团队于2026年构建，旨在解决医学图像分割与临床推理脱节的核心问题。该数据集巧妙地将分割任务转化为多模态问答范式，包含来自16个公开数据集、覆盖9种成像模态的539,383组图像-掩膜-问答三元组，其中MRI和CT影像占比超过75%。作为MICCAI 2026收录的MedFuse-Seg模型的关键训练资源，它首次将推理能力引入医学图像分割，推动模型从“感知病灶”向“理解病理”的范式跃迁，为可解释性临床决策支持系统奠定了数据基石。

当前挑战

该数据集面对的挑战呈现多维交织的特征。在领域问题层面，传统医学分割模型仅输出像素级掩膜，缺乏对病灶特征、病理机制及临床关联的语义推理能力，难以满足高精度诊疗中对“为何分割”的问责需求；数据构建层面则面临三重困境：16个异构数据源的标签体系归一化难题、多模态影像的解剖结构差异（如MRI与超声的空间分辨率跨度）、以及LLM自动生成问答时极易产生的逻辑幻觉。研究团队设计的两阶段LLM验证流水线虽有效抑制了虚假关联，但如何在保持掩膜语义保真度的同时进一步减少残余推理误差，仍是制约模型泛化至罕见病种的关键瓶颈。

常用场景

经典使用场景

Med-ReasonSeg作为医学图像推理分割领域的标杆性数据集，其经典使用场景在于驱动多模态大语言模型（MLLM）对医学影像进行语义理解与精细化分割。研究者可借助该数据集蕴含的53万余组图像-掩码-问答三元组，训练模型在解读胸部X光片、CT扫描或MRI图像时，不仅能精准勾勒病灶边界，还能依据临床逻辑生成可解释的文本推理过程，实现视觉特征与医学知识的深度交融。

衍生相关工作

该数据集催生了一系列具有影响力的学术工作，其中最典型的是MICCAI 2026收录的MedFuse-Seg模型，其创新性地融合多层级视觉特征与大语言模型引导的掩码解码机制。此外，基于Med-ReasonSeg的数据构建与验证管线，学者们开发了新的两阶段LLM筛选策略，有效缓解推理过程中的幻觉现象，并为后续跨模态医学推理任务的数据集设计提供了方法论范本。

数据集最近研究

最新研究方向

Med-ReasonSeg是当前生物医学图像分割领域迈向推理驱动范式的前沿代表性数据集。该数据集通过构建大规模图像-掩膜-问答三元组，融合九种影像模态，并采用两阶段大语言模型流水线保障逻辑一致性与减少幻觉，为多模态大模型在医疗图像中的可解释分割提供了坚实的数据基础。该研究方向紧扣医学影像智能分析对推理能力与临床可解释性的迫切需求，推动了将语言理解与视觉导航深度耦合的模型发展，如基于视觉特征注入与语言引导的MedFuse-Seg，有望提升辅助诊断系统中病灶定位与语义理解的协同性与可信度，在MICCAI 2026中引发广泛关注。