Med-Banana-50K

Med-Banana-50K是一个大规模、跨模态的医学图像编辑数据集，包含50,000张图像，涵盖三种医学影像模态（胸部X光、脑部MRI和眼底摄影）和23种疾病类型。该数据集通过先进的多模态模型从真实医学图像生成双向编辑（病变添加和移除），并采用基于医学标准的LLM评估和迭代优化方法确保数据质量。

Med-Banana-50K is a large-scale, cross-modal medical image editing dataset containing 50,000 images. It covers three medical imaging modalities: chest X-rays, brain MRIs, and fundus photography, as well as 23 disease categories. This dataset generates bidirectional edits (lesion addition and removal) from real medical images via advanced multimodal models, and ensures data quality through medical standard-based LLM evaluation and iterative optimization methods.

原始信息汇总

Med-Banana-50K 数据集概述

数据集简介

Med-Banana-50K是一个大规模、跨模态的医学图像编辑数据集，专门用于基于指令的医学图像编辑任务。该数据集包含约5万张成功编辑的图像和约3.7万次失败尝试的完整对话日志。

核心特征

• 数据规模：50K图像规模
• 模态覆盖：涵盖三种医学影像模态（胸部X光、脑部MRI、眼底摄影）
• 疾病类型：覆盖23种疾病类型
• 编辑类型：双向编辑（病灶添加和病灶移除）
• 质量保证：采用基于医学标准的LLM-as-Judge评估机制

数据生成方法

数据集通过利用先进的多模态模型从真实医学图像生成双向编辑：

• add_disease.py：基于文本指令向健康医学图像添加病理特征
• remove_disease.py：从病变医学图像中移除病理特征
• retry_failed.py：重新处理先前运行中的失败尝试

数据访问

• 数据样本：可在samples/目录中获取小规模数据样本
• 完整数据集：正在审核中，审核通过后将在Hugging Face平台发布

技术依赖

• Python 3.8+
• Google AI API密钥（需配置为环境变量）

许可信息

• 代码采用MIT许可证
• 生成图像采用CC BY 4.0许可证
• 元数据采用ODC-By 1.0许可证

数据来源

• MIMIC-CXR（胸部X光样本来源）
• Brain Tumor MRI Dataset（脑部MRI样本来源）
• ODIR-5K（眼底样本来源）

引用格式

bibtex @article{medbanana2024, title={Med-Banana-50K: A Large-Scale Cross-Modality Dataset for Medical Image Editing}, author={Anonymous Authors}, journal={arXiv preprint arXiv:XXXX.XXXXX}, year={2024} }

搜集汇总

数据集介绍

构建方式

在医学影像编辑领域，高质量数据集的构建对推动多模态模型发展至关重要。Med-Banana-50K通过整合胸部X光、脑部MRI和眼底摄影三大模态的原始医学影像，采用前沿多模态模型生成双向病理编辑指令数据。其核心创新在于引入基于大型语言模型的医学质量评估框架，通过指令依从性、结构合理性、真实度与保真度四维评价体系，结合历史感知的迭代优化机制，最终从近九万次生成中筛选出五万组符合临床标准的优质样本。

特点

该数据集显著特征体现在其规模性与专业性双重维度。作为涵盖23类疾病、五万组影像的跨模态资源，其每组数据均包含原始影像、编辑指令及生成结果的三元组结构。独特之处在于完整保留了约三万七千次失败案例的对话日志，为研究模型决策边界提供珍贵线索。数据集严格遵循解剖学约束与临床规范，所有样本均经过专业医学质量验证，确保病理编辑的生物学合理性与影像真实性。

使用方法

研究人员可通过官方提供的模块化代码管道快速部署数据生成环境。核心脚本支持病理添加与消除双路径操作，用户需预先配置Google AI API密钥环境变量。典型应用场景包括指定目标疾病类型与影像模态后执行命令行指令，如对胸部X光影像进行气胸病理编辑。生成结果采用标准化目录结构，配套的失败重处理机制可有效提升数据产出效率，为医学影像生成模型的训练与评估提供完整技术支撑。

背景与挑战

背景概述

医学影像编辑作为医疗人工智能领域的前沿方向，其发展受限于高质量标注数据的稀缺性。2024年推出的Med-Banana-50K数据集由匿名研究团队构建，旨在解决多模态大语言模型在医学影像编辑中面临的解剖结构与临床约束难题。该数据集涵盖胸部X光、脑部MRI和眼底摄影三种模态，包含23类疾病的双向编辑样本，通过引入基于医学知识的质量评估体系，为医学影像生成任务建立了新的基准。

当前挑战

医学影像编辑需同时满足指令依从性、结构合理性与临床真实性等多重约束，传统生成模型常因忽视解剖学一致性而产生非生理性伪影。在数据构建过程中，研究团队通过迭代优化机制处理了约37千次生成失败案例，其挑战既体现在跨模态病理特征的语义对齐，也反映在医学先验知识与生成模型的深度融合。

常用场景

经典使用场景

在医学影像分析领域，Med-Banana-50K数据集通过整合胸部X光、脑部MRI和眼底摄影三种模态，为基于指令的医学图像编辑提供了标准化实验平台。该数据集支持病灶添加与移除的双向编辑任务，研究人员能够利用其大规模标注数据训练多模态大语言模型，验证模型在保持解剖结构一致性和临床合理性方面的性能。这种设计使得该数据集成为评估医学图像生成与编辑算法效果的基准工具。

实际应用

在临床实践层面，该数据集支撑的智能编辑系统可辅助医生进行病理模拟教学与手术规划。通过生成特定病灶的影像变异体，能够增强诊断模型的鲁棒性训练。在医疗教育领域，这些可控生成的病例影像为医学生提供了丰富的罕见病学习资源。此外，基于该数据集的合成技术还能在保护患者隐私的前提下，为医学研究机构提供符合伦理规范的数据扩充方案。

衍生相关工作

该数据集的发布催生了多个医学图像生成领域的创新研究。基于其构建的基准测试框架已被应用于评估各类扩散模型与生成对抗网络的临床适用性。部分研究团队借鉴其质量评估范式，开发了针对特定器官的精细化编辑算法。更有工作将其与电子健康记录系统结合，探索了多模态医学数据的协同建模方法，推动了临床决策支持系统的智能化发展。