TextBraTS

TextBraTS是一个开放访问的数据集，旨在推进文本引导的3D脑肿瘤分割研究。它包括配对的多模态脑部MRI扫描和专家注释的放射学报告，支持开发和评估在神经肿瘤学中连接视觉和语言的多模态深度学习模型。

TextBraTS is an open-access dataset designed to advance text-guided 3D brain tumor segmentation research. It includes paired multimodal brain MRI scans and expert-annotated radiology reports, enabling the development and evaluation of multimodal deep learning models that bridge vision and language in neuro-oncology.

原始信息汇总

TextBraTS 数据集概述

数据集简介

TextBraTS 是一个开源的文本-图像配对数据集，专注于推动文本引导的3D脑肿瘤分割研究。该数据集包含多模态脑部MRI扫描和专家标注的放射学报告，支持开发评估连接视觉与语言的神经肿瘤学多模态深度学习模型。相关论文已被MICCAI 2025接收。

核心特征

• 多模态MRI数据：包含BraTS20挑战赛训练集的T1、T1ce、T2、FLAIR序列及专家标注分割结果
• 结构化放射报告：每个病例配备专业放射学文本描述
• 文本-图像对齐方法：支持多模态融合研究

应用场景

• 文本引导分割模型的开发与基准测试
• 医学影像多模态融合算法评估
• 语言驱动医学AI研究

数据获取

1. MRI图像：需从BraTS 2020官网下载训练集
2. 文本特征文件：通过TextBraTSData下载
3. 数据合并：使用merge.py脚本将文本数据与MRI数据合并

模型相关

• 预训练权重：checkpoint
• 推理命令：python test.py --pretrained_dir=/path/to/weights/ --exp_name=TextBraTS
• 训练命令：python main.py --distributed --use_ssl_pretrained --save_checkpoint --logdir=TextBraTS
• Swin UNETR预训练权重：下载链接

引用格式

bibtex @inproceedings{shi2025textbrats, title = {TextBraTS: Text-Guided Volumetric Brain Tumor Segmentation...}, author = {Shi, Xiaoyu et al.}, booktitle = {MICCAI}, year = {2025}, note = {to appear} }

搜集汇总

数据集介绍

构建方式

TextBraTS数据集基于BraTS20挑战赛的训练集构建，整合了多模态3D脑部MRI扫描数据与专业标注的放射学报告。通过严格的医学影像筛选流程，研究团队将T1、T1ce、T2和FLAIR四种序列的影像数据与结构化文本报告精确配对，并开发了专用的文本-影像对齐算法。数据集构建过程中采用了医学影像专家双重校验机制，确保分割标注与文本描述的临床一致性，最终形成包含完整病例的标准化数据单元。

特点

该数据集的核心价值在于开创性地实现了医学影像与文本描述的深度融合，其特点主要体现在三维空间信息与语义特征的有机结合。每例数据包含四种标准MRI序列的完整体数据、专家标注的肿瘤分割掩膜，以及符合放射学规范的诊断报告文本。独特的跨模态对齐设计使研究者能够探索文本引导的分割范式，为多模态医学AI模型开发提供了标准化评估基准。数据样本均经过去标识化处理，符合医学伦理规范。

使用方法

使用TextBraTS需先通过BraTS官方渠道获取原始MRI数据，再与本项目提供的文本特征文件进行合并。数据集支持端到端的多模态研究流程，用户可通过修改Train.json和Test.json文件自定义数据划分方案。项目提供完整的模型训练框架和预训练权重，支持分布式训练与迁移学习。研究者可基于main.py脚本开发新型融合算法，或通过test.py快速验证模型性能，配套的MONAI环境配置方案确保了实验的可复现性。

背景与挑战

背景概述

TextBraTS数据集由Xiaoyu Shi等研究人员于2025年提出，旨在推动基于文本引导的三维脑肿瘤分割研究。该数据集整合了BraTS20挑战赛中的多模态脑部MRI扫描数据与专业标注的放射学报告，为神经肿瘤学领域的视觉-语言多模态融合研究提供了重要资源。作为MICCAI会议收录成果，其创新性体现在首次实现了医学影像与结构化文本的精确对齐，为开发可解释性强的医学人工智能系统奠定了基础。该数据集的发布显著促进了跨模态医学图像分析领域的发展，特别是在语言驱动诊断系统的研究方向上具有里程碑意义。

当前挑战

在解决脑肿瘤分割这一核心问题上，TextBraTS面临多模态特征对齐的挑战，包括如何有效融合高维影像特征与语义丰富的文本特征。数据构建过程中，研究者需克服医学文本标注的专业壁垒，确保放射学报告与影像数据的时空一致性。技术层面存在三维体数据与二维文本嵌入的维度不匹配问题，以及小样本情况下多模态表征学习的稳定性难题。数据集整合时还需严格遵循BraTS官方数据规范，保持与原始MRI数据的兼容性，这对数据预处理流程设计提出了较高要求。

常用场景

经典使用场景

在神经肿瘤学领域，TextBraTS数据集为研究者提供了一个独特的平台，用于探索文本引导的三维脑肿瘤分割技术。该数据集整合了多模态脑部MRI扫描与专业标注的放射学报告，使得研究者能够开发并评估融合视觉与语言信息的深度学习模型。通过这种多模态数据，研究者可以更精确地定位和分割脑肿瘤区域，为临床诊断和治疗规划提供有力支持。

解决学术问题

TextBraTS数据集解决了医学影像分析中的关键问题，特别是在多模态数据融合和文本引导分割方面。传统方法主要依赖单一的影像数据，而TextBraTS通过引入放射学报告文本，为模型提供了丰富的语义信息，从而显著提升了分割的准确性和可解释性。这一突破不仅推动了医学影像与自然语言处理的交叉研究，也为临床决策提供了更可靠的辅助工具。

衍生相关工作

基于TextBraTS数据集，研究者们已衍生出多项经典工作。例如，一些研究专注于改进文本与影像的融合算法，提出了新型的多模态注意力机制；另一些研究则探索了如何利用预训练语言模型增强分割性能。这些工作不仅丰富了多模态医学影像分析的学术成果，也为后续研究提供了重要的技术参考。