GoodBaiBai88/M3D-Cap

M3D-Cap是一个大规模的3D医学多模态数据集，包含12万对图像-文本对。数据集主要包含3D CT图像和对应的英文报告，报告内容由Radiopaedia平台的专家审核。数据集分为ct_case和ct_quizze两个主要文件夹，分别用于常规病例和医学考试。每个文件夹包含图像和文本子文件夹，图像文件夹包含3D图像的多个2D切片，文本文件提供与3D图像对应的英文报告描述，包括异常类型、病变位置等。数据集支持图像-文本检索、报告生成和图像生成等多模态任务。数据集格式为M3D_Cap文件夹下的ct_case和ct_quizze子文件夹，每个子文件夹包含图像和文本文件。数据集总大小约为978G，提供了数据预处理代码和数据集加载方法。数据集分割通过JSON文件进行，分为训练集、验证集和多个测试集。数据集的所有图像和报告均为公开数据，并提供了引用信息。

M3D-Cap is a large-scale 3D medical multimodal dataset containing 120,000 image-text pairs. This dataset primarily includes 3D CT images and their corresponding English reports, the contents of which are reviewed by experts from the Radiopaedia platform. The dataset is divided into two main folders: ct_case and ct_quizze, which are used for routine medical cases and medical examinations respectively. Each folder contains subfolders for images and texts: the image subfolder holds multiple 2D slices of the 3D images, while the text files provide English report descriptions matching the 3D images, covering details such as abnormality types and lesion locations. This dataset supports multimodal tasks including image-text retrieval, report generation, and image generation. The dataset is structured with ct_case and ct_quizze subfolders under the root M3D_Cap directory, with each subfolder containing image and text files. The total size of the dataset is approximately 978 GB, and preprocessing code and dataset loading methods are provided. The dataset is split into training, validation, and multiple test sets via JSON files. All images and reports in the dataset are publicly accessible, and relevant citation information is also provided.

原始信息汇总

数据集概述

数据集描述

M3D-Cap是一个大规模的3D医学多模态数据集，包含120K图像-文本对。该数据集从公开可访问的专业医疗网站Radiopaedia收集，每个病例包含多个3D图像和相应的报告，这些报告已经过专家审核。

数据集结构

数据集分为两个主要文件夹：ct_case和ct_quizze。每个文件夹包含图像和文本的子文件夹。图像文件夹包含3D图像的多个2D切片，文本文件提供与3D图像对应的英文报告描述，包括异常类型、病变位置等。

数据格式

plaintext M3D_Cap/ ct_case/ 000006/ Axial_non_contrast/ 0.jpeg 1.jpeg ...... text.txt ...... ct_quizze/ 000007/ Axial_non_contrast/ 0.png 1.png ...... text.txt ...... ......

数据文件

• M3D_Cap.json: 提供数据集分割信息。
• data_examples: 提供24组3D图像和文本数据的示例。
• M3D_Cap: 包含完整数据集。
• m3d_cap_data_prepare.py: 提供数据预处理代码，包括图像归一化、从2D切片堆叠3D图像、图像裁剪和有效文本提取。

支持的任务

M3D-Cap支持3D医学场景中的多模态任务，如图像-文本检索、报告生成和图像生成。

数据集下载

数据集总大小约为978G。完整数据集位于M3D_Cap文件夹中。

下载方法

• HTTP克隆: bash git clone https://huggingface.co/datasets/GoodBaiBai88/M3D-Cap

• SDK下载: python from datasets import load_dataset dataset = load_dataset("GoodBaiBai88/M3D-Cap")

• 手动下载: 建议使用批量下载工具手动下载所有文件。

数据集加载方法

预处理

根据m3d_cap_data_prepare.py预处理数据集，包括：

• 从每个文件夹的2D切片堆叠3D图像，并按图像文件名命名（保留平面和相位信息），保存为npy文件。
• 图像归一化和裁剪。
• 从数据集中的文本报告中过滤和提取高质量描述。

构建数据集示例

python class CapDataset(Dataset): def init(self, args, tokenizer, mode="train"): # 初始化代码省略

def __len__(self):
    return len(self.data_list)

def __getitem__(self, idx):
    # 数据加载和处理代码省略

数据分割

整个数据集使用JSON文件进行分割，可以分为train, validation, test100, test500, test1k, test，其中test子集包含2k样本。考虑到测试成本，我们提供了不同样本大小的测试集，包括100、500、1k和2k样本。

引用

如果使用此数据集，请引用以下作品： BibTeX @misc{bai2024m3d, title={M3D: Advancing 3D Medical Image Analysis with Multi-Modal Large Language Models}, author={Fan Bai and Yuxin Du and Tiejun Huang and Max Q. -H. Meng and Bo Zhao}, year={2024}, eprint={2404.00578}, archivePrefix={arXiv}, primaryClass={cs.CV} } @misc{du2024segvol, title={SegVol: Universal and Interactive Volumetric Medical Image Segmentation}, author={Yuxin Du and Fan Bai and Tiejun Huang and Bo Zhao}, year={2024}, eprint={2311.13385}, archivePrefix={arXiv}, primaryClass={cs.CV} }

搜集汇总

背景与挑战

背景概述

M3D-Cap是一个包含12万对3D医学图像-文本对的大规模数据集，支持图像-文本检索、报告生成等多模态任务，数据来源于公开医学网站Radiopaedia，经过专家审核，总大小约978G。