3D-RAD

3D-RAD数据集是为了推动3D医学视觉问答（Med-VQA）的发展而设计的大规模数据集。该数据集利用放射学CT扫描，包含六个多样化的视觉问答任务：异常检测、图像观察、医疗计算、存在性检测、静态时间诊断和纵向时间诊断。数据集包含预处理的3D CT体积数据，以及按任务分类的问题-答案（QA）对。每个QA对包含与CT体积相关的文件名、自然语言问题、真实答案、问题类型以及对于封闭问题的正确选项和候选选项。The 3D-RAD dataset is a large-scale dataset designed to advance the field of 3D medical visual question answering (Med-VQA). It leverages radiological CT scans and includes six diverse visual question answering tasks: anomaly detection, image observation, medical calculation, existence detection, static temporal diagnosis, and longitudinal temporal diagnosis. The dataset contains preprocessed 3D CT volumetric data, as well as task-categorized question-answer (QA) pairs. Each QA pair includes the file name corresponding to the associated CT volume, natural language questions, ground-truth answers, question types, and, for closed-ended questions, the correct options and candidate options.

原始信息汇总

3D-RAD数据集概述

数据集基本信息

• 许可证: Apache-2.0
• 用途: 用于3D医学视觉问答（Med-VQA）研究，基于放射学CT扫描
• 相关论文: "3D-RAD: A Comprehensive 3D Radiology Med-VQA Dataset with Multi-Temporal Analysis and Diverse Diagnostic Tasks"

数据集内容

数据组成

• 图像数据:

  • 格式: .npy格式的预处理3D CT体积
  • 位置: Images/文件夹
  • 用途: 作为所有任务的标准化模型输入

• 问答对数据:

  • 位置: train/和test/文件夹
  • 内容: 按任务分类的问答对
    • 训练数据: train/
    • 评估数据: test/

任务类型

1. 异常检测（任务1）
2. 图像观察（任务2）
3. 医学计算（任务3）
4. 存在检测（任务4）
5. 静态时间诊断（任务5）
6. 纵向时间诊断（任务6）

字段说明

• VolumeName: 关联的CT体积文件名（与Images/中的文件匹配）
• Question: 自然语言问题
• Answer: 真实答案
• QuestionType: 问题类型（open或closed）
• AnswerChoice: 封闭问题的正确选项（A/B/C/D）
• Choice A–Choice D: 封闭问题的候选选项

相关资源

• 代码库: M3D-RAD_Code
• 模型: M3D-RAD_Models

数据来源

• 原始CT扫描来源: CT-RATE
• 许可证遵守: 遵循CC-BY-NC-SA许可证，仅用于非商业学术研究并提供适当署名

相关模型

模型名称	资源链接	论文链接
RadFM	GitHub	GitHub
M3D	GitHub	-
OmniV	未开放	-

搜集汇总

数据集介绍

构建方式

在医学影像分析领域，3D-RAD数据集通过整合来自CT-RATE数据源的原始三维CT扫描数据，构建了一个大规模多任务医学视觉问答资源。该数据集采用系统化预处理流程，将CT体积转换为标准化的.npy格式，确保数据兼容性与模型输入一致性。构建过程中，研究团队依据临床诊断需求设计了六类问答任务，涵盖异常检测、影像观察、医学计算等维度，并通过人工标注与专家验证相结合的方式生成高质量问答对，为三维医学视觉语言理解研究奠定了坚实基础。

特点

该数据集显著特点在于其多维任务架构与时间序列分析能力。它不仅包含静态诊断任务，还创新性地引入了双时间维度分析模块，支持纵向时序推理与静态时序诊断。数据集提供的问答对兼具开放性与封闭性题型，其中封闭式问题配备四选一选项体系，有效模拟临床决策场景。每个数据样本均关联特定CT体积文件，并标注问题类型与答案选项，形成结构化多模态数据生态，为开发通用型放射学基础模型提供丰富语义层次与诊断逻辑。

使用方法

研究人员可通过标准化数据接口快速部署该数据集，图像数据存储于Images目录的.npy文件中，可直接输入视觉编码器。训练与测试集按任务类别分层组织，用户可根据VolumeName字段实现CT体积与问答对的精准匹配。对于模型训练，建议采用多任务学习框架同步处理六类诊断问题，利用QuestionType字段动态调整损失函数。评估阶段可通过对比模型预测答案与Answer字段的ground truth，全面衡量模型在三维医学视觉推理任务中的泛化能力。

背景与挑战

背景概述

随着医学影像与人工智能的深度融合，三维医学视觉问答（Med-VQA）成为辅助临床诊断的重要研究方向。3D-RAD数据集由研究团队于2023年创建，基于CT-RATE数据源构建，专注于通过计算机断层扫描（CT）三维体积数据实现多任务医学问答。该数据集涵盖异常检测、影像观察、医学计算等六大诊断任务，通过多时序分析推动放射学智能诊断系统的演进，为构建通用型放射学基础模型提供了关键数据支撑。

当前挑战

在医学视觉问答领域，三维空间特征提取与多模态语义对齐构成核心挑战。3D-RAD需解决三维CT序列中病灶的时空动态变化建模问题，同时应对医学专业术语与视觉特征的细粒度关联难题。数据构建过程中面临多中心CT数据标准化处理的复杂性，需确保不同扫描仪参数的兼容性；在标注环节则需克服放射科医生跨任务标注的一致性维护，以及多时序数据中病理演变轨迹的精确标注等困难。

常用场景

经典使用场景

在医学影像分析领域，3D-RAD数据集通过整合多时相CT扫描与多样化诊断任务，为三维医学视觉问答研究提供了标准化基准。该数据集支持六类核心任务，包括异常检测、影像观察和时序诊断等，使研究人员能够系统评估模型在复杂临床场景下的推理能力。其结构化数据格式与任务分类体系，为跨模态医学人工智能研究建立了统一验证框架。

实际应用

在临床实践中，3D-RAD数据集支撑的模型可应用于智能影像诊断系统，辅助放射科医生进行病灶定位与病程追踪。其多时相分析能力特别适用于肿瘤演进监测与术后评估场景，通过自动化问答交互降低诊断工作负荷。该技术还可整合至医学教育平台，为医学生提供基于真实病例的交互式学习环境。

衍生相关工作

基于3D-RAD数据集已衍生出多项突破性研究，如RadFM模型通过融合二维与三维医学数据构建通用放射学基础模型。M3D项目则探索了多模态大语言模型在三维医学影像分析中的迁移能力。这些工作共同推动了医学视觉-语言模型的架构创新，为构建端到端的智能诊断系统开辟了新路径。