3D-RAD

3D-RAD是一个大规模数据集，旨在推动3D医学视觉问答（Med-VQA）领域的发展，使用了放射学CT扫描。该数据集包含六种多样化的VQA任务，支持开放和封闭式问题，并引入复杂的推理挑战，包括计算任务和多阶段时间分析，以实现全面基准测试。数据集遵循数据使用规定和伦理考虑，利用强大的大型语言模型进行标注，并通过严格的一致性检查确保高质量标注。此外，我们还提供了一个训练子集，以展示模型在3D诊断任务上的性能提升。3D-RAD is a large-scale dataset intended to advance the field of 3D medical visual question answering (Med-VQA), which utilizes radiological CT scans. The dataset includes six diverse VQA tasks, supporting both open-ended and closed-ended questions, and incorporates complex reasoning challenges including computational tasks and multi-stage temporal analysis for comprehensive benchmarking. It adheres to data usage regulations and ethical considerations, employs powerful large language models for annotation, and ensures high-quality annotations through strict consistency checks. Additionally, a training subset is provided to showcase the performance improvements of models on 3D diagnostic tasks.

搜集汇总

数据集介绍

构建方式

3D-RAD数据集的构建采用了半自动化流程，结合了放射学报告解析、专家标注和时间序列病例匹配。通过利用大型语言模型（如GPT-4o-mini）生成问答对，并经过严格的自动评分和人工验证流程，确保了数据的高质量。数据集涵盖了六种不同的视觉问答任务，包括异常检测、图像观察、医学计算等，每种任务均通过多阶段验证确保标注的准确性和一致性。

特点

3D-RAD数据集以其多样性和复杂性著称，涵盖了18种疾病和六种不同的视觉问答任务，支持开放式和封闭式问题。其独特之处在于引入了多时间分析和复杂推理任务，如医学计算和纵向时间诊断，为3D医学视觉问答提供了全面的基准测试平台。此外，数据集还包含136,195个专家对齐的训练样本，显著提升了模型性能。

使用方法

3D-RAD数据集的使用方法包括零样本评估和微调评估两种设置。在零样本评估中，模型仅接收任务提示而不进行上下文示例训练，以测试其泛化能力。在微调评估中，模型通过在3D-RAD-T训练子集上进行监督适应，显著提升性能。数据集支持多种评估指标，如BLEU、ROUGE和BERTScore，适用于开放性和封闭性任务的全面性能分析。

背景与挑战

背景概述

3D-RAD是由浙江大学的研究团队于2025年提出的一个大规模医学视觉问答（Med-VQA）数据集，专注于利用放射学CT扫描推进三维医学视觉问答研究。该数据集由Xiaotang Gai、Jiaxiang Liu等研究人员开发，旨在解决现有Med-VQA数据集主要局限于二维图像和有限任务多样性的问题。3D-RAD包含六个不同的VQA任务：异常检测、图像观察、医学计算、存在检测、静态时间诊断和纵向时间诊断，支持开放性和封闭性问题，并引入复杂的推理挑战，如计算任务和多阶段时间分析。该数据集的发布为三维医学视觉理解研究提供了可靠的资源，推动了多模态医学人工智能研究的发展。

当前挑战

3D-RAD面临的挑战主要包括两个方面：领域问题的挑战和构建过程中的挑战。在领域问题方面，3D-RAD旨在解决三维医学图像理解中的复杂推理问题，特别是多时间分析和多样化的诊断任务，这些任务在现有数据集中未被充分涵盖。构建过程中的挑战包括：1) 从三维CT扫描中提取关键体积细节的复杂性；2) 设计真实世界临床场景中的复杂推理任务，如医学计算和时间分析；3) 确保数据集的大规模和高粒度，以支持全面的疾病分析；4) 通过专家对齐的样本和严格的质量控制流程保证数据标注的高质量。这些挑战使得3D-RAD成为一个具有高度临床相关性和研究价值的基准数据集。

常用场景

经典使用场景

3D-RAD数据集在医学视觉问答（Med-VQA）领域中被广泛用于评估和提升模型在三维CT扫描图像上的多任务诊断能力。其经典使用场景包括异常检测、图像观察、医学计算、存在性检测、静态时间诊断和纵向时间诊断。通过提供丰富的三维医学图像和多样化的问答任务，3D-RAD为研究者提供了一个全面的基准，用于测试模型在复杂临床环境中的表现。

实际应用

在实际应用中，3D-RAD数据集被用于开发自动化诊断系统、临床决策支持工具以及医学教育平台。其多时间分析功能特别适用于跟踪疾病进展和治疗效果评估，帮助医生在复杂病例中做出更准确的诊断。此外，该数据集的高质量标注和多样化任务使其成为训练和验证医学视觉语言模型的理想选择。

衍生相关工作

3D-RAD数据集衍生了一系列经典研究工作，包括基于该数据集开发的M3D-RAD模型，该模型通过微调显著提升了在三维医学视觉问答任务中的性能。此外，该数据集还激发了多时间分析、医学计算和异常检测等领域的新方法研究，推动了医学人工智能技术的进步。