3DReasonKnee

3DReasonKnee是首个用于医学图像的3D基础推理数据集，专门为分析3D膝关节MRI数据的多模态视觉语言模型设计。该数据集包含494,000个高质量的五元组，每个五元组包括3D MRI体积、针对特定解剖区域的诊断问题、精确定位相关解剖结构的3D边界框、临床医生生成的诊断推理步骤以及相关解剖区域的结构化严重性评估。

3DReasonKnee is the first 3D foundational reasoning dataset dedicated to medical imaging, specially tailored for multimodal vision-language models tasked with analyzing 3D knee MRI data. This dataset contains 494,000 high-quality quintuples, each consisting of a 3D MRI volume, a diagnostic question targeting a specific anatomical region, a 3D bounding box that precisely locates the relevant anatomical structure, diagnostic reasoning steps generated by clinicians, and a structured severity assessment of the corresponding anatomical region.

原始信息汇总

3DReasonKnee数据集概述

数据集简介

3DReasonKnee是首个针对医学图像的3D基础推理数据集，专为分析3D膝关节MRI数据的多模态视觉语言模型设计。数据集框架处理体积MRI数据，提取视觉嵌入，并执行与膝关节状况和诊断相关的复杂推理任务。

数据集详情

• 数据规模：494,000个高质量五元组，源自7,970个3D膝关节MRI体积
• 五元组内容：
  1. 3D MRI体积
  2. 针对特定解剖区域的诊断问题
  3. 精确定位相关解剖结构的3D边界框
  4. 临床医生生成的诊断推理步骤（详细说明3D推理过程）
  5. 相关解剖区域的结构化严重程度评估
• 专家投入：超过450小时的临床专家时间用于手动分割MRI和生成推理链

ReasonKnee-Bench评估基准

• 评估内容：
  • 定位准确性
  • 诊断准确性
• 评估目标：提供关于视觉语言模型在不同解剖区域和诊断查询中执行基础和严重程度评估能力的新见解

数据集访问

• 访问地址：https://huggingface.co/datasets/rajpurkarlab/3DReasonKnee

引用信息

bibtex @article{3DReasonKnee2025, title={3DReasonKnee: A Dataset for Advancing Grounded Reasoning in Medical Vision Language Models}, author={Sraavya Sambara, Sung Eun Kim, Xiaoman Zhang, Luyang Luo, Shreya Johri, Mohammed Baharoon, Du Hyun Ro, Pranav Rajpurkar}, journal={arXiv preprint}, year={2025} }

联系方式

如有问题或咨询，请在本存储库中提交issue或直接联系我们。

搜集汇总

数据集介绍

构建方式

在医学影像分析领域，3DReasonKnee数据集通过严谨的临床合作构建而成。研究团队采集了7,970例3D膝关节MRI容积数据，由临床专家耗时超过450小时进行精细标注，形成了494,000组高质量五元组数据。每组数据包含3D MRI容积、针对特定解剖区域的诊断问题、精确的3D边界框定位、临床医生撰写的诊断推理步骤以及结构化严重程度评估，确保了数据的临床准确性和三维空间推理价值。

使用方法

该数据集支持端到端的医学视觉语言模型开发流程。用户可通过Hugging Face平台获取原始数据，利用提供的预处理脚本将3D MRI转换为嵌入表示。代码库包含完整的微调流程，支持Qwen2.5-VL-3B等模型的训练与推理。对于零样本评估，数据集提供标准化的测试接口，允许研究者对比不同模型在定位准确率和诊断准确率等维度上的表现，基准测试涵盖有监督微调和零样本学习两种范式。

背景与挑战

背景概述

3DReasonKnee数据集由Rajpurkar实验室团队于2025年推出，标志着医学视觉语言模型领域在三维影像分析方面的重要突破。该数据集聚焦于膝关节核磁共振影像的三维推理任务，旨在解决传统二维医学影像分析在空间维度上的局限性。通过整合7,970例三维膝关节MRI数据和494,000组高质量五元组数据，研究团队构建了一个包含解剖结构定位、诊断问题、临床推理链条和严重程度评估的综合性框架。该数据集的创建凝聚了450余小时临床专家的标注工作，为开发能够理解三维医学影像空间关系的智能诊断系统奠定了重要基础，对推动精准医疗和计算机辅助诊断技术的发展具有深远意义。

当前挑战

3DReasonKnee数据集面临的核心挑战主要体现在两个维度。在领域问题层面，如何准确建模三维医学影像中复杂的空间关系，并实现解剖结构定位与诊断推理的协同优化，构成了该领域的关键技术瓶颈。数据构建过程中，研究团队需要克服三维医学影像标注的高复杂度挑战，包括精确的体素级定位标注、符合临床逻辑的多步推理链条构建，以及跨模态数据对齐等问题。此外，确保不同医疗机构采集的MRI数据在分辨率和成像参数上的标准化处理，也是保证数据集质量的重要技术难点。这些挑战的解决直接关系到模型在真实临床场景中的泛化能力和可靠性。

常用场景

经典使用场景

在医学影像分析领域，3DReasonKnee数据集为研究多模态视觉语言模型提供了独特的实验平台。该数据集通过整合3D膝关节MRI影像与结构化诊断问题，支持模型进行三维空间定位与复杂临床推理的联合训练，尤其适用于探索深度学习模型在解剖结构识别与病理严重程度评估方面的性能边界。其精心设计的五元组数据结构（影像-问题-定位框-推理链-评估结果）为模型提供了端到端学习的完整闭环。

解决学术问题

该数据集有效解决了医学人工智能领域三个关键挑战：三维解剖结构的精确空间定位、基于多步临床推理的决策过程建模，以及影像特征与文本描述的跨模态对齐。通过提供专家标注的3D边界框和诊断推理链，研究者能够定量评估模型在保持解剖学准确性的同时完成复杂临床任务的能力，这对推动可解释医疗AI的发展具有里程碑意义。

实际应用

在临床实践场景中，3DReasonKnee支持的模型可辅助放射科医生完成膝关节病变的初步筛查，通过自动生成定位标注和诊断建议显著提升阅片效率。其三维推理能力特别适用于半月板损伤、软骨退化等需要立体空间分析的常见膝关节疾病，有望成为医学教育中的智能辅助工具和基层医院的决策支持系统。

数据集最近研究

最新研究方向

在医学影像分析领域，3DReasonKnee数据集的推出为多模态视觉语言模型在三维膝关节MRI数据分析中的推理能力提供了新的研究范式。该数据集通过整合三维MRI体积、诊断问题、精确的解剖结构定位框、临床推理步骤及结构化严重性评估，为模型的三维空间推理和诊断准确性研究奠定了坚实基础。当前研究热点集中在探索视觉语言模型在解剖区域定位精度和诊断准确性方面的性能优化，特别是在零样本学习和微调策略上的创新应用。3DReasonKnee不仅推动了医学影像分析技术的边界，还为临床决策支持系统的智能化发展提供了重要数据支撑，其影响正逐步渗透到远程医疗和精准诊断等前沿应用场景。