RJUA-MedDQA

一个全面的医学专业基准，用于解决多种挑战，包括全面解释各种复杂布局中的图像内容，具备数值推理能力以识别异常指标，并展示临床推理能力，根据医学上下文提供疾病诊断、状态和建议的陈述。

A comprehensive medical professional benchmark designed to address multiple core challenges: comprehensively interpreting image content across diverse complex layouts, possessing numerical reasoning capabilities to detect abnormal clinical indicators, and demonstrating clinical reasoning proficiency to generate statements covering disease diagnoses, clinical statuses, and clinical recommendations based on medical context.

搜集汇总

数据集介绍

构建方式

RJUA-MedDQA数据集的构建方式涵盖了从真实世界中国医疗报告图像中抽取的2000个图像。这些图像包括照片、扫描的PDF和屏幕截图，反映了现实世界中的多样性和复杂性。数据集的构建过程分为三个阶段：第一阶段是使用高效结构恢复标注（ESRA）方法对OCR结果进行结构恢复；第二阶段是设计标注指南并上传图像和图像文本到在线平台；第三阶段是使用自动生成器生成最终数据集。ESRA方法通过将文本内容恢复为结构化文本，显著提高了标注效率并减少了人工标注错误。

特点

RJUA-MedDQA数据集的特点在于其多样性、复杂性和现实性。数据集包含了不同类型的图像，包括照片、扫描的PDF和屏幕截图，这些图像具有多样的布局和质量。数据集涵盖了实验室报告和诊断报告，涉及超过334种不同的疾病和诊断。此外，数据集还包含了基于临床经验的上下文推理标注，以及一个事实库，包括疾病的诊断、状态和治疗建议。这些特点使得RJUA-MedDQA成为一个具有挑战性和实用性的多模态医疗文档理解基准。

使用方法

使用RJUA-MedDQA数据集的方法包括两个主要任务：非上下文QA在报告理解和上下文QA在临床推理。对于非上下文QA，模型需要根据报告预测问题的答案，这需要对文本和表格内容进行解释。对于上下文QA，模型需要根据问题和提供的事实或证据来回答问题，这需要对视觉和语言模态进行逻辑推理。此外，数据集还提供了一个基于知识图谱的问答生成器，可以根据标注结果生成各种难度的问题，从而提高数据集的多样性和可定制性。

背景与挑战

背景概述

随着大语言模型（LLMs）和大多模态模型（LMMs）在医疗领域的应用日益广泛，如智能医疗诊断，现有的基准数据集已无法充分反映真实医疗报告的复杂性以及对深入推理能力的需求。为解决这一问题，来自中国上海仁济医院的泌尿外科专家团队与蚂蚁集团的研究人员共同构建了RJUA-MedDQA数据集，旨在为医疗报告的多模态理解提供一个全面的基准。该数据集包含2000张真实的中文医疗报告图像，涵盖了各种具有挑战性的布局，要求模型具备全面理解图像内容、识别异常指标并进行临床推理的能力。RJUA-MedDQA的创建不仅为医疗领域的多模态文档理解研究提供了新的视角，也为医疗健康领域的实际应用提供了有力支持。

当前挑战

RJUA-MedDQA数据集在构建过程中面临了诸多挑战。首先，医疗报告的多样性和复杂性要求模型具备强大的图像内容理解能力，尤其是在处理各种布局和低质量图像时。其次，数据集构建过程中需要解决的问题包括如何高效准确地标注图像中的文本和表格内容，以及如何生成包含上下文推理的问答对。为了解决这些问题，研究团队提出了高效结构恢复标注（ESRA）方法，该方法能够有效地恢复医学报告图像中的文本和表格内容，显著提高了标注效率并提升了准确性。此外，数据集的构建还包括一个基于医疗知识的同义词感知问答生成器，能够生成各种难度的问答对，以评估模型在不同任务上的表现。尽管RJUA-MedDQA为医疗领域的多模态理解研究提供了宝贵的数据资源，但现有的大多模态模型在处理复杂的推理任务时仍然面临挑战，尤其是在跨实例理解和逻辑推理方面。因此，如何进一步提升模型在临床推理任务上的表现，以及如何应对低质量图像带来的挑战，仍然是未来研究的重要方向。

常用场景

经典使用场景

RJUA-MedDQA数据集为医学文档问答和临床推理提供了一个多模态基准，它包含了2000个真实世界的中文医学报告图像。这些图像具有各种具有挑战性的布局，包括文本和表格信息。该数据集旨在全面解释图像内容，识别异常指标并展示基于一系列医学背景的疾病诊断、状态和建议。RJUA-MedDQA数据集的经典使用场景包括但不限于：1. 训练和评估多模态模型在医学文档理解方面的能力；2. 研究和开发针对医学报告图像的问答系统；3. 基于医学文档的语境推理能力的研究。RJUA-MedDQA数据集为研究人员提供了一个全面的基准，以评估和改进多模态模型在医学文档理解方面的性能。

实际应用

RJUA-MedDQA数据集在实际应用场景中具有广泛的应用前景。例如，它可以用于开发智能医学诊断系统，通过分析医学报告图像来辅助医生进行诊断。此外，该数据集还可以用于构建基于医学文档的问答系统，为患者提供个性化的医疗建议和信息。此外，RJUA-MedDQA数据集还可以用于医学教育和培训，帮助医生和医学生提高对医学文档的理解和解读能力。总之，RJUA-MedDQA数据集为医学领域提供了丰富的数据资源，可以推动医学信息学和人工智能技术在医疗保健领域的应用和发展。

衍生相关工作

RJUA-MedDQA数据集的提出和发布，对医学文档问答和临床推理领域的研究产生了重要的影响。它为研究人员提供了一个具有真实世界复杂布局和医学专业知识的医学报告图像数据集，为相关研究提供了有力的支持。此外，RJUA-MedDQA数据集还提出了高效的图像结构恢复标注方法（ESRA），为图像标注领域的研究提供了新的思路和方法。此外，该数据集还包含了基于医学知识的同义词感知问答生成器，为问答生成领域的研究提供了新的方向和启示。总之，RJUA-MedDQA数据集的发布，为医学文档问答和临床推理领域的研究带来了新的机遇和挑战，推动了相关研究的深入和发展。