ReaDiagnosis

ReaDiagnosis数据集由华东理工大学和上海交通大学医学院瑞金医院共同创建，包含2225条从中国医疗网站收集的高质量电子病历记录。该数据集覆盖12个科室，每条记录包含五个与诊断相关的问题，旨在模拟真实临床环境中的多步骤诊断过程。数据集的创建过程包括数据收集、预处理和多轮注释，确保了数据的可靠性和真实性。ReaDiagnosis主要用于评估和提升大型语言模型在复杂临床诊断任务中的表现。The ReaDiagnosis dataset was jointly developed by East China University of Science and Technology and Ruijin Hospital Affiliated to Shanghai Jiao Tong University School of Medicine. It encompasses 2225 high-quality electronic medical record (EMR) entries collected from Chinese medical websites, covering 12 clinical departments. Each entry features five diagnosis-associated questions, designed to simulate the multi-step diagnostic workflow in real-world clinical scenarios. The dataset's development pipeline includes data collection, preprocessing and multi-round annotation, which ensures the reliability and authenticity of the data. ReaDiagnosis is primarily used to evaluate and enhance the performance of large language models (LLMs) in complex clinical diagnostic tasks.

搜集汇总

数据集介绍

构建方式

ReaDiagnosis数据集的构建始于对真实医疗网站中电子病历的收集，通过对11,900份电子病历进行脱敏、去重和筛选，最终保留了3,501份高质量的复杂且真实的电子病历。数据集构建过程中，首先手动构建了包括患者主要诊断、主要诊断依据、鉴别诊断、最终诊断和最终诊断依据在内的五个问题，然后使用GPT-4生成相似问题，并经过人工审核和筛选。对于答案标注，构建了一个由三名检查员和一名评审员组成的专业团队，经过三轮标注、检查和评审，确保了标注的质量。为了更准确地评估开放性问题，还对每个答案的评分点进行了标注。

特点

ReaDiagnosis数据集具有以下显著特点：数据可靠性和真实性高，基于真实患者的电子病历，包括详细的治疗计划和病程记录；涵盖部门和疾病类型丰富，包括12个不同部门的常见病、罕见病、急性病和慢性病；包含多步诊断过程，更符合实际临床诊断场景，记录了诊断的变化，更好地反映了真实医疗实践中复杂的诊断路径和动态变化。

使用方法

ReaDiagnosis数据集可用于评估大型语言模型（LLM）的诊断能力。数据集包含了2,225个医疗记录，每个记录包含五个与多阶段诊断相关的问题。为了准确评估诊断标准，每个答案都被标注了相应的评分点，并通过计算每个评分点的宏观召回率来评估答案的质量。对于多步诊断任务，数据集提供了一个简单有效的流水线框架，包括前向推理、反向推理和反思优化两个阶段，以实现双向推理和验证，并实现对诊断结果的反思和调整。

背景与挑战

背景概述

在医疗实践中，临床诊断是至关重要的环节，它通常涉及一个持续且不断发展的过程，包括初步诊断、鉴别诊断和最终诊断。然而，现有的临床诊断任务大多是单步过程，这与实际临床环境中复杂的多步诊断程序并不相符。因此，研究者提出了多步诊断任务，并构建了一个名为ReaDiagnosis的临床诊断数据集。该数据集包括初步诊断、鉴别诊断和最终诊断问题，旨在评估大型语言模型（LLM）的诊断能力。数据集由来自中国医学网站的2,225个医疗记录组成，涵盖了12个科室，每个记录包含五个与多阶段诊断相关的问题。研究者还提出了一种新颖且高效的框架，该框架结合了正向推理和反向推理，使LLM能够进行双向推理以验证和调整其诊断结果。

当前挑战

ReaDiagnosis数据集面临的主要挑战包括：1)与实际临床实践相比，现有的诊断数据集大多采用单步诊断过程，而实际临床诊断通常是多步的；2)构建多步诊断数据集需要详细记录诊断过程中的变化，包括初步诊断、鉴别诊断和最终诊断，以及每个阶段的诊断依据；3)评估诊断结果的质量需要设计合适的评估指标，如实体F1分数、Rouge-L、BLEU-1和Macro-Recall等，以确保评估结果的准确性和可靠性。

常用场景

经典使用场景

ReaDiagnosis数据集为临床多步骤诊断提供了一个宝贵的资源，其经典使用场景包括但不限于训练和评估大型语言模型（LLM）在医疗诊断领域的应用。通过模拟临床诊断的复杂过程，包括初步诊断、鉴别诊断和最终诊断，该数据集能够帮助LLM更好地理解和处理医疗记录中的信息。此外，ReaDiagnosis还用于研究LLM的推理能力和诊断准确性的提升，从而推动医疗人工智能的发展。

实际应用

ReaDiagnosis数据集在实际应用中，可以用于辅助医生进行多步骤的诊断推理，提高诊断的准确性和效率。此外，该数据集还可以用于开发智能医疗系统，如智能诊断助手，为医生提供更全面和准确的诊断建议。同时，ReaDiagnosis数据集也可以用于医疗教育和研究，帮助学生和研究人员更好地理解临床诊断的复杂性和多变性。

衍生相关工作

ReaDiagnosis数据集的提出和构建，推动了医疗诊断领域的研究和发展。基于该数据集，研究者们提出了新的多步骤诊断任务，并设计了一种新颖且高效的框架，包括前向推理、后向推理、反思和优化等步骤。此外，ReaDiagnosis数据集还被用于评估和比较不同LLM在医疗诊断任务上的性能，为LLM在医疗领域的应用提供了重要的参考和指导。