five

JDH MEDical Practice Dataset (JMED)

收藏
arXiv2025-02-25 更新2025-02-27 收录
下载链接:
https://github.com/jdh-algo/Citrus
下载链接
链接失效反馈
官方服务:
资源简介:
JMED数据集是基于京东健康互联网医院的实际咨询构建的,反映了真实世界疾病分布情况,并可以定期更新。该数据集旨在为医学推理任务提供一个新的、可更新的评估数据集,以更准确地评估大型语言模型在医疗领域的能力,特别是诊断和治疗推理方面。

The JMED dataset is constructed based on real-world consultations from JD Health Internet Hospital, which reflects real-world disease distribution and supports regular updates. This dataset serves as a novel and updatable evaluation benchmark for medical reasoning tasks, enabling more accurate assessment of the capabilities of large language models (LLMs) in the medical field, particularly in diagnostic and therapeutic reasoning.
提供机构:
京东健康国际有限公司
创建时间:
2025-02-25
搜集汇总
数据集介绍
main_image_url
构建方式
JMED数据集的构建是基于JD Health互联网医院的匿名化医生-患者对话数据。这些数据经过筛选,保留了符合标准化诊断工作流程的咨询记录。数据收集过程中,敏感信息通过正则表达式匹配进行自动化脱敏,以确保隐私保护。数据集还包括从电子病历中提取的关键临床元素,并使用DeepSeek-r1模型解析电子病历,生成与诊断推理路径一致的医学相关问题。此外,利用LLM生成21个互斥的诊断选项,确保符合国际疾病分类第10版(ICD-10)标准,并经过专业医生的审查和验证,确保问题的适宜性、选项的正确性以及答案的准确性。
使用方法
JMED数据集可用于评估医学模型的推理能力,特别是其在模拟真实临床环境中的应用能力。该数据集包括1000个临床严格的医学相关问题,涵盖多个部门和年龄组。每个数据条目包括一个唯一的ID、部门、问题、选项和正确答案。选项遵循ICD-10标准的疾病命名法,并经过专业医生的审查和验证,以确保问题的适宜性、选项的正确性以及答案的准确性。
背景与挑战
背景概述
在医疗领域,大型语言模型(LLMs)的推理能力近年来取得了显著进展,但在医疗保健领域的应用,尤其是疾病推理任务中,其部署受到了获取专家级认知数据的挑战。为了解决这一问题,Citrus团队于2025年开发了一个名为Citrus的医疗语言模型,该模型通过模拟医疗专家的认知过程,在临床专业知识和AI推理之间架起了一座桥梁。Citrus模型是在一个由模拟专家疾病推理数据组成的大规模语料库上训练的,这些数据是通过一种新颖的方法合成的,这种方法准确地捕捉了临床医生决策过程的路径。这种方法使得Citrus能够更好地模拟诊断和治疗医疗状况中涉及到的复杂推理过程。为了进一步解决医疗推理任务中缺乏公开数据集的问题,Citrus团队发布了最后阶段的训练数据,包括一个定制的医疗诊断对话数据集。这一开源贡献旨在支持该领域的进一步研究和开发。使用MedQA等权威基准进行的评估表明,Citrus在医疗推理和语言理解任务中实现了优于其他同类模型的性能。这些结果突出了Citrus在显著提升医疗决策支持系统方面的潜力,为临床决策提供了更准确和高效的工具。
当前挑战
尽管Citrus模型在医疗推理任务中取得了显著进展,但仍然面临一些挑战。首先,模拟医疗专家的认知过程是一个复杂的任务,需要确保模型能够理解和处理医疗知识的复杂性和不确定性。其次,构建一个能够准确反映现实世界临床实践的数据集是一个挑战,需要确保数据集能够包含医疗决策的动态性和模糊性。此外,医疗领域的伦理和法律问题也需要在数据收集和模型开发过程中得到充分考虑。为了应对这些挑战,Citrus团队采用了多阶段训练方法,包括持续预训练(CPT)、监督微调(SFT)和强化学习(RL),并开发了一个基于真实世界医疗数据分布的评估数据集JDH MEDical Practice Dataset(JMED),以更好地模拟临床实践中的复杂性和不确定性。
常用场景
经典使用场景
JMED数据集是用于医疗推理任务的基准数据集,它包含真实的医生-患者对话数据,模拟了临床诊断的复杂性和不确定性。该数据集的构建旨在弥补现有医疗推理数据集的不足,如缺乏现实世界的数据和评估问题的结构化。JMED数据集在医疗推理和语言理解任务上提供了更准确和真实的评估,有助于研究人员和开发者构建更有效的医疗决策支持系统。
解决学术问题
JMED数据集解决了医疗推理领域缺乏公开可用数据集的问题。现有数据集多来源于医学期刊文献或专业医学考试,缺乏现实世界医院数据,且问题格式多为多项选择题,无法捕捉临床实践中的不确定性和诊断信息。JMED数据集基于京东健康互联网医院的匿名医生-患者对话数据构建,更准确地反映了患者症状描述的模糊性和临床诊断的动态性,为医疗推理模型提供了更真实和有挑战性的评估框架。
实际应用
JMED数据集在实际应用中可用于训练和评估医疗推理模型,以支持临床决策支持系统。通过使用JMED数据集,模型可以更好地模拟医疗专家的推理过程,从而提高诊断和治疗的准确性和效率。此外,JMED数据集的持续更新特性使其能够适应医疗领域的最新发展,为医疗人工智能研究提供持续的数据支持。
数据集最近研究
最新研究方向
在医疗推理领域,Citrus 医疗语言模型通过模拟医学专家的认知过程,展现出卓越的性能。该模型在 MedQA 等权威基准测试中取得了超越其他模型的优异表现,凸显了其在医疗决策支持系统中的应用潜力。Citrus 模型的训练数据 JDH MEDical Practice Dataset (JMED) 旨在更准确地反映真实世界的临床诊断和治疗的复杂性和动态性,为医疗推理模型的研究和开发提供了宝贵的资源。
相关研究论文
  • 1
    Citrus: Leveraging Expert Cognitive Pathways in a Medical Language Model for Advanced Medical Decision Support京东健康国际有限公司 · 2025年
以上内容由遇见数据集搜集并总结生成
5,000+
优质数据集
54 个
任务类型
进入经典数据集
二维码
社区交流群

面向社区/商业的数据集话题

二维码
科研交流群

面向高校/科研机构的开源数据集话题

数据驱动未来

携手共赢发展

商业合作