five

DDXPlus

收藏
arXiv2024-06-13 更新2024-08-06 收录
下载链接:
http://arxiv.org/abs/2406.08747v1
下载链接
链接失效反馈
官方服务:
资源简介:
DDXPlus数据集是StreamBench基准测试中用于评估语言模型在医疗诊断领域的持续改进能力的数据集。该数据集包含750条记录,模拟医生通过积累患者病例提升诊断技能的场景。数据集的创建过程涉及对患者症状的详细描述,并要求模型从49种可能的诊断中做出选择。DDXPlus数据集的应用旨在解决医疗领域中模型对专业知识的应用和持续学习能力的问题,通过模拟实际医疗环境中的诊断挑战,推动语言模型在高度专业化领域的适应性和准确性提升。

The DDXPlus dataset is a component of the StreamBench benchmark suite, designed to evaluate the continuous improvement capabilities of language models in the medical diagnosis domain. This dataset contains 750 records, simulating the scenario where physicians enhance their diagnostic skills by accumulating patient cases. The development of DDXPlus involves detailed descriptions of patient symptoms, and requires participating models to select from 49 potential diagnostic options. The application of the DDXPlus dataset aims to address the issues of professional knowledge utilization and continuous learning ability of models in the medical field. By simulating diagnostic challenges in real-world medical environments, it promotes the improvement of the adaptability and accuracy of language models in highly specialized domains.
提供机构:
国立台湾大学
创建时间:
2024-06-13
搜集汇总
数据集介绍
main_image_url
构建方式
在自动症状检测与诊断系统研究领域,DDXPlus数据集的构建采用了创新的合成方法。该数据集基于专有的医学知识库,整合了超过两万篇医学文献,涵盖流行病学研究、疾病专题文章及荟萃分析,从中提取了疾病发病率、患病率以及症状与风险因素在不同地理、年龄和性别群体中的似然比。通过结合美国人口普查数据和SyntheaTM工具,生成了约130万患者的合成数据,包括年龄、性别、地理区域、病理状况、症状及既往史。关键步骤是利用商业规则式自动诊断系统为每位患者生成鉴别诊断,确保数据包含真实病理和鉴别诊断列表,并通过分层采样将数据集划分为训练、验证和测试子集。
特点
DDXPlus数据集在医学人工智能领域展现出独特优势。其核心特点在于首次大规模纳入鉴别诊断信息,模拟了医生在实际临床推理中考虑的多种可能病理,而非单一疾病预测。数据集涵盖了49种病理、110种症状和113种既往史,证据类型不仅包括传统的二元变量,还引入了分类和多选症状与既往史,如疼痛强度和位置的多选项,这有助于设计更高效、自然的患者交互系统。此外,部分症状按层次组织,支持逻辑化交互设计,且每种病理均标注严重程度,为处理重症病例提供了基础。这些特征共同提升了数据集的现实适用性和研究价值。
使用方法
DDXPlus数据集主要用于自动症状检测和诊断系统的研究与开发。在使用时,模型通常以患者的年龄、性别和初始症状为输入,通过迭代询问症状和既往史来收集证据,最多允许30轮交互,最终预测鉴别诊断。数据集已按80%-10%-10%的比例划分为训练、验证和测试集,支持监督学习和强化学习方法的训练与评估。研究人员可基于该数据集开发新模型,或扩展现有系统以纳入鉴别诊断信号,从而提升系统性能或增强医生对模型推理的理解。需要注意的是,该数据集仅供研究目的,在实际部署前需进行严格评估,确保模型覆盖人群的适用性和代表性。
背景与挑战
背景概述
DDXPlus数据集由Mila-Quebec AI Institute的研究团队于2022年发布,旨在弥补自动症状检测与诊断系统中缺乏鉴别诊断信息的空白。该数据集基于专有医学知识库与商业规则系统,合成了约130万患者样本,涵盖49种以咳嗽、咽喉痛或呼吸问题为主要症状的病理类型。其核心创新在于首次大规模整合了鉴别诊断数据,并引入了分类与多选型症状及病史,以模拟真实医患交互中的逻辑层次与高效证据收集。这一工作显著推动了自动诊断系统向临床实践靠拢,为构建可信赖的医疗辅助工具提供了关键数据支撑。
当前挑战
DDXPlus数据集面临的挑战主要体现在两方面:其一,在解决自动诊断领域问题时,如何基于症状与病史的异构数据(如二值、分类及多选型证据)准确生成鉴别诊断,以应对临床决策中的不确定性,并确保系统在有限交互轮次内高效收集关键证据;其二,在构建过程中,需克服合成数据的真实性约束,包括依赖专有知识库中的部分缺失发病率数据、处理多类型证据的生成逻辑,以及通过规则系统生成鉴别诊断时可能引入的偏差,例如需手动剔除与当前病理集合不符的疾病条目以保持数据一致性。
常用场景
经典使用场景
在医学人工智能领域,DDXPlus数据集被广泛应用于自动症状检测与自动诊断系统的开发与评估。该数据集通过模拟约130万患者的临床交互,涵盖了咳嗽、咽喉痛或呼吸问题相关的49种病理,并首次大规模引入了鉴别诊断信息。研究人员利用其丰富的症状与病史数据,结合多类型证据(二元、分类及多选)的层次化结构,构建能够模拟医生逻辑推理的对话系统,以优化证据收集效率并生成接近临床实践的鉴别诊断列表。
实际应用
DDXPlus数据集在远程医疗与临床决策支持系统中具有重要应用价值。基于该数据集训练的模型可部署于初级诊疗平台,协助医生在问诊过程中动态收集症状与病史,并实时生成鉴别诊断建议。例如,系统能够根据患者描述的疼痛特征(如位置、强度、性质)自动关联可能的呼吸系统疾病,辅助医生快速聚焦高危病理,减少漏诊风险。此外,其层次化症状设计支持更自然的对话流程,提升了患者交互体验与数据收集效率,为医疗资源优化提供了技术支撑。
衍生相关工作
DDXPlus数据集的发布催生了多项围绕鉴别诊断优化的创新研究。例如,原论文中扩展的AARLC模型通过强化学习与分类器的自适应对齐,将鉴别诊断作为训练信号,显著提升了证据收集的召回率与诊断解释性。后续研究在此基础上进一步探索了基于图神经网络的症状关联建模、多任务学习框架下的严重病理优先识别,以及结合医学知识图谱的对话逻辑增强。这些工作共同推动了自动诊断系统向更可靠、可解释的临床辅助工具演进。
以上内容由遇见数据集搜集并总结生成
5,000+
优质数据集
54 个
任务类型
进入经典数据集
二维码
社区交流群

面向社区/商业的数据集话题

二维码
科研交流群

面向高校/科研机构的开源数据集话题

数据驱动未来

携手共赢发展

商业合作