jdh-algo/JMED

Citrus是一个模拟医学专家认知过程的医学语言模型，训练数据包括20,000个样本的监督微调(SFT)数据，用于提高模型在临床诊断和治疗中的医学能力。JMED数据集是一个基于现实世界数据分布构建的多项选择题格式的新型临床对话基准数据集，包含了1,000个多项选择题，用于评估模型的性能。

Citrus is a medical language model that emulates the cognitive processes of medical experts, trained on 20,000 supervised fine-tuning (SFT) samples to enhance the models medical capabilities in clinical diagnosis and treatment. The JMED dataset is a novel clinical dialogue benchmark constructed based on real-world data distribution, formatted as multiple-choice questions, initially comprising 1,000 questions for model performance evaluation.

搜集汇总

数据集介绍

构建方式

在医学人工智能领域，构建高质量的数据集是推动模型临床决策能力的关键。JMED数据集的构建过程体现了对真实临床数据分布的精准模拟，其基础虽源于实际问诊记录，但并非直接采用原始医疗数据，而是通过精心设计的预处理流程，将复杂的临床对话转化为结构化的多项选择题形式。这一转化过程确保了数据既贴近真实场景，又便于模型训练与评估，同时严格遵守伦理与法律规范，充分保障了患者隐私与数据安全。

特点

JMED数据集的显著特点在于其高度仿真的临床实践环境与严谨的评估框架。该数据集紧密模拟真实医疗数据分布，每个问题均提供21个备选答案，其中包括“以上都不是”这一选项，极大地增加了答案甄别的复杂性与挑战性。这种设计不仅有效避免了开放式问诊中确定性答案缺失的困境，还为模型性能提供了更为严格和科学的测评基准，从而能够更准确地反映模型在真实临床决策中的推理能力。

使用方法

该数据集主要服务于医学语言模型的评估与性能验证。研究人员可将JMED作为基准测试工具，通过模型对多项选择题的作答情况，定量分析其在临床诊断与治疗建议方面的推理准确性。数据集采用标准的`<id, question, options, answer>`模板格式，便于直接集成到现有的模型评估流程中。其定期更新的特性也确保了评估能够与时俱进，持续反映临床实践的最新动态与需求。

背景与挑战

背景概述

在医疗人工智能领域，构建能够模拟临床专家认知过程的语言模型，已成为提升智能诊疗系统决策能力的关键研究方向。JMED数据集由JDH-algo团队于2025年发布，作为其医疗大模型Citrus项目的重要组成部分，旨在为医疗语言模型提供一个基于真实世界临床数据分布的高质量评估基准。该数据集的核心研究问题聚焦于如何准确评估模型在开放式临床对话场景下的推理与决策能力，从而弥合人工智能与临床专业知识之间的鸿沟。通过模拟真实诊疗环境中的复杂性和不确定性，JMED为推进AI驱动的医疗决策支持系统的可靠性与实用性奠定了重要基础。

当前挑战

JMED数据集所针对的领域挑战在于，现有医疗评估数据集往往难以真实反映临床实践中的复杂数据分布与开放式决策场景，导致模型评估结果与实际应用效能存在偏差。具体而言，该数据集旨在解决医疗对话系统中因问题开放性强、标准答案不明确而带来的评估难题。在构建过程中，团队面临多重挑战：一是需在严格遵守伦理与法律规范的前提下，设计既贴近真实临床数据分布、又便于模型训练的数据结构；二是如何通过引入21个选项（包括“以上都不是”）的多选题形式，有效模拟诊疗中的不确定性，从而大幅提升模型区分正确答案的难度，确保评估框架的严谨性与鲁棒性。

常用场景

经典使用场景

在医疗人工智能领域，JMED数据集作为一项精心构建的临床实践评估基准，其经典应用场景聚焦于对大型语言模型在真实医疗对话环境下的诊断与推理能力进行系统性评测。该数据集通过模拟开放式临床咨询的复杂情境，为模型提供了一个高度逼真的测试平台，旨在评估模型在面临模糊、多变的医学问题时，能否准确理解患者主诉并从多个备选答案中识别出最合理的临床决策。

实际应用

在实际医疗场景中，JMED数据集可作为开发与验证临床决策支持系统的核心测试集。医疗机构或科技公司可利用该数据集对即将部署的AI诊断模型进行上线前的能力评估，确保其回答的临床合理性与安全性。此外，在医学教育领域，该数据集也能用于构建智能教学工具，模拟真实病例对医学生或住院医师的临床思维进行训练与考核，提升其面对复杂、不确定病情时的决策能力。

衍生相关工作

围绕JMED数据集，已衍生出系列重要的研究工作。其最直接的关联成果是Citrus医疗语言模型，该模型利用包括JMED在内的数据进行多阶段训练，旨在模拟医学专家的认知路径。此外，该数据集的构建理念与方法，也为后续创建其他基于真实世界分布、可更新的专业领域评估基准提供了范式参考，激励了社区在确保数据合规前提下，开发更精准、更具挑战性的专业模型评测体系。