ncbi/MedCalc-Bench

MedCalc-Bench是第一个用于基准测试大型语言模型（LLMs）作为临床计算器能力的医学计算数据集。该数据集包含10,053个训练实例和1,047个测试实例，涵盖了55种不同的计算任务。每个实例包括患者笔记、要求计算特定临床值的问题、最终答案值以及解释如何获得最终答案的逐步解决方案。数据集还详细描述了每个实例的各个字段，如行号、计算器ID、计算器名称、类别、输出类型、笔记ID、笔记类型、患者笔记、问题、相关实体、真实答案、下限、上限和真实解释。该数据集可用于LLMs的微调和基准测试，遵循CC-BY-SA 4.0许可证。

原始信息汇总

数据集概述

基本信息

• 许可证: CC-BY-SA 4.0
• 下载大小: 19670625 字节
• 数据集大小: 45309070 字节

数据集结构

特征

• Row Number: 行号，数据类型为 int64
• Calculator ID: 计算器ID，数据类型为 int64
• Calculator Name: 计算器名称，数据类型为 string
• Category: 类别，数据类型为 string
• Output Type: 输出类型，数据类型为 string
• Note ID: 笔记ID，数据类型为 string
• Note Type: 笔记类型，数据类型为 string
• Patient Note: 患者笔记，数据类型为 string
• Question: 问题，数据类型为 string
• Relevant Entities: 相关实体，数据类型为 string
• Ground Truth Answer: 真实答案，数据类型为 string
• Lower Limit: 下限，数据类型为 string
• Upper Limit: 上限，数据类型为 string
• Ground Truth Explanation: 真实答案解释，数据类型为 string

数据分割

• 训练集: 包含 10053 个样本，41265322 字节
• 测试集: 包含 1047 个样本，4043748 字节

数据集配置

• 配置名称: default
• 数据文件:
  • 训练集: data/train-*
  • 测试集: data/test-*

数据集描述

• 数据集名称: MedCalc-Bench
• 描述: 用于评估大型语言模型（LLMs）在临床计算器能力的首个医疗计算数据集。每个实例包含患者笔记、计算特定临床值的问题、最终答案值以及逐步解决方案解释如何获得最终答案。数据集涵盖55种不同的计算任务。
• 训练集: 包含 10055 个实例
• 测试集: 包含 1047 个实例

数据集内容

• Row Number: 实例的索引
• Calculator ID: 计算器的整数ID
• Calculator Name: 临床计算任务的名称
• Category: 计算器的子类别
• Output Type: 计算器返回的格式类型
• Note ID: 患者笔记的ID
• Note Type: 患者笔记的类型
• Patient Note: 提供计算最终答案所需信息的患者笔记
• Question: 基于特定计算器计算特定医疗值的问题
• Relevant Entities: 基于患者笔记提取的参数及其值的字典
• Ground Truth Answer: 需要计算的医疗值的真实答案
• Lower Limit: 对于输出为小数的方程式计算器，该值为真实答案值的95%
• Upper Limit: 对于输出为小数的方程式计算器，该值为真实答案值的105%
• Ground Truth Explanation: 提供如何获得最终答案的逐步解释

使用方法

• 训练集: 可用于微调LLMs
• 测试集: 可用于不同设置下评估LLMs的基准

搜集汇总

数据集介绍

构建方式

在临床决策支持领域，精准的医学计算是评估大语言模型推理能力的重要基石。MedCalc-Bench数据集的构建融合了多种数据来源与生成策略，其核心实例源自Open-Patients数据库中的患者笔记，同时辅以临床医生手工撰写或基于模板自动生成的笔记。数据集覆盖55种不同的临床计算任务，这些任务被划分为基于规则的计算（如风险评分、严重程度评估）和基于方程的计算（如实验室检验、药物剂量、日期推算）。每个实例均包含患者笔记、计算问题、标准答案及逐步推理过程，确保了数据的高质量与可复现性。最终形成了包含10543个训练样本和1100个测试样本的基准数据集。

使用方法

使用MedCalc-Bench数据集时，研究者可将其作为大语言模型医学计算能力的标准化评测平台。典型应用流程包括：加载训练与测试分割的CSV文件，利用患者笔记字段作为输入上下文，结合问题字段引导模型进行特定临床数值的推导。模型输出需与标准答案及上下限进行比对，以评估其计算精度。数据集中提供的逐步解释可作为监督信号，用于训练模型生成可解释的推理路径。该数据集兼容问答任务范式，可直接用于微调或零样本评估，并支持通过Calculator ID和Category字段进行特定子任务的针对性分析。

背景与挑战

背景概述

在临床决策支持系统中，精确的医学计算是诊断与治疗不可或缺的一环。然而，大型语言模型（LLMs）在临床场景中的计算推理能力尚缺乏系统性评估。为填补这一空白，美国国立生物技术信息中心（NCBI）的研究团队于2023年创建了MedCalc-Bench数据集，旨在系统性地评测LLMs作为临床计算器的能力。该数据集由Nikhil等研究人员主导，涵盖55种临床计算任务，包括基于规则的评分与基于方程的生理参数计算。数据集包含10,543条训练样本与1,100条测试样本，每条样本均附有患者病历、临床问题、标准答案及逐步解析。作为首个专注于医学计算的基准数据集，MedCalc-Bench为提升LLMs在医疗环境中的计算推理能力提供了关键评估平台，对推动人工智能在临床决策中的可靠应用具有深远影响。

当前挑战

MedCalc-Bbench所面临的挑战主要源于临床计算任务的复杂性与数据构建的精细性。其一，领域问题层面，临床计算不仅要求模型准确提取病历中的关键参数（如实验室指标、用药剂量），还需灵活应对方程计算与规则判断的混合场景，而现有LLMs在处理多步推理、单位转换及临床阈值判定时仍存在显著误差。其二，数据构建层面，病历来源多样化（包括PMC-Patients提取、模板生成与临床专家手写），不同来源的文本风格与信息密度差异极大，导致标注一致性难以保证。此外，针对方程型计算器，输出允许的误差范围（如±5%）虽已设定，但如何定义合理的容忍区间以避免过度宽松或严苛，仍是数据标注中的核心难点。这些挑战共同制约了数据集在真实临床环境中的泛化性与可靠性。

常用场景

经典使用场景

MedCalc-Bench作为首个专为评估大语言模型在临床计算任务中能力而设计的医学计算数据集，其经典使用场景聚焦于基准测试与模型推理能力验证。该数据集涵盖55种不同的临床计算任务，包括基于规则的风险分层、严重程度评估、诊断分类以及基于方程的实验室指标、药物剂量、日期计算和生理参数估算。每个实例由患者病历、具体临床计算问题、标准答案及逐步解析构成，为研究者提供了量化评估LLMs在医学领域计算推理能力的标准化测试平台。通过对比模型输出与真实值之间的差异（如方程类计算允许±5%误差），该数据集有效衡量了模型在复杂医学场景中的数值精度与逻辑连贯性，成为推动医学人工智能计算能力发展的关键基准。

解决学术问题

该数据集系统性地解决了大语言模型在医学领域计算推理能力评估缺失的学术难题。传统基准测试多聚焦于自然语言理解或知识问答，鲜有涉及需要多步数学运算的临床计算场景。MedCalc-Bench填补了这一空白，通过构建包含10543条训练样本和1100条测试样本的标准化评估体系，使研究者能够量化分析模型在肾小球滤过率估算、药物剂量调整、孕周计算等关键临床任务中的计算错误模式与推理缺陷。其意义在于揭示了当前LLMs在医学计算中的系统性短板（如单位换算错误、公式误用），为后续研究指明了改进方向，同时推动了可解释医学计算推理模型的研发，对提升临床决策支持系统的可靠性具有深远影响。

实际应用

在实际临床场景中，MedCalc-Bench驱动的模型可深度嵌入电子病历系统，辅助医护人员进行实时临床计算。例如，基于患者肾功能指标自动计算造影剂肾病风险评分，或根据药物代谢参数推荐个体化给药剂量。该数据集训练的模型还能在急诊场景中快速完成格拉斯哥昏迷评分、APACHE II评分等危急值计算，减少人工计算误差。此外，其衍生工具可应用于医学教育领域，通过生成逐步计算解析来培训医学生掌握临床公式的适用条件与计算逻辑。在远程医疗中，该技术能自动解析患者自述症状与检查指标，为基层医生提供标准化的计算决策支持，显著提升医疗服务的同质化水平。

数据集最近研究

最新研究方向

MedCalc-Bench数据集聚焦于评估大语言模型在临床计算任务中的推理能力，涵盖55种基于规则或方程的计算任务，如实验室检测、药物剂量、风险评分和诊断分类。该数据集通过患者笔记、问题及逐步解答，推动LLMs在医疗场景中的计算准确性提升。前沿研究包括利用该基准测试模型在多步骤推理中的表现，并结合Open-Patients等真实临床数据源，探索模型在复杂医疗决策中的可靠性。其意义在于弥补现有医疗AI在数值计算方面的不足，为临床辅助工具的开发提供标准化评估框架，助力精准医疗和智能化诊疗的落地。