ekacare/Eka_NFI_MCQA

Eka NFI MCQA是一个多选问答数据集，用于评估对印度国家药典（NFI）2011中定义的药物药理学的知识。数据集包含925个问题，涵盖了适应症、禁忌症、剂量、注意事项、妊娠安全性和药物分类等多个方面。问题分为6个药理学类别，测试了事实回忆和临床推理能力。数据集的结构包括问题、选项、答案、解释、问题类型、难度和类别等特征。

Eka NFI MCQA is a multiple-choice question answering dataset for evaluating knowledge of drug pharmacology as defined in the National Formulary of India (NFI) 2011 — covering indications, contraindications, dosing, precautions, pregnancy safety, and drug schedules. The dataset contains 925 questions derived from the National Formulary of India (NFI), 2011, a government-published reference for drug information in the Indian healthcare context. Questions span 6 pharmacological categories and test both factual recall and clinical reasoning.

搜集汇总

数据集介绍

构建方式

该数据集以印度国家处方集（NFI）2011年版为基石，通过系统性的PDF解析技术，从这一政府发布的药物信息参考中提取了结构化的药物注释，涵盖适应症、禁忌症、剂量、注意事项、妊娠安全性及药物管制类别等核心药理维度。随后，经由人工审校以确保数据准确性与完整性，再利用大语言模型基于已验证的标注生成多项选择题及其干扰项，最终由专家再次审核以剔除低质问题，从而构建出包含925条高质量问答对的评测资源。

特点

数据集呈现出鲜明的层级化与多维度特征，其问题按药理类别细分为禁忌症、注意事项、妊娠类别、剂量、管制类别及适应症六大板块，并设计了单选与多选两种作答格式，以全面检测模型对药物知识的掌握深度。难度分布以中等难度问题为主（911条），辅以少量高难度题目（14条），同时每道题目均附有详尽的答案解释，涵盖生成时间戳、细粒度问题类型等元数据，为模型推理能力的精准评估提供了结构化支撑。

使用方法

使用者可通过HuggingFace的datasets库直接加载测试集，利用Python解析JSON编码的选项字段以获取结构化选项。对于单题，建议采用精确匹配策略，预测答案为A至E的单一字母；而对于多选题目，正确答案可能为多字母组合（如‘A, C’），需灵活解析。此外，该数据集已集成至KARMA评估框架，支持一键式基准测试，便于研究者高效对比不同医学语言模型在印度国家处方标准下的药理知识表现。

背景与挑战

背景概述

Eka_NFI_MCQA数据集由Eka.Care团队于2025年创建，旨在评估大型语言模型在印度国家处方集（NFI）2011版定义的药理学知识水平。该数据集包含925道多项选择题，涵盖适应症、禁忌症、剂量、注意事项、妊娠安全性及药物管制分类六大类别，专注于印度医疗体系下的药物信息。作为首个系统性地从国家级官方药典中提取并构建的医疗多项选择题问答基准，Eka_NFI_MCQA填补了现有医学语言模型评估中缺乏印度本土药物知识的空白，推动了针对发展中国家医疗实践的精准AI能力评测。

当前挑战

Eka_NFI_MCQA数据集的构建面临多重挑战。在领域问题层面，现有医学问答数据集多基于欧美药典或通用知识，难以反映印度特有的药物命名、管制分类及临床指南，导致模型在印度医疗场景中的表现缺乏可靠评估。在构建过程中，团队需从NFI 2011版PDF中手工提取结构化的药物注释，经人工验证确保准确性，再借助大语言模型生成问题和干扰选项，并再次经临床专业人士审查以剔除低质量样本。此外，数据集需平衡六类药理学问题的分布，特别是应对妊娠安全、多选问答等复杂题型，以及确保中等与高难度问题的合理比例，整体流程高度依赖领域专家审校，成本高且周期长。

常用场景

经典使用场景

作为一款聚焦印度国家处方集（NFI 2011）的医学多项选择问答数据集，Eka_NFI_MCQA在自然语言处理与临床药学交叉领域中扮演着专业评估基准的角色。其经典使用场景集中在对大语言模型进行药物学知识的细粒度测试，涵盖适应症、禁忌症、剂量方案、用药注意事项、妊娠安全性分类及法律管制药品分级等六大核心药理类别。数据集通过单题正确与多选组合两种格式，精准检验模型对印度医疗体系下处方规范的掌握程度，尤其适用于验证模型在药物安全决策中的推理能力与事实记忆的准确性。

解决学术问题

该数据集有效填补了区域特异性临床知识评估资源的空白，解决了现有医学问答基准多偏向欧美标准、忽视发展中国家处方规范的学术难题。通过提供经人工验证的925道高质量考题，Eka_NFI_MCQA支持研究者量化评估语言模型在印度用药政策下的知识边界与一致性，从而推动跨文化、跨法规的药理学自然语言理解研究。其分层难度设计和多类别标注体系，为分析模型在不同临床推理需求（如鉴别禁忌症与注意事项）中的表现差异提供了系统化工具，促进了可解释性与安全性的学术探索。

衍生相关工作

Eka_NFI_MCQA的发布催生了一系列拓展性研究工作，其中包括将其集成至KARMA评估框架中，实现多模型药理学知识表现的自动化横向比较。后续工作可能围绕数据增强方向展开，如结合印度区域语言对考题进行多语种扩展，或基于NFI更新版本生成时间戳对齐的变体数据集。在方法论层面，该数据集推动了面向多选组合题型的评价指标设计，促使研究者开发兼顾精确匹配与部分信用的评分策略。部分工作还探索利用其中的解释字段训练模型生成临床推理过程，从而衍生出可解释问答与处方错误预警的新基准。