DEFT-2023/DEFT2023

FrenchMedMCQA是一个法语医学领域的多项选择题问答数据集，包含3,105个问题，这些问题来源于法国药学专业文凭的真实考试，问题类型包括单选和多选。每个数据实例包含一个标识符、一个问题、五个可能的答案及其手动修正。数据集还提供了基线模型，用于自动处理MCQA任务，并展示了当前模型的性能。数据集的语言为法语，且不包含个人或敏感信息。

FrenchMedMCQA is a French medical-domain multiple-choice question answering (MCQA) dataset containing 3,105 questions sourced from real French pharmacy professional diploma examinations. The question types include both single-choice and multiple-choice questions. Each data instance includes an identifier, a question, five candidate answers, and their manual corrections. The dataset also provides baseline models for automatically handling MCQA tasks and presents the performance of current models. The dataset is in French and does not contain any personal or sensitive information.

原始信息汇总

数据集概述

数据集名称

• 名称：FrenchMedMCQA
• 别名：French Multiple-Choice Question Answering Corpus for Medical domain

数据集属性

• 语言：法语 (fr)
• 许可证：Apache-2.0
• 多语言性：单语种
• 数据集大小：1k<n<10k
• 源数据集：原始数据
• 任务类别：问答、多选题
• 任务ID：多选题问答 (multiple-choice-qa)、开放领域问答 (open-domain-qa)
• 论文代码ID：frenchmedmcqa

数据集描述

• 概述：FrenchMedMCQA是首个公开的法语医学领域多选题问答数据集，包含3,105个问题，来源于法国药学专业考试。
• 数据实例结构：每个实例包含一个标识符、一个问题、五个可能的答案及其手动校正。
• 支持任务：多选题问答 (MCQA)

数据集结构

• 数据实例：每个实例包括问题ID、问题文本、五个答案选项及正确答案。
• 数据字段：包括问题ID、问题文本、五个答案选项、正确答案及问题类型（单选或复选）。
• 数据分割：数据集分为训练集、验证集和测试集，总计3,105个问题。

数据集创建

• 源数据：问题和答案从法国药学考试中收集，由医学专家手动创建。
• 个人信息和敏感信息：数据集不含个人或敏感信息。

附加信息

• 数据集创建者：Labrak Yanis等。
• 许可证信息：Apache 2.0
• 引用信息：建议引用相关论文。
• 联系人：Yanis LABRAK

搜集汇总

数据集介绍

构建方式

在自然语言处理与医学信息学交叉领域，高质量法语医学问答资源的匮乏长期制约着相关研究的发展。FrenchMedMCQA数据集应运而生，成为首个面向医学领域的法语多项选择题问答语料库。该数据集从法国药学专业统一考试的真题中精心采集，共计3105道题目，涵盖单项选择与多项选择两种题型。每道题目均包含一个唯一标识符、问题文本、五个选项（A至E）以及由医学专家手工标注的标准答案。数据来源于remede网站，经标准化处理后形成训练集2171例、验证集312例、测试集622例的划分，确保了数据分布的合理性与评估的可靠性。

特点

FrenchMedMCQA数据集在医学领域专项问答任务中展现出鲜明特色。其题目源自真实药剂学考试，保证了内容的高度专业性与真实性。数据集中多项选择题占比约65%，单项选择约35%，平均每道题目包含2.49个医学术语，每个选项平均含有2个领域词汇，体现了密集的医学知识覆盖。词汇规模达1.3万词，其中约3800词为医学领域专有词汇，凸显了任务的专业挑战性。此外，数据集的答案类型分布从单答案到五答案不等，多样化的答案组合为模型推理能力提出了更高要求，也为评估不同难度级别的问答性能提供了丰富素材。

使用方法

该数据集主要面向多项选择问答（MCQA）任务，支持单答案与多答案两种预测模式。研究者可利用预训练语言模型，在训练集上微调后，通过验证集优化超参数，最终在测试集上评估性能。数据字段清晰，包含id、question、answers（五个选项）、correct_answers及choice_type，便于直接加载与处理。建议使用法语或医学领域专项预训练模型作为基线，如CamemBERT或DrBERT，以捕捉法语医学文本的语义特征。评估指标可采用精确匹配率（Exact Match）和F1分数，针对多答案题目需特别设计匹配策略。数据集以Apache 2.0许可证发布，可通过Hugging Face Datasets库便捷调用。

背景与挑战

背景概述

在自然语言处理领域，面向特定领域的高质量问答数据集对于推动模型性能的边界至关重要。法国阿维尼翁大学等机构的研究人员Yanis Labrak等人于2022年创建了FrenchMedMCQA（后收录于DEFT-2023评测任务），这是首个公开的法语医学多项选择问答数据集。该数据集旨在弥合法语医学领域缺乏标准化评测资源的空白，核心研究问题聚焦于如何利用真实药理学考试题目构建可靠的问答基准。数据集包含3,105道题目，源自法国药学专业文凭考试，涵盖单选与多选两种题型，平均每道题包含5个选项。其发布为法语医学自然语言处理提供了稀缺的标注资源，显著推动了法语医学问答系统的评估与发展，成为该领域后续研究的重要参照。

当前挑战

FrenchMedMCQA数据集面临的挑战具有双重维度。在领域问题层面，医学问答任务本身要求模型具备高度专业化的领域知识，能够区分细微的医学概念差异，且题目中约17%的词汇为医学术语，对模型的语义理解能力构成严峻考验。在构建过程中，研究人员需从分散的在线考试题库中手动收集并规范化题目，确保答案的医学准确性，同时应对法语医学表述的复杂性与歧义性。此外，数据规模有限（仅3,105题）且答案分布不均（多选题目占多数），增加了模型训练的难度。实验表明，通用法语模型性能远低于英语专用医学模型，凸显了跨语言知识迁移与领域适配的深层挑战。

常用场景

经典使用场景

FrenchMedMCQA作为首个面向法语医学领域的多项选择问答数据集，其经典使用场景聚焦于评估和提升自然语言处理模型在医学知识理解与推理方面的能力。该数据集包含3,105道源自法国药学专业文凭考试的真实题目，涵盖单选与多选两种题型，每道题均配备五个候选答案及人工校正的正确答案。研究者通常利用该数据集训练和测试模型在法语医学语境下的语义解析、知识检索与逻辑判别能力，尤其适用于检验跨语言迁移学习的效果——例如英语预训练医学模型在法语任务上的表现往往优于通用法语模型，这凸显了领域适配与多语言资源匮乏之间的深层矛盾。

实际应用

在实际应用中，FrenchMedMCQA可被部署于法语国家的医学教育辅助系统，用于自动生成模拟试题、评估医学生知识掌握程度，或作为临床决策支持系统的前置验证模块。例如，药剂师或医学生可通过该系统进行自主练习与薄弱环节诊断，而医院或医学院则可利用基于该数据集训练的模型快速检索药品相互作用、疾病诊断标准等临床知识。此外，该数据集还能助力开发面向法语患者的智能问诊机器人，使其能够理解并回答涉及药物成分、病理机制等专业问题，从而提升医疗服务的可及性与准确性。

衍生相关工作

围绕FrenchMedMCQA已衍生出一系列重要研究工作，其中最具代表性的是其基线模型论文，首次系统比较了英语医学BERT模型（如BioBERT、PubMedBERT）与法语通用模型（如CamemBERT、FlauBERT）在该任务上的表现，发现英语专用模型在法语医学问答上仍具优势，这一发现直接催生了后续关于跨语言医学知识蒸馏与领域自适应预训练的研究。此外，该数据集被纳入DEFT 2023评测任务，激发了多支团队探索基于提示学习、知识增强检索与多任务联合训练的新方法，进一步推动了法语医学自然语言处理从通用向专业的范式转型。