aisc-team-c1/MMedBench

MMedBench是一个全面的多语言医学基准，包含45,048个用于训练的问答对和8,518个用于测试的问答对。每个样本包括一个问题、选项、正确答案以及选择正确答案的参考解释。数据集支持多种语言，包括英语、中文、日语、法语、俄语和西班牙语。数据以.jsonl文件格式提供，每个文件对应一种语言，每个样本包含问题、选项、答案索引、解释、人工检查状态和人工检查通过状态等属性。

MMedBench is a comprehensive multilingual medical benchmark comprising 45,048 QA pairs for training and 8,518 QA pairs for testing. Each sample includes a question, options, the correct answer, and a reference explanation for the selection of the correct answer. The dataset supports multiple languages including English, Chinese, Japanese, French, Russian, and Spanish. Each samples attributes include question, options, answer_idx, rationale, human_checked, and human_check_passed.

原始信息汇总

MMedBench 数据集概述

基本信息

• 许可证: cc-by-4.0
• 语言:
  • 英语 (en)
  • 中文 (zh)
  • 日语 (ja)
  • 法语 (fr)
  • 俄语 (ru)
  • 西班牙语 (es)
• 标签: medical
• 任务类别: question-answering

数据配置

• 西班牙语配置:
  • 数据文件: "Spanish.jsonl"
• 英语配置:
  • 数据文件: "English.jsonl"

数据集介绍

• 数据集名称: MMedBench
• 数据类型: 多语种医学问答数据集
• 数据量:
  • 训练集: 45,048 个 QA 对
  • 测试集: 8,518 个 QA 对
• 数据格式:
  • 每个样本包含以下属性:
    • question: 问题字符串
    • options: 选项字典，键为索引 A,B,C,D,E，值为选项字符串
    • answer_idx: 正确答案索引字符串，每个索引用逗号分隔
    • rationale: 选择正确答案的解释字符串
    • human_checked: 是否已手动检查解释
    • human_check_passed: 解释是否通过手动检查

数据访问

• 下载链接: MMedBench.zip
• 文件结构:
  • 包含两个文件夹: Train 和 Test
  • 每个文件夹包含六个 .jsonl 文件，每个文件对应一种语言
  • 每行代表一个样本

评估结果

• 评估模型:
  • GPT-3.5, GPT-4, Gemini-1.0 pro, BLOOMZ, InternLM, Llama 2, MedAlpaca, ChatDoctor, PMC-LLaMA, Mistral, InternLM 2, MMedLM, MMedLM 2
• 评估指标:
  • 各模型在不同语言上的表现
• 评估设置:
  • GPT 和 Gemini 在零样本设置下通过 API 评估
  • 开源模型首先在 MMedBench 训练集上进行训练，然后进行评估

联系信息

• 联系方式: [e-mail]

引用

@misc{qiu2024building, title={Towards Building Multilingual Language Model for Medicine}, author={Pengcheng Qiu and Chaoyi Wu and Xiaoman Zhang and Weixiong Lin and Haicheng Wang and Ya Zhang and Yanfeng Wang and Weidi Xie}, year={2024}, eprint={2402.13963}, archivePrefix={arXiv}, primaryClass={cs.CL} }

搜集汇总

数据集介绍

构建方式

在医学人工智能领域，多语言能力是提升模型全球可及性的关键挑战。MMedBench数据集由哈佛医学院AISC课程团队构建，旨在为多语言医学语言模型的训练与评估提供标准化基准。该数据集源自大规模医学问答语料库，通过筛选与标注形成45,048个训练样本和8,518个测试样本，覆盖英语、中文、日语、法语、俄语和西班牙语六种语言。每个样本包含问题、选项、正确答案索引及人工核查过的推理过程，确保数据质量。数据以JSONL格式按语言分存于Train和Test文件夹中，便于按需加载与处理。

使用方法

使用MMedBench时，研究者可首先从HuggingFace仓库下载压缩包，解压后获取按语言分类的JSONL文件。每个文件中的样本包含question、options、answer_idx等字段，可直接用于模型训练或评估。对于开源模型，推荐先在训练集上进行微调，再在测试集上评估性能；对于GPT等API模型，可采用零样本设置直接测试。GitHub仓库提供了完整的微调代码与评估脚本，方便复现论文结果。数据集还支持按语言或任务筛选，灵活适配不同的研究需求。

背景与挑战

背景概述

MMedBench是由哈佛医学院AISC课程团队联合上海人工智能实验室等机构于2024年发布的多语言医学问答基准数据集。该数据集旨在解决当前医学语言模型主要集中于英语、缺乏跨语言泛化能力的研究困境，核心研究问题是如何构建能够覆盖英语、中文、日语、法语、俄语、西班牙语六种语言的高质量医学问答系统。MMedBench包含45,048对训练样本与8,518对测试样本，每项数据均配有标准答案与人工校验的推理过程，为多语言医学自然语言处理领域提供了首个系统化的评估标准。该基准的提出显著推动了多语言医学人工智能的发展，其配套发布的MMedLM系列模型在六种语言上均展现出超越GPT-4的潜力，为全球医疗知识共享与跨语言临床决策支持奠定了重要基础。

当前挑战

MMedBench面临的核心挑战包括：其一，医学领域问题的多语言覆盖与知识对齐难题——不同语言中医学概念表述差异显著，如中文与俄语中疾病命名的文化特异性，导致模型需要克服跨语言语义鸿沟，在六种语言间实现精准的医学知识迁移与推理；其二，高质量标注数据的构建挑战——数据集虽包含45,048条训练样本，但每条数据需同时提供问题、选项、标准答案及人工校验的推理过程，确保答案的可解释性与临床准确性，这对医学专家标注团队提出了极高的人力与时间成本要求；其三，现有模型在低资源语言（如法语、日语）上的性能差距显著，GPT-4在法语上准确率仅56.59%，而开源模型在日语上甚至低于40%，暴露出多语言医学问答系统在语言均衡性与鲁棒性上的技术瓶颈。

常用场景

经典使用场景

在跨语言医学自然语言处理领域，MMedBench作为首个涵盖六种语言（中、英、日、法、俄、西）的医学多项选择问答基准，其经典使用场景聚焦于评估和微调多语言大语言模型在医学知识推理上的综合能力。研究者通过该数据集提供的45,048条训练样本与8,518条测试样本，结合每道题目附带的专家校验解释（rationale），能够系统性地考察模型在医学诊断、治疗方案选择及药物机制理解等复杂任务中的表现，尤其关注模型在不同语言间的知识迁移与泛化水平。

解决学术问题

该数据集直面当前医学大语言模型研究中语言覆盖不均与评估标准匮乏的困境，首次构建了多语言、高质量且带有可解释性注释的医学问答基准。它解决了三个关键学术问题：一是量化模型在非英语医学场景下的性能差距，二是通过人工校验的推理链揭示模型决策逻辑的可信度，三是为跨语言持续预训练提供可靠的评估框架。其意义在于推动了医学AI从单语言依赖向多语言普惠的范式转变，为构建真正服务于全球医疗场景的多语言医学模型奠定了实证基础。

实际应用

在实际医疗场景中，MMedBench驱动的模型可被部署为多语言临床辅助决策系统，例如协助非英语地区的初级保健医生解析英文医学文献中的诊疗方案，或为跨国远程会诊提供跨语言诊断建议。此外，该数据集训练的模型能够支撑智能问诊平台的国际化扩展，实时将患者用母语描述的病症转化为标准化医学知识图谱查询，显著降低语言障碍导致的误诊风险。其配套的MMedLM系列模型已在六种语言的医学知识问答中展现出接近GPT-4的临床实用性。

数据集最近研究

最新研究方向

在大型语言模型迅猛发展的浪潮中，多语言医学知识问答能力的构建成为前沿焦点。MMedBench作为首个涵盖中、英、日、法、俄、西六语种的医学多选题基准，其研究直指当前模型在非英语语种上的性能短板。该数据集不仅提供4.5万训练样本与8.5千测试样本，更创新性地引入人工校验的推理解释，为模型可解释性研究奠定基础。基于此基准训练的MMedLM 2模型在俄语、西班牙语等语种上展现接近GPT-4的卓越表现，尤其在中文测试中达到80.01%的准确率，标志着开源多语言医学大模型已突破关键性能瓶颈。这一成果为全球医疗知识平等获取提供了技术路径，尤其对低资源语种的临床决策支持具有深远意义。