aisc-team-c1/MMedBench

MMedBench是一个全面的多语言医学基准，包含45,048个用于训练的问答对和8,518个用于测试的问答对。每个样本包括一个问题、选项、正确答案以及选择正确答案的参考解释。数据集支持多种语言，包括英语、中文、日语、法语、俄语和西班牙语。数据以.jsonl文件格式提供，每个文件对应一种语言，每个样本包含问题、选项、答案索引、解释、人工检查状态和人工检查通过状态等属性。

MMedBench is a comprehensive multilingual medical benchmark comprising 45,048 QA pairs for training and 8,518 QA pairs for testing. Each sample includes a question, options, the correct answer, and a reference explanation for the selection of the correct answer. The dataset supports multiple languages including English, Chinese, Japanese, French, Russian, and Spanish. Each samples attributes include question, options, answer_idx, rationale, human_checked, and human_check_passed.

原始信息汇总

MMedBench 数据集概述

基本信息

• 许可证: cc-by-4.0
• 语言:
  • 英语 (en)
  • 中文 (zh)
  • 日语 (ja)
  • 法语 (fr)
  • 俄语 (ru)
  • 西班牙语 (es)
• 标签: medical
• 任务类别: question-answering

数据配置

• 西班牙语配置:
  • 数据文件: "Spanish.jsonl"
• 英语配置:
  • 数据文件: "English.jsonl"

数据集介绍

• 数据集名称: MMedBench
• 数据类型: 多语种医学问答数据集
• 数据量:
  • 训练集: 45,048 个 QA 对
  • 测试集: 8,518 个 QA 对
• 数据格式:
  • 每个样本包含以下属性:
    • question: 问题字符串
    • options: 选项字典，键为索引 A,B,C,D,E，值为选项字符串
    • answer_idx: 正确答案索引字符串，每个索引用逗号分隔
    • rationale: 选择正确答案的解释字符串
    • human_checked: 是否已手动检查解释
    • human_check_passed: 解释是否通过手动检查

数据访问

• 下载链接: MMedBench.zip
• 文件结构:
  • 包含两个文件夹: Train 和 Test
  • 每个文件夹包含六个 .jsonl 文件，每个文件对应一种语言
  • 每行代表一个样本

评估结果

• 评估模型:
  • GPT-3.5, GPT-4, Gemini-1.0 pro, BLOOMZ, InternLM, Llama 2, MedAlpaca, ChatDoctor, PMC-LLaMA, Mistral, InternLM 2, MMedLM, MMedLM 2
• 评估指标:
  • 各模型在不同语言上的表现
• 评估设置:
  • GPT 和 Gemini 在零样本设置下通过 API 评估
  • 开源模型首先在 MMedBench 训练集上进行训练，然后进行评估

联系信息

• 联系方式: [e-mail]

引用

@misc{qiu2024building, title={Towards Building Multilingual Language Model for Medicine}, author={Pengcheng Qiu and Chaoyi Wu and Xiaoman Zhang and Weixiong Lin and Haicheng Wang and Ya Zhang and Yanfeng Wang and Weidi Xie}, year={2024}, eprint={2402.13963}, archivePrefix={arXiv}, primaryClass={cs.CL} }