li-lab/MultiMed-X

MultiMed-X是一个多语言基准数据集，用于评估医学推理能力，包括自然语言推理（NLI）和开放式问答（QA）。该数据集旨在评估大型语言模型在非英语医学环境中的推理质量、事实准确性和本地化能力，特别关注低资源语言。数据集通过翻译和专家验证两个已建立的英语医学基准（BioNLI和LiveQA）构建，涵盖了7种非英语语言：中文（ZH）、日语（JA）、韩语（KO）、斯瓦希里语（SW）、泰语（TH）、约鲁巴语（YO）和祖鲁语（ZU）。每个实例都经过双语医学专家的独立审查和修订，以确保临床正确性和语言自然性。数据集格式为统一的表格，包含多个字段，如id、lang、task、source、text和label。数据集包含350个实例每种语言，总计约2,450个实例，由约12名医生或高级医学生注释和验证。数据集的用途包括多语言医学推理评估、跨语言鲁棒性分析、低资源语言基准测试等，但不适用于临床部署或直接医疗决策。MultiMed-X is a multilingual benchmark for medical reasoning evaluation across natural language inference (NLI) and open-ended question answering (QA). The dataset is designed to assess reasoning quality, factual accuracy, and localization of large language models in non-English medical settings, with particular emphasis on low-resource languages. The dataset is constructed by translating and expert-validating two established English medical benchmarks (BioNLI and LiveQA), covering 7 non-English languages: Chinese (ZH), Japanese (JA), Korean (KO), Swahili (SW), Thai (TH), Yoruba (YO), and Zulu (ZU). Each instance is independently reviewed and revised by bilingual medical experts to ensure clinical correctness and linguistic naturalness. The dataset format is a unified table with fields such as id, lang, task, source, text, and label. The dataset contains 350 instances per language, totaling approximately 2,450 instances, annotated and validated by about 12 physicians or senior medical students. The intended uses include multilingual medical reasoning evaluation, cross-lingual robustness analysis, low-resource language benchmarking, etc., but it is not intended for clinical deployment or direct medical decision-making.

搜集汇总

数据集介绍

构建方式

在自然语言处理与医学推理的交叉领域中，多语言评估基准的匮乏长期制约着大型语言模型在非英语临床环境中的性能验证。MultiMed-X数据集应运而生，其构建过程严谨且系统：首先，从BioNLI和LiveQA两个成熟的英文医学基准中分别抽取150条自然语言推理样本和200条开放式问答样本，构成350条核心实例。随后，这些实例被翻译为中文、日语、韩语、斯瓦希里语、泰语、约鲁巴语和祖鲁语七种语言，形成约2450条总实例。为确保临床正确性与语言自然度，每一条翻译均经过双语医学专家的独立审查与修订，最终以统一的JSONL或Parquet格式整合发布。

使用方法

研究者可借助Hugging Face的datasets库便捷加载MultiMed-X数据集，并利用其统一的字段结构进行多语言医学推理评估。该数据集适用于跨语言鲁棒性分析、低资源语言基准测试以及推理策略的对比研究，例如链式思维推理、结构化推理或智能体系统。使用时需注意，NLI任务提供标签字段用于监督评估，而QA任务则需通过生成式回答进行人工或自动评价。数据集明确声明仅供研究与评估用途，不得用于临床部署或直接医疗决策。

背景与挑战

背景概述

在大型语言模型迅猛发展的当下，其在医学领域的推理能力评测日益受到关注，然而现有基准大多局限于英语环境，忽视了非英语及低资源语言的医疗场景需求。为弥合这一语言鸿沟，由Fan Gao、Sherry T. Tong等来自多所国际机构的研究人员于2026年共同创建的MultiMed-X数据集应运而生。该数据集基于BioNLI和LiveQA两个成熟的英语医学基准，通过翻译并经由约12名双语医学专家独立审核修订，构建了一个涵盖自然语言推理与开放问答任务的七语言多语种医学推理评估基准。其核心研究问题在于系统评估大型语言模型在非英语医疗语境下的推理质量、事实准确性及本地化能力，对推动多语种医学自然语言处理研究具有重要价值。

当前挑战

MultiMed-X数据集所面对的挑战首先体现在领域问题的复杂性上：医学推理评测不仅要求模型具备准确的临床知识理解与逻辑推断能力，更需在低资源语言环境下保持稳健的跨语言泛化性能，避免因语言差异导致的推理偏差。在构建过程中，挑战同样显著：将英语医学基准翻译为中文、日语、韩语、斯瓦希里语、泰语、约鲁巴语和祖鲁语等七种语言时，需确保医学术语翻译的精确性与临床语境的自然性，这要求双语医学专家进行逐条审核与修订，工作量巨大；此外，不同语言间标注一致性的维护、低资源语言数据稀缺性的克服，以及如何设计合理的实例规模以平衡评测效率与代表性，均为构建过程增添了显著的技术与资源难题。

常用场景

经典使用场景

在医学自然语言处理领域，MultiMed-X数据集被广泛用于评估大语言模型在多语言环境下的医学推理能力，尤其聚焦于自然语言推理（NLI）和开放式问答（QA）两大经典任务。该数据集通过将英语医学基准（BioNLI和LiveQA）翻译并经过双语医学专家验证，覆盖七种非英语语言，包括汉语、日语、韩语、斯瓦希里语、泰语、约鲁巴语和祖鲁语，为研究者提供了跨语言、低资源场景下模型推理质量与事实准确性的标准化评测平台。其精心设计的实例结构和独立审核机制，使得该数据集成为检验模型在多语言医学推理中是否具备鲁棒性与语言适应性的关键工具。

解决学术问题

MultiMed-X数据集的核心学术价值在于揭示了当前大语言模型在非英语医学推理中的显著语言偏差，解决了低资源语言医学知识表示与推理能力评估匮乏的难题。通过构建包含350实例每语言的多语言基准，该数据集系统地量化了模型在自然语言推理和开放式问答中的表现差异，尤其突显了英语与低资源语言（如祖鲁语、约鲁巴语）之间的性能鸿沟。这一工作为跨语言医学推理研究提供了可复现的评估标准，推动了语言信息协同推理策略（如MED-COREASONER）的发展，从而助力减少语言差异对医学AI公平性的负面影响。

实际应用

在实际应用中，MultiMed-X数据集主要服务于医疗AI系统的多语言能力验证与优化，特别是在低资源语言地区的临床辅助决策场景中。例如，开发者可利用该数据集评估面向非洲或亚洲地区的医疗问答系统在本地语言环境下的准确性，确保模型能正确理解患者用斯瓦希里语或泰语描述的病症并给出合理建议。此外，该数据集也可用于多语言医疗知识图谱的构建、跨语言医学信息检索系统的鲁棒性测试，以及非英语国家医学教育中AI辅导工具的可靠性评估，从而促进全球医疗资源的均衡分配。

数据集最近研究

最新研究方向

当前，随着大型语言模型在医疗领域的广泛应用，如何确保其在非英语环境，尤其是低资源语言中的推理准确性与事实一致性，成为前沿研究焦点。MultiMed-X作为首个覆盖七种非英语语言（包括斯瓦希里语、祖鲁语等低资源语言）的医学推理基准，填补了多语言医疗自然语言推理与开放式问答评估的空白。该数据集通过专家验证的翻译与临床校正，系统评估模型在语言多样性下的推理质量与定位能力，为减少医疗AI的语言鸿沟提供了关键工具。其与MED-COREASONER协同推理框架的联合发布，标志着从单语评估向多语言鲁棒性分析的重要转型，对推动全球医疗公平性与低资源地区的智能诊疗发展具有里程碑意义。