HealthBench-ProX

HealthBench-ProX是原始HealthBench Professional基准的多语言扩展数据集，旨在评估大语言模型在现实医疗咨询场景中的表现。该数据集包含6,825个评估实例，涵盖13种语言：德语、英语、法语、印地语、伊博语、日语、韩语、马来语、葡萄牙语、斯瓦希里语、泰语、中文和祖鲁语。每个实例均包含用户查询、评估标准、医生参考回答以及相关元数据。数据源自英文原始基准，通过GPT-5.4（部署于Azure OpenAI服务）机器翻译生成多语言版本，未新增评估内容。数据集结构按语言分组，每个示例包含以下字段：唯一标识符（id）、对话内容（conversation）、评估标准项（rubric_items）、医生回答（physician_response）、专业领域（specialty）、难度（difficulty）、使用案例（use_case）和类型（type）。该数据集适用于多语言医疗大语言模型评估、跨语言鲁棒性测试、医学推理基准分析以及医疗沟通能力评测，仅限研究用途。需注意，翻译可能无法完全保留原始语言的所有细微差别，且评估结果不应被解释为临床能力或实际医疗决策的依据。HealthBench-ProX is a multilingual extension dataset of the original HealthBench Professional benchmark, designed to evaluate the performance of large language models in real-world medical consultation scenarios. The dataset contains 6,825 evaluation instances covering 13 languages: German, English, French, Hindi, Igbo, Japanese, Korean, Malay, Portuguese, Swahili, Thai, Chinese, and Zulu. Each instance includes user queries, evaluation criteria, physician reference responses, and related metadata. The data originates from the English original benchmark and is generated as a multilingual version through machine translation using GPT-5.4 (deployed on Azure OpenAI service), with no additional evaluation content added. The dataset structure is grouped by language, with each example containing the following fields: unique identifier (id), conversation content (conversation), rubric items (rubric_items), physician response (physician_response), specialty (specialty), difficulty (difficulty), use case (use_case), and type (type). This dataset is suitable for multilingual medical large language model evaluation, cross-lingual robustness testing, medical reasoning benchmark analysis, and medical communication ability assessment, for research purposes only. It should be noted that translations may not fully preserve all nuances of the original language, and evaluation results should not be interpreted as clinical competence or the basis for actual medical decisions.

原始信息汇总

HealthBench-ProX 数据集概述

HealthBench-ProX 是原始 HealthBench Professional 基准测试的多语言扩展版本，用于评估大型语言模型在真实医疗咨询场景中的表现。

数据集规模与语言

• 总计包含 6,825 条评估实例
• 覆盖 13 种语言：
  • 德语 (de)、英语 (en)、法语 (fr)、印地语 (hi)、伊博语 (ig)、日语 (ja)、韩语 (ko)、马来语 (ms)、葡萄牙语 (pt)、斯瓦希里语 (sw)、泰语 (th)、中文 (zh)、祖鲁语 (zu)

数据构成

每个示例包含以下字段：

• id：唯一标识符
• conversation：用户对话内容
• rubric_items：评估标准项
• physician_response：医师参考回复
• specialty：专业领域
• difficulty：难度等级
• use_case：使用场景
• type：类型

数据创建方式

• 源数据来自原始 HealthBench Professional 基准
• 使用 Azure OpenAI Service 部署的 GPT-5.4 模型将英文示例翻译成 13 种语言
• 翻译过程保留了原始基准的结构（用户查询、评估标准、医师回复及元数据）
• 未创建新的评估实例

数据集结构

数据集按语言划分为独立的子集（splits），共13个，可单独加载使用。

预期用途

• 多语言医疗领域大语言模型评估
• 跨语言鲁棒性评估
• 医学推理基准测试
• 医疗沟通评估
• 仅限研究用途

局限性

• 翻译后的示例可能无法完全保留原始基准的语言细微差异
• 在该数据集上的表现不应解读为临床能力或适用于真实世界的医疗决策

搜集汇总

数据集介绍

构建方式

HealthBench-ProX 数据集作为原始 HealthBench Professional 基准测试的多语言扩展，旨在评估大语言模型在多语言真实医疗咨询场景中的表现。该数据集基于原始基准的英文样例，通过部署于 Azure OpenAI Service 的 GPT-5.4 机器翻译系统，将用户查询、评估标准、医师参考应答及元数据等关键内容精准翻译至涵盖德语、英语、法语、印地语、伊博语、日语、韩语、马来语、葡萄牙语、斯瓦希里语、泰语、中文、祖鲁语在内的 13 种语言。整个构建过程未新增任何评估实例，仅通过语言转换保留了原始基准的完整结构，确保了跨语言版本与源数据在内容和语义上的一致性。

使用方法

研究者可通过 Hugging Face Datasets 库便捷加载特定语言子集，例如使用 `load_dataset("li-lab/HealthBench-ProX", split="ja")` 直接获取日语评估数据。数据集适用于多语言医疗大语言模型评估、跨语言鲁棒性测试、医学推理基准分析及医疗通信效果评价等研究场景。需注意，机器翻译可能未完全保留原始语言中的细微差异，且该数据集仅供科研用途，其评估结果不应被解读为模型在真实临床环境中的医疗决策能力或适用性。

背景与挑战

背景概述

HealthBench-ProX是由Li Lab于2026年创建的一个多语言医疗健康基准数据集，旨在评估大型语言模型在真实医疗咨询场景中的表现。该数据集基于OpenAI发布的原始HealthBench Professional基准，通过GPT-5.4模型翻译扩展至包括德语、英语、法语、印地语、伊博语、日语、韩语、马来语、葡萄牙语、斯瓦希里语、泰语、中文和祖鲁语在内的13种语言，共计6,825个评估实例。每个实例包含用户查询、评估标准、医师参考回答及元数据，专注于多语言医疗领域的问答与文本生成任务。该数据集在跨语言医疗大模型评估领域具有开创性意义，为研究模型在多语言环境下的医疗推理与沟通能力提供了标准化工具。

当前挑战

HealthBench-ProX面临的核心挑战在于多语言医疗场景的评估复杂性。在领域问题层面，大规模语言模型需同时处理语言多样性、医疗专业术语的跨文化适配以及不同语言中临床推理逻辑的差异，这对模型的跨语言鲁棒性提出了严苛要求。在构建过程中，通过机器翻译将原始英文基准扩展至13种语言时，可能无法完美保留医疗对话中的文化特定表达、习语及细微语义差异，导致评估偏差。此外，翻译后的内容需验证是否准确反映原始医师回答的临床合理性，而缺乏专家审核机制可能影响数据可靠性。最终，模型在此基准上的表现不能直接等同于临床胜任能力，如何将评估结果安全转化为实际医疗应用仍是一大难题。

常用场景

经典使用场景

HealthBench-ProX 作为一项多语言医疗健康评测基准，其核心应用场景在于评估大型语言模型在真实医疗咨询情境下的表现。该数据集通过涵盖德语、英语、法语、印地语、伊博语、日语、韩语、马来语、葡萄牙语、斯瓦希里语、泰语、中文和祖鲁语等13种语言，为研究者提供了一个跨语言、多文化的测试平台。经典使用方式包括加载特定语言子集，利用用户查询、评估细则和医师参考回答等结构化信息，对模型的医疗推理能力、对话生成质量以及专业术语理解进行系统性评估。这种设计使得开发者能够深入探究模型在不同语言环境下的诊断准确性和沟通效果，从而推动多语言医疗人工智能技术的进步。

解决学术问题

HealthBench-ProX 主要解决了学术领域中对大型语言模型在多语言医疗场景下性能评估的空白。传统评测基准往往局限于英语或少数几种高资源语言，忽视了语言多样性对模型泛化能力的影响。该数据集通过提供13种语言的标准化评测数据，使研究者能够系统性地考察模型在处理低资源语言（如伊博语、祖鲁语）时的稳健性，以及跨语言迁移学习的效果。这有助于揭示模型在非英语语境下的潜在偏差和知识缺口，从而推动医疗人工智能在公平性、鲁棒性和包容性方面的研究。其意义在于为学术界提供了一种可靠的工具，以验证模型是否具备应对全球医疗多样性的能力，并促进更具代表性的医学语言模型的开发。

实际应用

在实际应用中，HealthBench-ProX 主要用于支持跨国医疗健康场景下的人工智能系统研发与测试。例如，医疗科技公司可以利用该数据集评估其开发的智能问诊系统在多语言环境中的表现，确保模型能够准确理解并回应不同语言背景患者的健康咨询。此外，公共卫生机构或非政府组织可借助此基准，筛选出最适合特定语言区域的对话式医疗助手，用于远程医疗、健康教育和疾病预防等任务。该数据集还能帮助验证模型在紧急情况下的沟通效率，例如在疫情暴发时，快速部署多语言聊天机器人以提供准确的医疗指导。通过这些实践，HealthBench-ProX 助力弥合语言障碍，提升全球医疗服务的可及性和质量。

数据集最近研究

最新研究方向

HealthBench-ProX作为医疗领域大语言模型评估的前沿基准，聚焦于多语言环境下的临床咨询能力测评。该数据集通过GPT-5.4将原始英文医疗基准扩展至13种语言，涵盖德语、日语、祖鲁语等高资源与低资源语言，为跨语言医疗推理鲁棒性研究提供了关键工具。在生成式人工智能与全球健康公平性议题备受关注的当下，该数据集填补了非英语医疗场景中模型评估的空白，尤其对非洲语言（如伊博语、祖鲁语）的覆盖，推动了医疗AI向包容性发展。其研究价值不仅在于衡量模型的多语言问答能力，更在于揭示语言差异对临床知识迁移的影响，为构建通用医疗智能体奠定评估基石。