Multi-OphthaLingua

Multi-OphthaLingua 是首个多语言眼科问答数据集，由全球具有多样化语言背景的眼科专家创建，涵盖了英语、西班牙语、菲律宾语、葡萄牙语、普通话、法语和印地语。该数据集包含1184个问题，涉及基础眼科科学、临床案例、手术实践和术后护理等多个主题。问题以多选题形式呈现，每个问题有四个选项，并经过母语为相应语言的眼科专家审查，确保了问题的中立性和文化适宜性。数据集的创建旨在评估和减少大型语言模型在低收入和中等收入国家（LMICs）中的语言偏差，促进全球范围内眼科问答任务的公平应用。Multi-OphthaLingua is the first multilingual ophthalmic question-answering dataset, created by ophthalmologists with diverse linguistic backgrounds across the globe, covering English, Spanish, Tagalog, Portuguese, Mandarin, French, and Hindi. This dataset contains 1,184 questions spanning multiple topics including basic ophthalmic science, clinical cases, surgical practice, and post-operative care. The questions are presented in multiple-choice format with four options per question, and have been reviewed by ophthalmologists who are native speakers of the corresponding language to ensure the neutrality and cultural appropriateness of the questions. The dataset was developed to evaluate and mitigate linguistic biases of large language models (LLMs) in low- and middle-income countries (LMICs), and to promote the equitable application of ophthalmic question-answering tasks globally.

搜集汇总

数据集介绍

构建方式

Multi-OphthaLingua 数据集由来自全球的七位具有多语言背景的认证眼科医生精心构建，涵盖了英语、西班牙语、菲律宾语、葡萄牙语、普通话、法语和印地语七种语言。数据集包含1184个问题，这些问题源自巴西眼科委员会的考试，并经过手动翻译和校对，确保了语言的广泛覆盖和地理多样性。每个问题均为多选题，包含四个选项，并由母语为相应语言的眼科医生进行审核，以确保问题的医学准确性、语言正确性和文化适宜性。

特点

Multi-OphthaLingua 数据集的显著特点在于其跨语言的配对设计，使得直接的跨语言比较成为可能。这一特性在现有的多语言医学问答数据集中较为罕见。此外，数据集涵盖了广泛的眼科主题，包括基础科学、临床案例、手术实践和术后护理等，确保了其在评估语言模型在眼科领域的多语言表现时的全面性。

使用方法

Multi-OphthaLingua 数据集可用于评估和改进大型语言模型（LLMs）在多语言眼科问答任务中的表现。研究者可以通过该数据集进行定量和定性分析，探索LLMs在不同语言中的表现差异及其背后的原因。此外，数据集还可用于开发和测试新的去偏方法，如CLARA系统，以提高LLMs在多语言环境下的公平性和准确性。

背景与挑战

背景概述

Multi-OphthaLingua数据集由全球多语言背景的眼科专家团队创建，旨在评估和减少大型语言模型（LLMs）在低收入和中等收入国家（LMICs）中的眼科问答任务中的语言偏差。该数据集包含1184个多语言问题，涵盖英语、西班牙语、菲律宾语、葡萄牙语、普通话、法语和印地语，涉及眼科基础科学、临床案例、手术实践及术后护理等多个领域。其核心研究问题在于通过多语言对比，揭示LLMs在不同语言环境下的性能差异，并提出针对性的去偏方法，以促进全球医疗公平性。

当前挑战

Multi-OphthaLingua数据集面临的挑战主要集中在两个方面：首先，LLMs在LMICs语言中的表现显著低于高收入国家（HICs）语言，尤其是在临床和手术相关问题上，显示出模型在特定领域知识上的不足。其次，构建过程中，数据集的跨语言一致性和医学术语的准确翻译成为主要难题，尤其是在处理复杂医学术语和语言细微差别时，模型的表现尤为不佳。此外，现有去偏方法在多语言环境下的效果有限，难以全面解决语言和文化差异带来的挑战。

常用场景

经典使用场景

Multi-OphthaLingua 数据集的经典使用场景在于评估和优化大型语言模型（LLMs）在多语言环境下进行眼科问答任务的表现。该数据集包含了1184个多语言问题，涵盖英语、西班牙语、葡萄牙语、菲律宾语、普通话、法语和印地语，这些问题由全球多语言背景的眼科专家精心设计，确保了问题的中立性和跨文化适用性。通过该数据集，研究者可以进行直接的跨语言比较，评估LLMs在不同语言中的表现差异，特别是在低资源语言中的表现，从而为多语言医疗AI系统的开发提供重要参考。

衍生相关工作

Multi-OphthaLingua 数据集的发布催生了一系列相关研究，特别是在多语言医疗AI系统的开发和优化方面。例如，基于该数据集的研究提出了CLARA系统，这是一种针对多语言医疗问答任务的去偏方法，通过多代理框架实现了翻译、知识增强和自验证等功能，显著提升了LLMs在多语言环境下的表现。此外，该数据集还激发了对现有去偏方法的深入研究，如跨语言模板提示（XLT）和预翻译链式思维（Pre-Translate COT），进一步推动了多语言医疗AI系统的技术进步。

数据集最近研究

最新研究方向

近年来，Multi-OphthaLingua数据集在眼科领域的多语言问答任务中引起了广泛关注。该数据集通过涵盖英语、西班牙语、葡萄牙语、菲律宾语、普通话、法语和印地语等七种语言，首次实现了跨语言的直接比较，揭示了大型语言模型（LLMs）在不同语言环境下的性能差异。研究表明，LLMs在低资源语言（如菲律宾语和印地语）中的表现显著低于高资源语言（如英语），这凸显了在低收入和中等收入国家（LMICs）中部署LLMs时面临的语言偏见问题。为解决这一问题，研究团队提出了CLARA（Cross-Lingual Reflective Agentic system），一种结合翻译、知识增强和自我验证的推理时去偏方法，显著提升了多语言环境下的问答准确性和公平性。这一研究不仅为多语言医疗问答提供了新的基准，还为全球范围内医疗AI的公平应用提供了重要参考。

相关研究论文

• Multi-OphthaLingua: A Multilingual Benchmark for Assessing and Debiasing LLM Ophthalmological QA in LMICs

  麻省理工学院 · 2024年