V
收藏WorldMedQA-V: 多语言、多模态医学考试数据集
概述
WorldMedQA-V 是一个多语言和多模态的基准数据集，旨在评估视觉语言模型（VLM）在医疗环境中的表现。该数据集包含来自巴西、以色列、日本和西班牙的医学考试问题，涵盖原始语言和英语翻译。每个多项选择题都配有一张相应的医学图像，使得能够对VLM在多模态数据上的表现进行全面评估。
关键特点：
- 多语言： 支持本地语言（葡萄牙语、希伯来语、日语和西班牙语）以及英语翻译。
- 多模态： 每个问题都附有医学图像，允许对VLM在文本和视觉输入上的表现进行综合评估。
- 临床验证： 所有问题和答案均由相应国家的母语临床医生审查和验证。
数据集详情
- 问题数量： 568
- 覆盖国家： 巴西、以色列、日本、西班牙
- 语言： 葡萄牙语、希伯来语、日语、西班牙语和英语
- 数据类型： 多项选择题，附有医学图像
- 评估： 模型在本地语言和英语中的表现，以及有无医学图像的情况
该数据集旨在弥合现实医疗环境与AI评估之间的差距，促进更公平、有效和具有代表性的应用。
数据结构
数据集以TSV格式提供，结构如下：
- ID： 每个问题的唯一标识符。
- 问题： 本地语言的医学多项选择题。
- 选项： 可能的答案列表（A-D）。
- 正确答案： 正确答案的标签。
- 图像路径： 相应医学图像的路径（如果适用）。
- 语言： 问题的语言（原始或英语翻译）。
巴西示例：
- 问题： Um paciente do sexo masculino, 55 anos de idade, tabagista 60 maços/ano... [完整医学问题见下文]
- 选项：
- A: Aspergilose pulmonar
- B: Carcinoma pulmonar
- C: Tuberculose cavitária
- D: Bronquiectasia com infecção
- 正确答案： B
下载和使用
数据集可以从Hugging Face数据集页面下载。所有处理和评估数据集的代码均可在以下仓库中找到：
- 数据集代码： WorldMedQA GitHub仓库
- 评估代码： VLMEvalKit GitHub仓库
如何开始： Google Colab演示
引用
请使用以下arXiv预印本引用此数据集：
bibtex @misc{WorldMedQA-V2024, title={WorldMedQA-V: a multilingual, multimodal medical examination dataset for multimodal language models evaluation}, author={João Matos and Shan Chen and Siena Placino and Yingya Li and Juan Carlos Climent Pardo and Daphna Idan and Takeshi Tohyama and David Restrepo and Luis F. Nakayama and Jose M. M. Pascual-Leone and Guergana Savova and Hugo Aerts and Leo A. Celi and A. Ian Wong and Danielle S. Bitterman and Jack Gallifant}, year={2024}, eprint={2410.12722}, archivePrefix={arXiv}, primaryClass={cs.CL}, url={https://arxiv.org/abs/2410.12722}, }
