DermaVQA

皮肤病视觉问答多语言多模态数据集，包含临床皮肤科文本查询及其相关图像，以及查询的答案。

Multilingual Multimodal Dataset for Dermatological Visual Question Answering, comprising clinical dermatological text queries, their corresponding images, and the answers to the queries.

原始信息汇总

DermaVQA 数据集概述

数据集简介

DermaVQA 是一个用于皮肤科多模态问题回答的数据集。该数据集包含了临床皮肤科文本查询、相关图像以及查询的答案，适用于两个数据子集：iiyi 和 reddit。数据集支持三种语言：中文（zh）、英文（en）和西班牙文（es）。

任务描述

该数据集用于生成适当的文本回答，输入包括临床上下文的文本、查询以及一个或多个图像。

数据分布

iiyi 子集

• 训练集：842 实例
• 验证集：56 实例
• 测试集：100 实例

reddit 子集

• 训练集：435 实例
• 验证集：50 实例
• 测试集：100 实例

数据描述

输入内容

• (a) JSON 列表，每个实例由以下属性的 JSON 对象表示：

  • encounter_id: 病例的唯一标识符
  • image_ids: 图像 ID 列表
  • query_title_{LANGUAGE}: 查询标题
  • query_content_{LANGUAGE}: 查询内容

• (b) 带有唯一 ID 的图像文件

• (c) df_userinfo.csv 文件，包含作者属性

• (d) 参考数据，包含以下字段：

  • responses: 包含以下键的 JSON 对象列表（author_id, content_{LANGUAGE}, completeness, contains_freq_ans）

输出内容

• 输出应为 JSON 列表，至少包含以下内容：
  • encounter_id: 病例的唯一标识符
  • responses: 包含以下键的 JSON 对象列表（content_{LANGUAGE}）

评估脚本

• 评估代码可在以下仓库找到：MEDIQA-M3G-2024
• 使用的评估指标包括：DeltaBLEU、bertscore 和 MEDCON

联系方式

• MEDIQA-NLP 邮件列表：mediqa-nlp
• 电子邮件：[e-mail]

组织者

• Wen-wai Yim, Microsoft, USA
• Asma Ben Abacha, Microsoft, USA
• Meliha Yetisgen, University of Washington, USA
• Fei Xia, University of Washington, USA
• Martin Krallinger, Barcelona Supercomputing Center, Spain

搜集汇总

数据集介绍

构建方式

DermaVQA数据集的构建旨在应对远程临床诊断与治疗的需求增长，特别是针对皮肤科领域的多模态查询响应生成问题。该数据集通过整合临床文本信息、患者生成的图像以及查询内容，构建了一个包含中文、英文和西班牙文三种语言的多语言数据集。数据集的构建分为iiyi和reddit两个子集，每个子集都包含训练、验证和测试数据，其中非英文的训练集是从中文原始数据通过机器翻译得到的，而验证和测试集则是通过人工翻译以保证质量。

使用方法

使用DermaVQA数据集时，用户需要根据数据集提供的JSON格式进行操作。数据集包含了训练、验证和测试数据，用户可以按照需求下载相应的数据子集。对于iiyi子集，图像数据可以通过OSF链接获取；而对于reddit子集，则需要利用Reddit API下载输入数据。在使用数据集时，还需遵循数据描述中的格式，正确解析和处理输入内容，以及按照输出内容的格式要求生成JSON格式的回答。评估时，可以使用提供的脚本，根据DeltaBLEU、bertscore和MEDCON等指标进行性能评估。

背景与挑战

背景概述

随着远程医疗诊断和治疗需求的增加，DermaVQA数据集应运而生，旨在解决临床皮肤病学多模态查询响应生成问题。该数据集由Wen-wai Yim、Asma Ben Abacha等研究人员于2024年创建，并应用于MEDIQA-M3G@Codabench和MEDIQA-MAGIC两个挑战中。DermaVQA是首个尝试自动化生成临床响应的数据集，输入包括临床文本历史、用户生成图像和查询。该数据集涵盖了iiyi和reddit两个子集，语言包括中文、英文和西班牙文。

当前挑战

DermaVQA数据集面临的挑战包括：1) 在消费者健康问答领域，尽管已有相关研究，但将文本与图像结合进行查询的自动化响应生成研究尚属空白；2) 构建该数据集时，研究人员需克服多语言数据的一致性和准确性问题，以及利用有限的医疗资源进行数据标注和验证。此外，评价生成的医学文本响应的质量，需要特定的评价标准，如DeltaBLEU、bertscore和MEDCON，这些标准的准确应用是该领域的另一挑战。

常用场景

经典使用场景

在远程医疗诊断与治疗日益普及的背景下，DermaVQA数据集提供了一个独特的视角，其经典使用场景在于辅助临床皮肤科的多模态问题回答。该数据集整合了文本形式的临床背景和查询，以及相关的图像资料，旨在生成恰当的文本回应。

解决学术问题

DermaVQA数据集解决了传统视觉问题回答研究仅关注文本或放射学图像的局限，通过结合临床文本和用户生成图像，为皮肤科诊断提供了新的研究途径。它有助于推动医学图像计算和计算机辅助干预领域的发展，特别是在多模态信息融合和生成式回答方面。

实际应用

实际应用中，DermaVQA数据集可用于构建智能系统，以支持医生在远程医疗环境下对皮肤病例的咨询和诊断。这种系统的应用能够提高医疗服务的效率，降低成本，并为患者提供更加便捷的医疗服务。

数据集最近研究

最新研究方向

随着远程医疗诊断与治疗需求的增加，DermaVQA数据集应运而生，其专注于临床皮肤科多模态查询响应生成问题。该数据集结合了临床文本、用户生成图像和查询，旨在自动生成临床响应。当前研究领域的前沿方向集中在多语言多模态医疗问答生成上，如MEDIQA-M3G和MEDIQA-MAGIC任务所示，这两个任务均为2024年的共享任务，旨在推动远程医疗中皮肤科诊断的准确性。DermaVQA数据集的构建不仅填补了先前研究的空白，也促进了医学图像分类和自然语言处理技术的融合，对于提升远程医疗服务的质量和效率具有重要的实际意义。