katielink/liveqa_trec2017

---
task_categories:
- question-answering
language:
- en
tags:
- medical
pretty_name: LiveQAMedical
size_categories:
- n<1K
---

# Dataset Card for LiveQA Medical from TREC 2017

The LiveQA'17 medical task focuses on consumer health question answering. Consumer health questions were received by the U.S. National Library of Medicine (NLM).
The dataset consists of constructed medical question-answer pairs for training and testing, with additional annotations that can be used to develop question analysis and question answering systems.

Please refer to our overview paper for more information about the constructed datasets and the LiveQA Track:

Asma Ben Abacha, Eugene Agichtein, Yuval Pinter & Dina Demner-Fushman. Overview of the Medical Question Answering Task at TREC 2017 LiveQA. TREC, Gaithersburg, MD, 2017 (https://trec.nist.gov/pubs/trec26/papers/Overview-QA.pdf).

**Homepage:** [https://github.com/abachaa/LiveQA_MedicalTask_TREC2017](https://github.com/abachaa/LiveQA_MedicalTask_TREC2017)

## Medical Training Data

The dataset provides 634 question-answer pairs for training:

1) TREC-2017-LiveQA-Medical-Train-1.xml => 388 question-answer pairs corresponding to 200 NLM questions.
Each question is divided into one or more subquestion(s). Each subquestion has one or more answer(s).
These question-answer pairs were constructed automatically and validated manually.

2) TREC-2017-LiveQA-Medical-Train-2.xml => 246 question-answer pairs corresponding to 246 NLM questions.
Answers were retrieved manually by librarians.

**You can access them as jsonl**

The datasets are not exhaustive with regards to subquestions, i.e., some subquestions might not be annotated.
Additional annotations are provided for both (i) the Focus and (ii) the Question Type used to define each subquestion.
23 question types were considered (e.g. Treatment, Cause, Diagnosis, Indication, Susceptibility, Dosage) related to four focus categories: Disease, Drug, Treatment and Exam.

## Medical Test Data

Test split can be easily downloaded via huggingface.

Test questions cover 26 question types associated with five focus categories.
Each question includes one or more subquestion(s) and at least one focus and one question type.
Reference answers were selected from trusted resources and validated by medical experts.
At least one reference answer is provided for each test question, its URL and relevant comments.
Question paraphrases were created by assessors and used with the reference answers to judge the participants' answers.

```
If you use these datasets, please cite paper:

@inproceedings{LiveMedQA2017,
author = {Asma {Ben Abacha} and Eugene Agichtein and Yuval Pinter and Dina Demner{-}Fushman},
title = {Overview of the Medical Question Answering Task at TREC 2017 LiveQA},
booktitle = {TREC 2017},
year = {2017}
}
```

原始信息汇总

数据集概述

基本信息

• 任务类别：问答（question-answering）
• 语言：英语（en）
• 标签：医疗（medical）
• 数据集名称：LiveQAMedical
• 数据集大小：小于1000条记录（n<1K）

数据集描述

• 目的：专注于消费者健康问题的问答。
• 来源：美国国家医学图书馆（NLM）接收的消费者健康问题。
• 内容：包含构造的医学问答对，用于训练和测试，以及用于开发问答系统的额外标注。

训练数据

• 数量：634对问答
  • TREC-2017-LiveQA-Medical-Train-1.xml：388对问答，对应200个NLM问题。
  • TREC-2017-LiveQA-Medical-Train-2.xml：246对问答，对应246个NLM问题。
• 特点：
  • 部分问答对自动构建并手动验证。
  • 部分答案由图书馆员手动检索。
• 额外标注：
  • 问题焦点（Focus）
  • 问题类型（Question Type），包括23种类型，如治疗、原因、诊断等。

测试数据

• 特点：
  • 包含26种问题类型，与五个焦点类别相关。
  • 每个问题包含一个或多个子问题，至少有一个焦点和一个问题类型。
  • 参考答案来自可信资源，并由医学专家验证。
  • 每个测试问题至少提供一个参考答案及其URL和相关评论。
  • 问题重述由评估者创建，并与参考答案一起用于评估参与者的答案。

搜集汇总

数据集介绍

构建方式

在医学问答领域，LiveQA Medical数据集的构建体现了严谨的学术流程。该数据集源自美国国家医学图书馆接收的真实消费者健康咨询问题，通过自动化与人工验证相结合的方式构建了634个训练用问答对。其中部分问答对由系统自动生成并经过人工校验，另一部分则由专业图书馆员手动检索答案，确保了数据的可靠性与专业性。测试集则进一步由医学专家从权威资源中筛选参考答案，并辅以URL和注释，同时评估人员还创建了问题复述以用于答案评估，整体构建过程融合了自动化处理与多层次人工审核。

特点

该数据集的核心特点在于其精细的语义标注与多层次的问答结构。每个医学问题均被分解为一个或多个子问题，并标注了焦点类别（如疾病、药物、治疗、检查）和23种问题类型（如治疗、病因、诊断等），这种深度标注为模型理解医学问题的意图和范畴提供了结构化信息。此外，数据集不仅提供标准问答对，还包含问题复述、参考答案来源及专家评论，形成了多维度的评估框架，特别适用于开发需要细粒度分析的医学问答系统。

使用方法

使用本数据集时，研究者可将其应用于医学问答系统的训练与评估。训练集可用于模型学习如何将消费者健康问题分解为子问题并生成准确答案，而测试集则支持对系统答案进行自动化或人工评估，通过对比参考答案与问题复述来评判答案的相关性与准确性。数据集以XML和JSONL格式提供，便于直接加载至自然语言处理框架；同时，用户需遵循学术规范，引用相关论文，并可访问其GitHub主页获取详细的使用说明与更新信息。

背景与挑战

背景概述

在医疗信息检索领域，消费者健康问答系统的发展对于提升公众健康素养至关重要。LiveQA Medical数据集诞生于2017年，由美国国家医学图书馆（NLM）与TREC会议合作构建，核心研究人员包括Asma Ben Abacha、Eugene Agichtein等学者。该数据集聚焦于医疗问答任务，旨在通过构建高质量的医学问题-答案对，推动自然语言处理技术在医疗领域的应用，特别是针对消费者提出的复杂健康咨询。其影响力体现在为后续医疗问答系统的评估与优化提供了标准化基准，促进了跨学科研究融合。

当前挑战

该数据集致力于解决医疗问答领域的核心挑战：如何准确理解消费者非结构化健康问题，并生成可靠、专业的答案。具体挑战包括处理医学术语的歧义性、应对问题类型的多样性（如治疗、病因、诊断等23类），以及确保答案来源的权威性与临床相关性。在构建过程中，研究人员面临数据标注的复杂性，例如手动验证自动生成的问答对、协调医学专家参与答案审核，以及整合多焦点类别（如疾病、药物、检查）的注释信息，这些过程需平衡效率与精度，以维护数据集的科学严谨性。

常用场景

经典使用场景

在医疗信息检索与问答系统研究领域，LiveQA Medical数据集作为TREC 2017 LiveQA医疗任务的基准资源，其经典使用场景聚焦于消费者健康问题的自动问答模型训练与评估。该数据集通过精心构建的医学问答对，为研究者提供了模拟真实用户查询的环境，尤其适用于开发能够理解复杂医学问题、解析问题焦点与类型、并生成准确答案的自然语言处理系统。其训练与测试数据均涵盖多种问题类型与焦点类别，为模型在细分医疗领域的性能优化提供了结构化支撑。

解决学术问题

该数据集有效应对了医疗问答系统中长期存在的若干学术挑战，包括如何精准解析消费者提出的非结构化健康问题、如何将问题映射到具体的医学焦点（如疾病、药物、治疗）与问题类型（如治疗、病因、诊断），以及如何从权威医学资源中检索并生成可信答案。通过提供人工验证的问答对与丰富注释，它促进了问答系统在语义理解、答案相关性判断及医学知识整合方面的研究，显著提升了自动问答模型在专业医疗领域的准确性与可靠性。

衍生相关工作

围绕LiveQA Medical数据集，已衍生出一系列经典研究工作，主要集中在医疗问答系统的算法创新与评估框架构建。例如，研究者利用该数据探索了基于深度学习的端到端问答模型、结合医学知识图谱的增强型检索方法，以及针对问题焦点与类型的多任务学习框架。这些工作不仅推动了TREC LiveQA医疗任务参赛系统的性能提升，也为后续更广泛的医疗自然语言处理数据集（如MedQuAD、PubMedQA）的构建与评测提供了重要参考与方法论启示。