soniji12345/PubMedQA

---
annotations_creators:
- expert-generated
- machine-generated
language_creators:
- expert-generated
language:
- en
license:
- mit
multilinguality:
- monolingual
size_categories:
- 100K<n<1M
- 10K<n<100K
- 1K<n<10K
source_datasets:
- original
task_categories:
- question-answering
task_ids:
- multiple-choice-qa
paperswithcode_id: pubmedqa
pretty_name: PubMedQA
config_names:
- pqa_artificial
- pqa_labeled
- pqa_unlabeled
dataset_info:
- config_name: pqa_artificial
features:
- name: pubid
dtype: int32
- name: question
dtype: string
- name: context
sequence:
- name: contexts
dtype: string
- name: labels
dtype: string
- name: meshes
dtype: string
- name: long_answer
dtype: string
- name: final_decision
dtype: string
splits:
- name: train
num_bytes: 443501057
num_examples: 211269
download_size: 233411194
dataset_size: 443501057
- config_name: pqa_labeled
features:
- name: pubid
dtype: int32
- name: question
dtype: string
- name: context
sequence:
- name: contexts
dtype: string
- name: labels
dtype: string
- name: meshes
dtype: string
- name: reasoning_required_pred
dtype: string
- name: reasoning_free_pred
dtype: string
- name: long_answer
dtype: string
- name: final_decision
dtype: string
splits:
- name: train
num_bytes: 2088898
num_examples: 1000
download_size: 1075513
dataset_size: 2088898
- config_name: pqa_unlabeled
features:
- name: pubid
dtype: int32
- name: question
dtype: string
- name: context
sequence:
- name: contexts
dtype: string
- name: labels
dtype: string
- name: meshes
dtype: string
- name: long_answer
dtype: string
splits:
- name: train
num_bytes: 125922964
num_examples: 61249
download_size: 66010017
dataset_size: 125922964
configs:
- config_name: pqa_artificial
data_files:
- split: train
path: pqa_artificial/train-*
- config_name: pqa_labeled
data_files:
- split: train
path: pqa_labeled/train-*
- config_name: pqa_unlabeled
data_files:
- split: train
path: pqa_unlabeled/train-*
---

# Dataset Card for [Dataset Name]

## Table of Contents
- [Dataset Description](#dataset-description)
- [Dataset Summary](#dataset-summary)
- [Supported Tasks and Leaderboards](#supported-tasks-and-leaderboards)
- [Languages](#languages)
- [Dataset Structure](#dataset-structure)
- [Data Instances](#data-instances)
- [Data Fields](#data-fields)
- [Data Splits](#data-splits)
- [Dataset Creation](#dataset-creation)
- [Curation Rationale](#curation-rationale)
- [Source Data](#source-data)
- [Annotations](#annotations)
- [Personal and Sensitive Information](#personal-and-sensitive-information)
- [Considerations for Using the Data](#considerations-for-using-the-data)
- [Social Impact of Dataset](#social-impact-of-dataset)
- [Discussion of Biases](#discussion-of-biases)
- [Other Known Limitations](#other-known-limitations)
- [Additional Information](#additional-information)
- [Dataset Curators](#dataset-curators)
- [Licensing Information](#licensing-information)
- [Citation Information](#citation-information)
- [Contributions](#contributions)

## Dataset Description

- **Homepage:** [PubMedQA homepage](https://pubmedqa.github.io/ )
- **Repository:** [PubMedQA repository](https://github.com/pubmedqa/pubmedqa)
- **Paper:** [PubMedQA: A Dataset for Biomedical Research Question Answering](https://arxiv.org/abs/1909.06146)
- **Leaderboard:** [PubMedQA: Leaderboard](https://pubmedqa.github.io/)

### Dataset Summary

The task of PubMedQA is to answer research questions with yes/no/maybe (e.g.: Do preoperative statins reduce atrial fibrillation after coronary artery bypass grafting?) using the corresponding abstracts.

### Supported Tasks and Leaderboards

The official leaderboard is available at: https://pubmedqa.github.io/.

500 questions in the `pqa_labeled` are used as the test set. They can be found at https://github.com/pubmedqa/pubmedqa.

### Languages

English

## Dataset Structure

### Data Instances

[More Information Needed]

### Data Fields

[More Information Needed]

### Data Splits

[More Information Needed]

## Dataset Creation

### Curation Rationale

[More Information Needed]

### Source Data

#### Initial Data Collection and Normalization

[More Information Needed]

#### Who are the source language producers?

[More Information Needed]

### Annotations

#### Annotation process

[More Information Needed]

#### Who are the annotators?

[More Information Needed]

### Personal and Sensitive Information

[More Information Needed]

## Considerations for Using the Data

### Social Impact of Dataset

[More Information Needed]

### Discussion of Biases

[More Information Needed]

### Other Known Limitations

[More Information Needed]

## Additional Information

### Dataset Curators

[More Information Needed]

### Licensing Information

[More Information Needed]

### Citation Information

[More Information Needed]

### Contributions

Thanks to [@tuner007](https://github.com/tuner007) for adding this dataset.

搜集汇总

数据集介绍

构建方式

PubMedQA数据集的构建源于对生物医学研究问答任务的深刻洞察，旨在推动自然语言处理与医学领域的交叉融合。该数据集以PubMed上真实的研究摘要为原始素材，通过三种截然不同的方式精心构建而成。其中，pqa_labeled子集由医学专家依据严谨的学术标准，对问题与对应摘要进行详尽的标注，形成了包含1000条高质量样本的黄金标准。而pqa_artificial子集则利用自动化的语义分析方法，从海量文献中抽取出超过21万条问答对，提供了庞大的训练语料。此外，pqa_unlabeled子集保留了约6万条未经标注的原始数据，为半监督学习与探索性研究开辟了空间。整个数据集以PubMed文章的唯一标识符为核心索引，整合了问题、上下文文本、标签、医学主题词（MeSH）及长答案等结构化字段，确保了信息的系统性与可用性。

使用方法

调用PubMedQA数据集时，用户需通过HuggingFace的datasets库指定子集名称，例如选择'pqa_labeled'、'pqa_artificial'或'pqa_unlabeled'以加载相应数据。每个样本由pubid标识符、question字段的问题文本、context字段包含的上下文列表与相关标签及MeSH词条，以及long_answer字段的长答案与final_decision字段的最终结论组成。在模型训练与评估中，推荐将pqa_artificial子集用于大规模预训练，利用其211269个样本学习生物医学问答的通用模式；随后在pqa_labeled子集的1000条专家标注数据上进行微调与性能验证。值得注意的是，官方排行榜将pqa_labeled中的500条作为测试集，用户需遵循论文要求从指定仓库获取以进行标准化测评。若需探索无监督学习，则可灵活运用pqa_unlabeled子集的61249条未标注数据，结合自监督策略深入挖掘领域知识。

背景与挑战

背景概述

PubMedQA是由华盛顿大学等机构的研究人员于2019年创建的一项生物医学研究问答数据集，旨在应对临床研究人员从海量文献中快速提取可解释证据的迫切需求。该数据集以PubMed摘要为背景，要求模型对研究问题（如“术前他汀类药物能否减少冠状动脉搭桥术后的房颤？”）给出“是/否/可能”的决策，核心研究问题在于推动自然语言理解技术向可验证的医学推理进化。FDA、NIH等权威机构已将其作为评估问答系统生物医学推理能力的基准，其影响力在医疗决策支持、智能文献综述等领域持续扩大，尤其推动了小型语言模型在资源受限环境下的可解释性研究。

当前挑战

领域层面，PubMedQA面对的核心挑战是生物医学文本的语义复杂性——同一术语在不同语境下可能暗示相反的结论，需要模型具备跨抽象层级的因果推理能力。构建过程中，人工标注的500条权威样本（pqa_labeled）存在专家标注成本高昂、标注一致性难以保证的问题；而通过远程监督生成的21万条人工样本（pqa_artificial）则面临噪声标签泛滥风险，模型容易陷入虚假相关性。此外，未标注的6万余条原始问题（pqa_unlabeled）虽丰富了潜在训练信号，却缺乏结构性验证手段，如何在不牺牲准确率的前提下利用弱监督信号仍是一个开放挑战。

常用场景

经典使用场景

PubMedQA是面向生物医学研究领域构建的问答数据集，其核心任务在于根据论文摘要回答研究问题，输出是/否/可能三种决策。该数据集被广泛用于评估预训练语言模型在科学文献推理上的能力，如BioBERT、PubMedBERT和GPT系列模型在零样本或少样本设定下的表现。研究者通过PubMedQA检验模型是否能够理解复杂的因果关系和医学概念，成为衡量模型在科学文献理解任务上进展的重要标杆。

解决学术问题

PubMedQA解决了生物医学问答领域缺乏高质量、专家标注的基准数据集的问题，填补了从文献摘要中直接回答研究问题的评估空白。通过精心构造的包含专家标注和机器生成的子集，该数据集推动了可解释推理与证据检索的研究，促使学界深入探讨模型如何利用上下文证据做出合理性判断，以及推理过程是否忠实于科学事实。

实际应用

在实际应用中，PubMedQA可辅助临床医生和科研人员快速获取基于最新文献的研究答案，提升循证医学实践中证据筛选的效率。其技术还可以整合到文献管理系统、智能诊疗助手和医学知识引擎中，帮助自动提炼关键发现，为决策支持系统提供实时、可靠的科学依据，从而加速从研究到临床的转化进程。

数据集最近研究

最新研究方向

PubMedQA作为生物医学领域首个大规模问答推理数据集，近期研究前沿聚焦于利用大语言模型（LLMs）进行零样本或少样本场景下的医学文献理解与决策推理。在ChatGPT、GPT-4及MedPaLM等模型涌现的背景下，PubMedQA被广泛用于评测模型在复杂生物医学问题上的逻辑推理能力与知识检索深度，尤其是在处理含否定、因果及比较关系的临床问题上。该数据集还推动了可解释问答系统的发展，要求模型不仅给出二分类判断，还需提供基于摘要的推理依据。相关热点事件包括多个顶级会议（如ACL、NAACL）举办的生物医学问答竞赛，以及FDA对AI辅助诊断的规范化讨论，使得PubMedQA成为衡量临床AI可靠性的关键标尺，其意义在于加速了从纯文本匹配向深层语义理解的范式迁移。