MedRAG/pubmed

该数据集包含来自PubMed语料库的片段，用于医学领域的检索增强生成（RAG）。

任务类别：问答
语言：英语
标签：医疗、问答、大语言模型、检索增强生成
样本规模：1000万 < 样本数 < 1亿

# MedRAG中的PubMed语料库

本Hugging Face（HF）数据集包含了[MedRAG](https://arxiv.org/abs/2402.13178)研究中使用的PubMed语料库片段，可用于医疗领域的检索增强生成（Retrieval-Augmented Generation, RAG）。

## 动态更新
- （2024年2月26日）已对"id"列进行格式化重构，并新增"PMID"列。

## 数据集详情

### 数据集描述
[PubMed](https://pubmed.ncbi.nlm.nih.gov/)是全球应用最广泛的生物医学文献资源，收录超过3600万篇学术论文。针对MedRAG项目，我们选取了其中包含有效标题与摘要的2390万篇论文作为研究子集。本HF数据集提供了该PubMed语料库的标准化片段，共计23,898,701条，平均每条包含296个Token。

### 数据集结构
每一行对应一条PubMed文献片段，包含以下字段：
- `id`：该片段的唯一标识符
- `title`：提取该片段的PubMed论文标题
- `content`：提取该片段的PubMed论文摘要
- `contents`：由`title`与`content`拼接得到的完整文本，将用于[BM25](https://github.com/castorini/pyserini)检索器的检索流程。

## 使用方式

<!-- 说明该数据集的预期使用场景相关问题 -->
### 直接使用
<!-- 本节描述该数据集的适用场景 -->
可通过以下命令克隆该数据集：
shell
git clone https://huggingface.co/datasets/MedRAG/pubmed

### 适配MedRAG的使用方式
python
>> from src.medrag import MedRAG

>> question = "A lesion causing compression of the facial nerve at the stylomastoid foramen will cause ipsilateral"
>> options = {
"A": "paralysis of the facial muscles.",
"B": "paralysis of the facial muscles and loss of taste.",
"C": "paralysis of the facial muscles, loss of taste and lacrimation.",
"D": "paralysis of the facial muscles, loss of taste, lacrimation and decreased salivation."
}

>> medrag = MedRAG(llm_name="OpenAI/gpt-3.5-turbo-16k", rag=True, retriever_name="MedCPT", corpus_name="PubMed")
>> answer, snippets, scores = medrag.answer(question=question, options=options, k=32) # scores are given by the retrieval system

## 引用格式
bibtex
@article{xiong2024benchmarking,
title={Benchmarking Retrieval-Augmented Generation for Medicine},
author={Guangzhi Xiong and Qiao Jin and Zhiyong Lu and Aidong Zhang},
journal={arXiv preprint arXiv:2402.13178},
year={2024}
}

原始信息汇总

数据集概述

数据集名称

HF数据集

数据来源

PubMed corpus

数据用途

用于医学领域的Retrieval-Augmented Generation (RAG)

数据内容

包含从PubMed corpus中提取的片段