cogbuji/medqa_corpus_en

MedQA Textbook (English) Corpus数据集包含来自18本广泛使用的医学教科书的文本材料，这些教科书被医学学生和USMLE考生使用。该数据集提供了与医学子专业相关的文本子集，用于预训练医学领域的语言模型。数据集的结构包括文本和来源信息，数据集的创建过程涉及文本的分块和字符替换。数据集分为几个子集，包括核心临床医学、基础生物学、药理学和精神病学。

原始信息汇总

数据集卡片 MedQA 英文教科书

数据集描述

数据集概述

MedQA 数据集包含来自18本广泛使用的英文医学教科书的文本材料，这些材料被医学生和USMLE考生广泛使用。该数据集源自这些医学教科书内容（英文版），提供了与医学亚专科相对应的子集，用于预训练医学领域的大型语言模型（LLMs）。

语言

英语

数据集结构

数据实例

记录具有以下结构：

json {"text": "急性肠梗阻的表现取决于潜在的[...]", "source": "textbooks/en/InternalMed_Harrison.txt"}

数据集创建

策划理由

MedQA 数据集包含原始文本语料库，这些文本未包含在其大多数衍生版本中及其数据加载脚本中。这些原始文本对于医学大型语言模型的预训练非常有价值。

源数据

初始数据收集和规范化

使用Langchain的RecursiveCharacterTextSplitter进行分块处理，并将最常见的非ASCII字符替换为可读的等效字符。包含少于90% ASCII字符的块被排除。然后将教科书分成单独的子集，如下所示，包括它们所包含的教科书来源：

• 核心临床医学 (core_clinical)
  • Anatomy_Gray.txt (1,736 条记录), First_Aid_Step1.txt (489 条记录), First_Aid_Step2.txt (800 条记录), Immunology_Janeway.txt (2,996 条记录), InternalMed_Harrison.txt (20,583 条记录), Neurology_Adams.txt (7,732 条记录), Obstentrics_Williams.txt (5,392 条记录), Pathoma_Husain.txt (280 条记录), Pediatrics_Nelson.txt (2,575 条记录), Surgery_Schwartz.txt (7,803 条记录)
• 基础生物学 (basic_biology)
  • Biochemistry_Lippincott.txt (1,193 条记录), Cell_Biology_Alberts.txt (4,275 条记录), Histology_Ross.txt (2,685 条记录), Pathology_Robbins.txt (3,156 条记录), Physiology_Levy.txt (2,627 条记录)
• 药理学 (pharmacology)
  • Pharmacology_Katzung.txt (4,505 条记录)
• 精神病学 (psychiatry)
  • Psichiatry_DSM-5.txt (2,414 条记录)

因此，您可以通过以下方式加载语料库的基础生物学子集：

python In [1]: import datasets In [2]: ds = datasets.load_dataset(cogbuji/medqa_corpus_en, basic_biology) Generating train split: 50386 examples [00:00, 92862.56 examples/s] In [3]: ds Out[3]: DatasetDict({ train: Dataset({ features: [text, source], num_rows: 50386 }) })