usmle_textbooks

该数据集是一个基于开源教科书文本构建的数据集，旨在为语言模型训练或相关自然语言处理任务提供高质量的领域文本数据。数据内容来源于三本公开获取的教科书：1) 《流行病学》（Epidemiology，ISBN 13: 9781957213651）；2) 《临床前学生神经科学》（Neuroscience for Pre-Clinical Students，ISBN 978-1-949373-80-6）；3) 《临床前学生微生物学、药理学和免疫学》（Microbiology, Pharmacology, and Immunology for Pre-Clinical Students，ISBN 978-1-962841-04-7）。数据集包含四个分割：训练集（train，759个样本）和三个以“qwen3_5”命名的模型生成或处理集（qwen3_5_9b、qwen3_5_27b、qwen3_5_35b，各1000个样本），总计3759个样本，数据总大小约8.3 MB。每个样本包含三个字段：source_book（字符串，指示文本来源的教科书）、text（字符串，教科书文本内容）、emb（浮点数列表，代表文本的嵌入向量表示）。该数据集适用于文本嵌入学习、领域语言模型微调、教科书内容分析或医学/科学教育相关的自然语言处理任务。

原始信息汇总

数据集概述：usmle_textbooks

该数据集由 LeoZotos 提供，主要面向 USMLE（美国医师执业资格考试）领域，汇集了多本医学教材的文本内容及其对应的嵌入向量表示，可用于医学文本分析、信息检索或模型训练。

数据特征

每条数据包含三个字段：

• source_book（字符串）：文本来源的教材名称或标识。
• text（字符串）：教材中的文本片段内容。
• emb（浮点数列表）：文本对应的嵌入向量，用于表征语义信息。

数据划分与规模

数据集包含一个默认配置，下分为6个数据划分，总大小约为12.87MB，下载大小约为6.71MB：

划分名称	样本数	字节数
train	759	1,874,440
qwen3_5_9b	1,000	2,173,146
qwen3_5_27b	1,000	2,138,902
qwen3_5_35b	1,000	2,106,957
gemma4_31b	1,000	2,432,260
gpt_20b	1,000	2,141,507

其中 train 为原始训练数据，其余划分可能对应不同模型生成的增强或扩展数据。

数据来源

数据集所引用的教材包括：

• Epidemiology：来源为 VTechWorks，ISBN 13: 9781957213651，可访问链接 https://vtechworks.lib.vt.edu/items/3f46b25c-c8e7-46bc-a7ef-64e0db8556be。
• Neuroscience for Pre-Clinical Students：来源为 Pressbooks at Virginia Tech，ISBN 978-1-949373-80-6，可访问链接 https://pressbooks.lib.vt.edu/neuroscience/。
• Microbiology, Pharmacology, and Immunology for Pre-Clinical Students：来源为 Pressbooks at Virginia Tech，ISBN 978-1-962841-04-7，可访问链接 https://pressbooks.lib.vt.edu/micropharmimmuno/。

这些教材均为公开可用的医学教育资源，内容涵盖流行病学、神经科学、微生物学、药理学和免疫学等核心医学领域。

搜集汇总

数据集介绍

构建方式

该数据集基于多部权威医学教科书的内容构建而成，涵盖流行病学、神经科学及微生物药理学与免疫学等核心领域。原始教材来源于弗吉尼亚理工大学的开放获取资源，确保了学术严谨性与版权合规性。数据提取后进行了文本清洗与结构化处理，每一条记录包含来源书籍名称、正文内容及对应的向量化嵌入表示。数据集被划分为训练集与多个模型生成的评估子集，包括来自Qwen 3.5系列不同参数量版本以及Gemma 4与GPT的合成数据，从而构建起一个涵盖真实文本与模型输出的多层次医学知识库。

特点

该数据集最具特色的设计在于其多源异构的构成方式。训练集包含759条来自真实教科书的原始文本，而五个评估子集则分别由不同规模的语言模型生成，每个子集包含1000条数据。这种结构使得研究者能够直接对比模型输出与权威教材之间的语义差异与内容质量。此外，每条数据均附带稠密向量嵌入，便于进行语义检索、相似度计算与聚类分析。数据集整体规模紧凑，但因其跨教材、跨模型的特性，成为评估与微调医学领域语言模型的理想基准。

使用方法

使用者可通过HuggingFace Datasets库轻松加载该数据集，默认配置下可直接访问训练集与五个模型生成子集。每条数据包含'source_book'、'text'和'emb'三个字段，其中嵌入向量为浮点数列表，适合直接用于检索增强生成或语义相似度评估任务。开发者可基于字段名称进行数据筛选，例如比较不同模型在特定教材上的文本生成质量，或利用嵌入向量构建医学知识问答系统。数据集的分片存储格式也支持高效的分布式加载与处理。

背景与挑战

背景概述

该数据集名为usmle_textbooks，创建于近年来，由相关研究人员基于弗吉尼亚理工等机构提供的公开医学教材资源构建而成。其核心研究问题聚焦于利用大规模语言模型（如Qwen、Gemma、GPT系列的不同参数量版本）进行美国执业医师资格考试（USMLE）相关知识的理解与推理。数据集收录了《流行病学》、《临床前学生神经科学》及《临床前学生微生物学、药理学与免疫学》等权威教材的文本内容，共计超过1200万个字节的语料，并提供了多种模型生成的文本变体，旨在促进医学知识问答与自然语言处理领域的研究。该数据集在医学教育智能化、医学语言模型评测等方向具有显著影响力，为评估不同规模模型对专业医学知识的掌握程度提供了标准化基准。

当前挑战

该数据集所解决的领域核心挑战在于，如何使通用语言模型准确理解并推理复杂、专业的医学知识，尤其是在USMLE这类高难度考试中体现出的临床决策能力。具体而言，模型需应对医学文本中术语的精准解析、跨学科知识的整合以及临床场景的抽象推理。在数据集构建过程中，面临的挑战包括：从多本不同风格的教材中提取结构化的文本，确保拆分后的训练数据与模型生成数据质量一致；处理原始教材中的图表、公式等非文本信息的缺失问题，避免模型知识学习的不完整；以及如何设计合理的评估指标来区分模型对知识的机械记忆与真正理解。

常用场景

经典使用场景

USMLE Textbooks 数据集汇集了多部美国执业医师资格考试（USMLE）核心教材的文本内容，涵盖流行病学、神经科学、微生物学、药理学与免疫学等基础医学领域。该数据集最经典的应用场景是用于构建和评估面向医学知识的自然语言处理模型。研究者可利用其结构化的教科书文本，训练模型理解医学概念、掌握疾病机制与诊疗逻辑，从而实现对医学问答、临床推理以及知识图谱构建等任务的精准支持。

解决学术问题

该数据集有效解决了医学领域高质量标注语料匮乏的学术难题。传统医学数据集常受限于隐私保护与专业注释成本高昂，而 USMLE Textbooks 以权威教材为来源，提供了系统化的医学知识文本与嵌入表示，为预训练语言模型在医学领域的领域适应提供了可靠基础。它推动了知识驱动型模型在医学考试自动答题、临床诊断辅助推理等研究中的进展，显著提升了语言模型对医学语言的专业性与精准性。

衍生相关工作

围绕 USMLE Textbooks 数据集，学者们衍生出一系列经典工作，包括医学预训练语言模型（如 PubMedBERT、BioBERT）的领域微调研究，以及基于检索增强生成的医学问答系统（如 MedQA 基准上的探索）。此外，该数据集也被用于构建多模态医学知识图谱，推动教材语义对齐与跨学科知识融合，进一步延伸至自动问题生成、医学专家评估任务等方向，成为医学自然语言处理领域的重要 benchmark 资源。