GleghornLab/abstract_domain_copd

该数据集包含与慢性阻塞性肺疾病（COPD）相关的共引文摘，这些文摘来自论文《对比学习和专家混合模型实现精确向量嵌入》。数据集包含三个分割：训练集、验证集和测试集，分别包含132453、2676和1294个样本。数据集的特征包括两个字符串类型的字段（a和b）和一个整数类型的标签字段（label）。

原始信息汇总

数据集概述

特征信息

• 名称: a
  • 数据类型: string
• 名称: b
  • 数据类型: string
• 名称: label
  • 数据类型: int64

数据分割

• 训练集
  • 字节数: 477301584
  • 样本数: 132453
• 验证集
  • 字节数: 9596971
  • 样本数: 2676
• 测试集
  • 字节数: 4758204
  • 样本数: 1294

数据大小

• 下载大小: 200765538
• 数据集大小: 491656759

配置信息

• 配置名称: default
  • 数据文件路径:
    • 训练集: data/train-*
    • 验证集: data/valid-*
    • 测试集: data/test-*

搜集汇总

数据集介绍

构建方式

在慢性阻塞性肺疾病（COPD）研究领域，文献数据的结构化整理对于推动医学自然语言处理至关重要。本数据集源于论文《Contrastive Learning and Mixture of Experts Enables Precise Vector Embeddings》，通过系统收集与COPD相关的共引摘要构建而成。数据集的构建聚焦于文献间的语义关联，从海量学术资源中提取出具有代表性的摘要文本，并划分为训练集（132453条）、验证集（1294条）和测试集（2676条），确保数据分布的均衡性与代表性。每条样本包含文本字段a和b，以及整数型标签label，为后续模型训练提供了清晰的监督信号。

特点

该数据集的核心特点在于其面向COPD领域的专业性与精炼性。文本数据源自共引文献摘要，天然蕴含了跨文献的语义关联，有助于模型捕捉疾病研究中的潜在知识结构。数据集规模适中，训练集与验证集、测试集的比例设计合理，既保证了模型的充分学习，又避免了冗余计算。此外，标签字段的离散化设计（整数型）简化了分类任务的复杂度，使得数据集可直接用于对比学习或混合专家系统的评估，体现了从原始文献到结构化训练数据的转化智慧。

使用方法

使用本数据集时，研究者可借助HuggingFace的datasets库便捷加载。通过指定配置名default，系统自动索引data目录下的分片文件，支持按split参数获取train、valid或test子集。数据加载后，可提取字段a和b作为对比学习的正负样本对，或利用label字段进行监督分类微调。建议在模型训练前对文本进行分词和嵌入预处理，以适配向量编码需求。数据集的分片存储设计也支持分布式加载，特别适合在大型集群环境中进行高效训练与评估。

背景与挑战

背景概述

慢性阻塞性肺疾病（COPD）作为全球第三大死因，其临床诊疗与基础研究长期受困于生物医学文献的爆炸式增长。为应对这一挑战，Gleghorn实验室于2024年构建了abstract_domain_copd数据集，旨在通过自然语言处理技术挖掘COPD领域内的隐性知识关联。该数据集收录了132,453篇训练样本、1,294篇验证样本及2,676篇测试样本，全部源自PubMed中与COPD相关的引文摘要，其构建基于论文《Contrastive Learning and Mixture of Experts Enables Precise Vector Embeddings》提出的方法论。研究团队通过共引分析策略，将分散在呼吸病学、免疫学、药理学等跨学科文献中的核心概念进行结构化整合，为后续对比学习与混合专家模型在生物医学文本表征中的应用奠定了数据基础。该数据集的出现，不仅填补了COPD领域专用语料库的空白，更推动了从传统文献计量向语义嵌入驱动的知识发现范式转型。

当前挑战

该数据集面临的核心挑战在于多源异构文本的语义对齐难题。首先，COPD领域涉及从病理机制到临床管理的多维度知识体系，不同来源的摘要文本在术语规范性、论证深度和语言风格上存在显著差异，这要求嵌入模型必须具备跨语境的泛化能力。其次，数据构建过程中需解决共引关系中的噪声干扰问题——部分摘要虽拥有共同引用文献，但实际研究主题可能分属炎症通路与肺功能评估等不同子领域，模型需在保留细粒度语义差异的同时捕捉潜在关联。此外，训练集与测试集间的分布偏移（如年度文献主题演变）对模型鲁棒性构成考验，而132,453条样本的规模虽能支撑基础对比学习，但面对COPD亚型（如肺气肿、慢性支气管炎）的罕见表征时，数据稀疏性仍可能限制专家混合系统的性能上限。

常用场景

经典使用场景

该数据集汇集了与慢性阻塞性肺疾病（COPD）相关的共引文献摘要，为生物医学自然语言处理领域提供了高质量的文本资源。其经典使用场景在于训练和评估面向医学文献的文本表示模型，尤其是通过对比学习范式来学习疾病相关术语的语义嵌入。研究者可借助该数据集构建能够捕捉COPD领域细粒度语义关系的向量空间，从而提升对医学文献中隐含知识关联的挖掘能力。

解决学术问题

该数据集有效解决了医学文本嵌入学习中领域特异性语义鸿沟的学术难题。传统通用语料训练的模型难以精准刻画COPD相关术语间的多维关联，而该数据集通过聚焦共引文献摘要，为对比学习与混合专家系统提供领域适配的训练基础。其意义在于推动医学知识图谱构建、文献语义检索和疾病亚型分类等研究，显著增强了模型对呼吸系统疾病文献的语义理解精度与泛化能力。

衍生相关工作

该数据集衍生出多项开创性工作，尤其是《Contrastive Learning and Mixture of Experts Enables Precise Vector Embeddings》一文，首次将对比学习与混合专家架构结合，在COPD文献嵌入任务上取得突破。后续研究基于该数据集探索了医学文本的跨模态对齐方法，并催生了针对慢性呼吸系统疾病的预训练语言模型微调基准。这些工作共同推动了生物医学文本表示学习从通用向专科化方向的演进。