JeremyZhou/pubmed

PubMed数据集是一个包含超过3600万条生物医学文献引文的大型数据集，源自MEDLINE、生命科学期刊和在线书籍。引文可能包含指向PubMed Central和出版商网站全文内容的链接。该数据集以XML格式提供，每年更新一次，最后更新于2023年12月15日。数据字段包括文章标题、摘要、作者列表、化学物质信息、参考文献数量等，支持文本生成、填充掩码和文本分类等自然语言处理任务。数据集为英语单语，规模在1000万到1亿条之间，适用于生物医学领域的NLP研究和应用。annotations_creators: - 众包（crowdsourced） language_creators: - 众包（crowdsourced） language: - 英语（en） license: - 其他 multilinguality: - 单语言（monolingual） size_categories: - 1000万<样本数<1亿 source_datasets: - 原始数据集（original） task_categories: - 文本生成（text-generation） - 掩码填充（fill-mask） - 文本分类（text-classification） task_ids: - 语言建模（language-modeling） - 掩码语言建模（masked-language-modeling） - 文本评分（text-scoring） - 主题分类（topic-classification） paperswithcode_id: pubmed pretty_name: PubMed tags: - 引文估计（citation-estimation） dataset_info: - config_name: '2024' features: - name: MedlineCitation（Medline引文） struct: - name: PMID（PMID编号） dtype: int32 - name: DateCompleted（完成日期） struct: - name: Year（年份） dtype: int32 - name: Month（月份） dtype: int32 - name: Day（日期） dtype: int32 - name: NumberOfReferences（参考文献数量） dtype: int32 - name: DateRevised（修订日期） struct: - name: Year（年份） dtype: int32 - name: Month（月份） dtype: int32 - name: Day（日期） dtype: int32 - name: Article（文章） struct: - name: Abstract（摘要） struct: - name: AbstractText（摘要文本） dtype: string - name: ArticleTitle（文章标题） dtype: string - name: AuthorList（作者列表） struct: - name: Author（作者） sequence: - name: LastName（姓氏） dtype: string - name: ForeName（名字） dtype: string - name: Initials（姓名缩写） dtype: string - name: CollectiveName（集体作者名） dtype: string - name: Language（语言） dtype: string - name: GrantList（资助列表） struct: - name: Grant（资助项） sequence: - name: GrantID（资助编号） dtype: string - name: Agency（资助机构） dtype: string - name: Country（资助国家） dtype: string - name: PublicationTypeList（出版物类型列表） struct: - name: PublicationType（出版物类型） sequence: string - name: MedlineJournalInfo（Medline期刊信息） struct: - name: Country（期刊所在国家） dtype: string - name: ChemicalList（化学品列表） struct: - name: Chemical（化学品项） sequence: - name: RegistryNumber（登记号） dtype: string - name: NameOfSubstance（物质名称） dtype: string - name: CitationSubset（引文子集） dtype: string - name: MeshHeadingList（医学主题词标题列表） struct: - name: MeshHeading（医学主题词项） sequence: - name: DescriptorName（描述符名称） dtype: string - name: QualifierName（限定词名称） dtype: string - name: PubmedData（PubMed数据） struct: - name: ArticleIdList（文章ID列表） sequence: - name: ArticleId（文章ID） sequence: string - name: PublicationStatus（出版状态） dtype: string - name: History（历史记录） struct: - name: PubMedPubDate（PubMed出版日期） sequence: - name: Year（年份） dtype: int32 - name: Month（月份） dtype: int32 - name: Day（日期） dtype: int32 - name: ReferenceList（参考文献列表） sequence: - name: Citation（引文文本） dtype: string - name: CitationId（引文ID） dtype: int32 splits: - name: 训练集（train） num_bytes: 数据字节数：54723097181 num_examples: 样本数量：36555430 download_size: 下载大小：45202943276 dataset_size: 数据集总大小：54723097181 # PubMed数据集卡片（Dataset Card for PubMed） ## 目录 - [数据集描述](#dataset-description) - [数据集摘要](#dataset-summary) - [支持的任务与排行榜](#supported-tasks-and-leaderboards) - [语言](#languages) - [数据集结构](#dataset-structure) - [数据实例](#data-instances) - [数据字段](#data-fields) - [数据拆分](#data-splits) - [数据集创建](#dataset-creation) - [整理依据](#curation-rationale) - [源数据](#source-data) - [注释](#annotations) - [个人与敏感信息](#personal-and-sensitive-information) - [数据使用注意事项](#considerations-for-using-the-data) - [数据集的社会影响](#social-impact-of-dataset) - [偏差讨论](#discussion-of-biases) - [其他已知局限性](#other-known-limitations) - [附加信息](#additional-information) - [数据集整理者](#dataset-curators) - [许可信息](#licensing-information) - [引用信息](#citation-information) - [贡献](#contributions) ## 数据集描述 - **主页**：[https://www.nlm.nih.gov/databases/download/pubmed_medline.html]() - **文档**：[https://www.nlm.nih.gov/databases/download/pubmed_medline_documentation.html]() - **代码仓库**： - **相关论文**： - **排行榜**： - **联系方式**：美国国家生物技术信息中心（National Center for Biotechnology Information），邮箱：[e-mail] ### 数据集摘要 PubMed包含超过3600万条来自MEDLINE、生命科学期刊及在线图书的生物医学文献引文。引文可包含指向PubMed Central及出版商网站的全文内容链接。 美国国立医学图书馆（National Library of Medicine, NLM）每年会生成一套基础版PubMed引文记录的XML格式文件供下载，于每年12月发布上一年度的基础数据集。最近更新于2023年12月15日。 此外，NLM每日都会生成更新文件，包含新增、修订及删除的引文。 来源：https://ftp.ncbi.nlm.nih.gov/pubmed/README.txt ### 支持的任务与排行榜 【需更多信息】 ### 语言 - 英语 ## 数据集结构 请注意，本数据集源自包含多种标签的XML格式文件，部分标签难以在简洁的JSON格式中完整体现。XML文档中的标签与列表结构并不符合常规的数据组织逻辑，因此本库在数据处理上做出了部分适配。为避免大量字段长期为空的情况，期刊相关信息已被完全移除。 数据层级结构也存在一定的非自然性，但为适配未来可能由NLM调整的数据集 schema 版本，我们尽可能保留了原始数据的结构。 作者字段被保留，其包含"ForeName（名字）"、"LastName（姓氏）"、"Initials（姓名缩写）"或"CollectiveName（集体作者名）"（所有字段均会始终存在，但仅部分字段会被填充有效值）。 ### 数据实例 json { "MedlineCitation（Medline引文）": { "PMID（PMID编号）": 0, "DateCompleted（完成日期）": {"Year（年份）": 0, "Month（月份）": 0, "Day（日期）": 0}, "NumberOfReferences（参考文献数量）": 0, "DateRevised（修订日期）": {"Year（年份）": 0, "Month（月份）": 0, "Day（日期）": 0}, "Article（文章）": { "Abstract（摘要）": {"AbstractText（摘要文本）": "部分摘要（可能缺失）" }, "ArticleTitle（文章标题）": "文章标题", "AuthorList（作者列表）": {"Author（作者）": [ {"LastName（姓氏）": "Doe", "ForeName（名字）": "John", "Initials（姓名缩写）": "JD", "CollectiveName（集体作者名）": ""}, {"CollectiveName（集体作者名）": "The Manhattan Project", "LastName（姓氏）": "", "ForeName（名字）": "", "Initials（姓名缩写）": ""} ]}, "Language（语言）": "en", "GrantList（资助列表）": { "Grant（资助项）": [], }, "PublicationTypeList（出版物类型列表）": {"PublicationType（出版物类型）": []}, }, "MedlineJournalInfo（Medline期刊信息）": {"Country（期刊所在国家）": "法国"}, "ChemicalList（化学品列表）": {"Chemical（化学品项）": [{ "RegistryNumber（登记号）": "XX", "NameOfSubstance（物质名称）": "甲醇" }]}, "CitationSubset（引文子集）": "AIM", "MeshHeadingList（医学主题词标题列表）": { "MeshHeading（医学主题词项）": [], }, }, "PubmedData（PubMed数据）": { "ArticleIdList（文章ID列表）": {"ArticleId（文章ID）": "10.1002/bjs.1800650203"}, "PublicationStatus（出版状态）": "ppublish", "History（历史记录）": {"PubMedPubDate（PubMed出版日期）": [{"Year（年份）": 0, "Month（月份）": 0, "Day（日期）": 0}]}, "ReferenceList（参考文献列表）": [{"Citation（引文文本）": "Somejournal", "CitationId（引文ID）": 01}], }, } ### 数据字段 用户较为关注的主要字段包括： - `MedlineCitation（Medline引文）` > `Article（文章）` > `AuthorList（作者列表）` > `Author（作者）` - `MedlineCitation（Medline引文）` > `Article（文章）` > `Abstract（摘要）` > `AbstractText（摘要文本）` - `MedlineCitation（Medline引文）` > `Article（文章）` > `ArticleTitle（文章标题）` - `MedlineCitation（Medline引文）` > `ChemicalList（化学品列表）` > `Chemical（化学品项）` - `MedlineCitation（Medline引文）` > `NumberOfReferences（参考文献数量）` ### 数据拆分 本数据集未设置数据拆分，将以原始形态提供。 ## 数据集创建 ### 整理依据 元素名称中使用“Medline”并不代表该记录源自MEDLINE遴选的期刊。在NLM首次创建文档类型定义（Document Type Definition, DTD）与XML元素时，MEDLINE记录是唯一可供导出的数据类型。如今NLM已可导出非MEDLINE记录的引文。为避免对现有数据用户造成不必要的使用中断，NLM保留了原始的元素名称（例如MedlineCitation、MedlineJournalInfo、MedlineTA）。 影响数据创建的政策多年来不断演变。部分PubMed记录会在引文文章首次发表很久之后才被添加或修订。在此类情况下，记录中有时会包含文章发表时尚未创建的元素。例如，摘要（Abstract）元素直至1975年才被引入，但部分1975年之前发表、却在1975年之后被添加至PubMed的记录中包含`<Abstract>`标签。此外，部分元素的处理方式可能与文章发表时创建或维护该记录的情况有所不同。例如，作者（Author）字段的出现次数可能与NLM的作者索引政策（https://pubmed.ncbi.nlm.nih.gov/help/#author-indexing-policy）中所述的规则存在偏差。最后，自2016年10月起，原始文章的出版商可通过PubMed数据管理系统编辑PubMed记录中的引文数据（医学主题词表（Medical Subject Headings, MeSH）数据除外）。因此，较旧的引文对应的PubMed记录可能包含该引文创建时尚未存在的元素数据。 ### 源数据 #### 初始数据收集与标准化 【需更多信息】 #### 源语言的生成者是谁？ 【需更多信息】 ### 注释 #### 注释流程 【需更多信息】 #### 注释者是谁？ 【需更多信息】 ### 个人与敏感信息 【需更多信息】 ## 数据使用注意事项 ### 数据集的社会影响 【需更多信息】 ### 偏差讨论 【需更多信息】 ### 其他已知局限性 【需更多信息】 ## 附加信息 ### 数据集整理者 【需更多信息】 ### 许可信息 美国国立医学图书馆条款与条件（National Library of Medicine Terms and Conditions），链接：https://www.nlm.nih.gov/databases/download/terms_and_conditions.html 从NLM的FTP服务器下载PubMed数据即表示您接受以下条款与条件。NLM不对这些数据收取任何费用、使用费或版税。 #### PubMed专属条款 NLM免费提供PubMed数据。请注意部分摘要可能受版权保护。 #### 通用条款与条件 数据用户同意： - 以清晰、显著的方式注明NLM为数据来源； - 不得将PubMed文字商标或PubMed徽标与您或任何其他方的产品或服务相关联或结合使用； - 不得采用、使用或试图注册任何与PubMed文字商标或PubMed徽标易混淆或易使人联想到的商标或商号； - 不得声称或暗示NLM/NIH/HHS认可您的产品、服务或应用程序。 重新发布或分发数据（包括服务、产品或原始数据）的用户同意： - 保留所有分发数据的最新版本，或 - 以清晰、显著的方式告知用户，其产品、服务或应用程序未反映NLM提供的最新/最准确的数据。 这些数据以合理的标准制作，但NLM不作出任何明示或暗示的保证，包括但不限于对适销性或特定用途适用性的保证，不对数据的准确性或完整性作出任何担保。用户同意因数据中的错误导致的任何责任由NLM和美国政府承担。NLM对因使用、误用或解读数据中包含或未包含的信息所产生的任何后果不承担责任。 NLM不提供关于版权、合理使用或其他知识产权方面的法律建议。请参阅NLM版权页面：https://www.nlm.nih.gov/web_policies.html#copyright NLM保留变更其机器可读数据的类型和格式的权利。NLM将采取合理措施，通过公告板块或订阅电子邮件和RSS更新，在数据分发前通知用户有关数据格式的任何变更。 PubMed文字商标和PubMed徽标是美国卫生与公众服务部（U.S. Department of Health and Human Services, HHS）的注册商标。未经授权使用这些商标将被严格禁止。 ### 引用信息 【由美国国立医学图书馆提供（Courtesy of the U.S. National Library of Medicine）】，链接：https://www.nlm.nih.gov/databases/download/terms_and_conditions.html。 ### 贡献 感谢[@Narsil](https://github.com/Narsil)添加本数据集。