bigbio/medmentions

--- language: - en bigbio_language: - English license: cc0-1.0 multilinguality: monolingual bigbio_license_shortname: CC0_1p0 pretty_name: MedMentions homepage: https://github.com/chanzuckerberg/MedMentions bigbio_pubmed: True bigbio_public: True bigbio_tasks: - NAMED_ENTITY_DISAMBIGUATION - NAMED_ENTITY_RECOGNITION --- # Dataset Card for MedMentions ## Dataset Description - **Homepage:** https://github.com/chanzuckerberg/MedMentions - **Pubmed:** True - **Public:** True - **Tasks:** NED,NER MedMentions is a new manually annotated resource for the recognition of biomedical concepts. What distinguishes MedMentions from other annotated biomedical corpora is its size (over 4,000 abstracts and over 350,000 linked mentions), as well as the size of the concept ontology (over 3 million concepts from UMLS 2017) and its broad coverage of biomedical disciplines. Corpus: The MedMentions corpus consists of 4,392 papers (Titles and Abstracts) randomly selected from among papers released on PubMed in 2016, that were in the biomedical field, published in the English language, and had both a Title and an Abstract. Annotators: We recruited a team of professional annotators with rich experience in biomedical content curation to exhaustively annotate all UMLS® (2017AA full version) entity mentions in these papers. Annotation quality: We did not collect stringent IAA (Inter-annotator agreement) data. To gain insight on the annotation quality of MedMentions, we randomly selected eight papers from the annotated corpus, containing a total of 469 concepts. Two biologists ('Reviewer') who did not participate in the annotation task then each reviewed four papers. The agreement between Reviewers and Annotators, an estimate of the Precision of the annotations, was 97.3%. ## Citation Information ``` @misc{mohan2019medmentions, title={MedMentions: A Large Biomedical Corpus Annotated with UMLS Concepts}, author={Sunil Mohan and Donghui Li}, year={2019}, eprint={1902.09476}, archivePrefix={arXiv}, primaryClass={cs.CL} } ```语言：英语 大生物信息学数据集语言：英语 许可证：CC0 1.0 多语言属性：单语言 大生物信息学数据集短许可证名：CC0_1p0 正式名称：MedMentions 主页：https://github.com/chanzuckerberg/MedMentions 大生物信息学数据集关联PubMed：是 大生物信息学数据集公开状态：是 大生物信息学数据集任务：命名实体消歧（NAMED_ENTITY_DISAMBIGUATION）、命名实体识别（NAMED_ENTITY_RECOGNITION） # MedMentions 数据集卡片 ## 数据集描述 - **主页：** https://github.com/chanzuckerberg/MedMentions - **关联PubMed：** 是 - **公开状态：** 是 - **任务：** 命名实体消歧（NED）、命名实体识别（NER） MedMentions 是一款全新的人工标注生物医学概念识别资源。与其他已标注生物医学语料库相比，其显著优势在于三大特征：一是体量规模庞大，包含超4000篇学术摘要与超35万个关联实体提及；二是配套的概念本体库覆盖广泛，包含源自UMLS®（统一医学语言系统，Unified Medical Language System）2017的超300万个概念；三是涵盖多类生物医学学科领域。 ### 语料库说明 MedMentions 语料库共包含4392篇论文（含标题与摘要），均为2016年发布于PubMed的生物医学领域英文文献，且同时具备完整标题与摘要，经随机抽样筛选得到。 ### 标注人员说明 我们招募了一支具备丰富生物医学内容编目经验的专业标注团队，对所有论文中的UMLS®（2017AA完整版）实体提及进行了全覆盖标注。 ### 标注质量评估 本数据集未采集严格的标注者间一致性（Inter-annotator agreement, IAA）数据。为评估MedMentions的标注质量，我们从已标注语料库中随机抽取8篇论文，共计包含469个概念。随后由两名未参与本次标注任务的生物学家担任评审员，各自评审其中4篇论文。评审员与原标注人员的一致性（即标注精度的评估指标）达到97.3%。 ## 引用信息 @misc{mohan2019medmentions, title={MedMentions: A Large Biomedical Corpus Annotated with UMLS Concepts}, author={Sunil Mohan and Donghui Li}, year={2019}, eprint={1902.09476}, archivePrefix={arXiv}, primaryClass={cs.CL} }

原始信息汇总

数据集概述：MedMentions

基本信息

• 名称: MedMentions
• 语言: 英语
• 许可证: CC0-1.0
• 多语言性: 单语
• 官方主页: https://github.com/chanzuckerberg/MedMentions
• 是否公开: 是
• 是否包含PubMed数据: 是

数据集描述

• 任务:
  • 实体消歧（NAMED_ENTITY_DISAMBIGUATION）
  • 实体识别（NAMED_ENTITY_RECOGNITION）
• 数据集特点:
  • 包含超过4,000篇摘要和超过350,000个链接提及
  • 使用超过300万个UMLS 2017概念的广泛生物医学学科覆盖
• 数据来源:
  • 随机选取2016年发布在PubMed上的4,392篇生物医学领域的英文论文（标题和摘要）
• 标注者:
  • 专业的生物医学内容管理团队
• 标注质量:
  • 通过两位未参与标注的生物学家对8篇论文（共469个概念）的审查，标注精度达到97.3%

引用信息

@misc{mohan2019medmentions, title={MedMentions: A Large Biomedical Corpus Annotated with UMLS Concepts}, author={Sunil Mohan and Donghui Li}, year={2019}, eprint={1902.09476}, archivePrefix={arXiv}, primaryClass={cs.CL} }

搜集汇总

数据集介绍

构建方式

在生物医学文本挖掘领域，概念识别与消歧是核心挑战之一。MedMentions数据集应运而生，旨在构建一个大规模、高质量的人工标注资源。其构建方式颇具匠心：首先，从2016年发布的PubMed论文中随机抽取4,392篇同时具备标题与摘要的英文生物医学文献，确保样本的随机性与学科覆盖广度。随后，招募了一支经验丰富的专业标注团队，对每篇论文中的UMLS® 2017全版本概念提及进行穷举式标注，涉及超过300万个概念类别。虽未采用严格的交叉验证机制，但通过随机抽取8篇论文由独立生物学家复核，标注精度高达97.3%，验证了数据集的可靠性。最终形成超过350,000个链接提及的庞大规模，为生物医学自然语言处理提供了坚实的数据基础。

特点

MedMentions的显著特征在于其规模与本体覆盖的卓越性。相较于同类生物医学标注语料库，该数据集收录了超过4,000篇文献摘要，包含逾350,000个概念提及，依托UMLS 2017这一涵盖超过300万个概念的庞大本体体系，实现了对生物医学学科的广泛覆盖。这种设计确保了概念识别的跨领域泛化能力，从分子生物学到临床医学均有涉及。此外，数据集支持命名实体识别与命名实体消歧两大核心任务，为模型训练提供了丰富的上下文关联与语义歧义消解场景。其高精度标注（97.3%）与公开可用性（CC0许可）进一步增强了作为基准资源的适用性，助力研究者评估算法在真实生物医学文本上的表现。

使用方法

使用MedMentions数据集时，研究者可借助HuggingFace平台便捷加载。通过`datasets`库直接调用`load_dataset('bigbio/medmentions')`即可获取数据，其结构天然兼容命名实体识别与消歧任务。数据以文献为单位组织，每条记录包含标题、摘要文本及对应的概念标注信息，标注格式遵循BIO或类似序列标签体系。对于NER任务，可直接提取文本与标签序列进行模型训练；对于NED任务，则需利用UMLS概念标识符与上下文进行消歧。建议将数据划分为训练、验证与测试集，采用交叉验证确保评估稳定性。由于数据集采用CC0许可，可自由用于学术与商业研究，但需引用原始论文以示学术诚信。

背景与挑战

背景概述

生物医学文本挖掘领域长期受困于高质量标注语料库的匮乏，尤其是能够覆盖广泛医学概念并实现实体消歧的资源稀缺。MedMentions数据集由Sunil Mohan和Donghui Li于2019年创建，依托Chan Zuckerberg Initiative发布，旨在推动生物医学命名实体识别与消歧研究。该数据集从2016年PubMed收录的文献中随机抽取4,392篇论文（标题与摘要），由资深生物医学内容策展团队依据UMLS 2017全版本概念体系进行穷举式标注，涵盖超过3百万个概念及35万条实体提及。其规模之大、概念覆盖之广，显著超越了当时同类资源，为跨学科生物医学信息抽取提供了坚实的基准，并成为该领域后续模型评估与工具开发的重要参考标准。

当前挑战

MedMentions所应对的领域核心挑战在于生物医学文本中实体提及的高度歧义性与概念体系的庞杂性。UMLS包含超300万概念，同一实体在不同上下文中可能映射至多个概念，例如‘cold’既可指感冒亦可描述温度，这要求模型具备精准的上下文感知消歧能力。在构建过程中，团队面临手动标注海量抽象概念与长尾实体的一致性难题，尽管未采用严格的交叠标注者一致性检验，但随机抽样的专家复核显示标注精确度达97.3%，体现了高质量控制的困难与成效。此外，数据集仅覆盖2016年文献，可能遗漏新兴概念与术语演变，为长期时效性维护带来挑战。

常用场景

经典使用场景

MedMentions作为生物医学领域规模最大的手动标注语料库之一，其核心应用场景在于命名实体识别（NER）与命名实体消歧（NED）任务的模型训练与评估。该数据集包含超过4000篇随机选自2016年PubMed的论文摘要，标注了逾35万个实体提及，并关联至UMLS 2017版中超过300万个概念。其卓越的规模与跨学科覆盖性，使其成为生物医学文本挖掘领域不可或缺的基准资源，尤其适用于训练深度学习模型以精准识别药物、疾病、基因等复杂实体。

解决学术问题

MedMentions有效解决了生物医学文献中实体标注语料规模不足与本体覆盖狭隘的学术瓶颈。传统语料库如BioCreative或GENIA多局限于特定子领域或小型本体，而MedMentions依托UMLS的广袤概念体系，为跨学科实体识别与消歧提供了统一基准，显著推动了从文献中自动提取结构化医学知识的可能性。其高精度标注（经独立评估准确率达97.3%）为评估模型泛化能力提供了可靠标尺，进而促进了端到端生物医学信息抽取系统的性能跃升。

衍生相关工作

MedMentions催生了多项经典后续工作，包括基于其标注体系开发的BioBERT、PubMedBERT等预训练语言模型在生物医学NER任务中的微调范式。研究者进一步衍生出MedMentions-GENIA交叉标注版本，用于评估跨本体迁移能力；同时，其子集被用于构建弱监督学习基准，探索远程监督与主动学习在生物医学实体识别中的效能。此外，该数据集启发了UMLS概念嵌入学习研究，推动了知识增强型神经架构在医学信息检索与问答系统中的应用创新。