nlpaueb/biomrc

我们引入了BIOMRC，这是一个大规模的填空式生物医学机器阅读理解数据集。与之前的BIOREAD数据集相比，我们采取了措施来减少噪声。实验表明，简单的启发式方法在新数据集上表现不佳，而在BIOREAD上测试过的两个神经MRC模型在BIOMRC上表现更好，这表明新数据集确实减少了噪声，或者至少其任务更加可行。非专家的人类在新数据集上的表现也比在BIOREAD上更好，而生物医学专家的表现则更佳。我们还引入了一个新的基于BERT的MRC模型，其最佳版本在实验中显著优于所有其他测试方法，甚至在某些实验中达到或超过了生物医学专家的准确性。我们以三种不同的大小发布了新数据集，并提供了代码和排行榜。

原始信息汇总

数据集概述

数据集名称

• 名称：BIOMRC
• 别名：biomrc

数据集配置

配置名称	特征	数据分割（示例数）	下载大小	数据集大小
plain_text	abstract, title, entities_list, answer	train(700000), validation(50000), test(62707)	408.08 MB	1.92 GB
biomrc_large_A	abstract, title, entities_list, answer	train(700000), validation(50000), test(62707)	408.08 MB	1.92 GB
biomrc_large_B	abstract, title, entities_list, answer	train(700000), validation(50000), test(62707)	343.06 MB	1.54 GB
biomrc_small_A	abstract, title, entities_list, answer	train(87500), validation(6250), test(6250)	68.88 MB	236.32 MB
biomrc_small_B	abstract, title, entities_list, answer	train(87500), validation(6250), test(6250)	57.70 MB	189.62 MB
biomrc_tiny_A	abstract, title, entities_list, answer	test(30)	0.02 MB	0.07 MB
biomrc_tiny_B	abstract, title, entities_list, answer	test(30)	0.02 MB	0.06 MB

数据集特征

• abstract: 字符串类型
• title: 字符串类型
• entities_list: 字符串序列列表
• answer: 字符串类型

数据分割详情

配置名称	训练集示例数	验证集示例数	测试集示例数
plain_text	700000	50000	62707
biomrc_large_A	700000	50000	62707
biomrc_large_B	700000	50000	62707
biomrc_small_A	87500	6250	6250
biomrc_small_B	87500	6250	6250
biomrc_tiny_A	-	-	30
biomrc_tiny_B	-	-	30

搜集汇总

数据集介绍

构建方式

BIOMRC（Biomedical Machine Reading Comprehension）是一个大规模、完形填空式的生物医学机器阅读理解数据集，旨在降低先前BIOREAD数据集中的噪声。该数据集基于PubMed摘要构建，通过精心设计的实体标注和答案生成流程，确保每个样本包含一篇摘要、标题、实体列表以及一个完形填空式的问题答案。数据集分为多种配置，包括large、small和tiny版本，每种配置又细分为A和B子集，以支持不同规模的实验需求。训练集、验证集和测试集的划分清晰，其中large版本包含70万训练样本，small版本包含8.75万训练样本，tiny版本则提供30个测试样本，便于快速验证。

特点

BIOMRC数据集的核心特点在于其高质量的噪声控制机制和领域专业性。与BIOREAD相比，BIOMRC通过严格的筛选和标注流程显著减少了数据噪声，使得简单的启发式方法难以取得良好性能。数据集中的每个样本均包含结构化的实体信息，实体列表以标准化格式标注，包括实体名称、标识符（如MESH编号）和类型，这为模型提供了丰富的上下文线索。此外，数据集提供了多种规模版本，从大型到微型，适应不同计算资源和研究需求。实验表明，基于BERT的模型在该数据集上表现优异，部分实验甚至达到了或超过了生物医学专家的准确率，凸显了其作为生物医学MRC基准的可靠性和挑战性。

使用方法

使用BIOMRC数据集时，研究人员可通过HuggingFace Datasets库便捷加载。数据集支持多种配置名称，如'plain_text'、'biomrc_large_A'、'biomrc_small_B'等，用户可根据需求选择特定子集。加载后的数据包含四个字段：abstract（摘要文本）、title（标题）、entities_list（实体列表）和answer（答案）。对于完形填空任务，模型需根据摘要和实体列表预测被掩码的实体答案。数据集可直接用于训练和评估机器阅读理解模型，尤其是基于Transformer的架构。建议使用预训练的生物医学语言模型（如BioBERT或PubMedBERT）进行微调，以充分利用其领域知识。评估指标通常采用准确率，与人类专家表现进行对比，从而衡量模型在生物医学文本理解中的能力。

背景与挑战

背景概述

在自然语言处理与生物医学信息检索的交汇处，机器阅读理解（MRC）技术正逐渐成为从海量文献中精准抽取知识的关键工具。BIOMRC数据集由雅典经济与商业大学自然语言处理实验室的Dimitris Pappas、Petros Stavropoulos、Ion Androutsopoulos以及谷歌的Ryan McDonald于2020年联合创建，旨在解决生物医学领域大规模完形填空式机器阅读理解任务的挑战。该数据集基于PubMed摘要构建，提供了超过70万训练样本，并设计了多种规模版本以适应不同研究需求。与早期BIOREAD数据集相比，BIOMRC通过精心设计降低了噪声，使得简单启发式方法难以奏效，从而推动了神经MRC模型在该领域的深入发展。其影响力体现在：不仅为生物医学文献理解提供了标准化基准，还催生了基于BERT的先进模型，其性能在部分实验甚至超越了生物医学专家。

当前挑战

BIOMRC数据集所面对的挑战首先源于生物医学文本的独特复杂性——专业术语密集、实体间关系隐晦且存在大量缩写歧义，这使得通用MRC模型难以直接迁移。其次，构建过程中面临的核心难题包括：如何从非结构化摘要中自动生成高质量的完形填空问题，同时避免答案泄露和上下文噪声；如何通过实体链接确保答案与生物医学本体（如MeSH）的一致性，以维持标注的精确性。此外，不同规模版本（如A/B变体）的设计需平衡数据多样性与任务难度，且需确保人类专家与非专家表现的可区分性，从而验证数据集对模型能力的有效评估。这些挑战共同塑造了BIOMRC作为生物医学MRC领域标杆数据集的独特地位。

常用场景

经典使用场景

在生物医学自然语言处理领域，机器阅读理解（MRC）任务旨在从医学文献摘要中精准抽取实体信息，以回答基于实体掩码的完形填空式问题。BIOMRC数据集专为此设计，其经典使用场景是训练和评估模型在生物医学文本上的推理与信息检索能力。研究者利用该数据集的多种规模版本（如Large、Small、Tiny），通过将医学论文标题作为问题，摘要作为上下文，要求模型预测被掩码的医学实体（如疾病、药物），从而检验模型对专业术语和复杂语境的理解水平。这一场景直接模拟了临床文献检索与知识问答的实际需求。

衍生相关工作

BIOMRC的发布催生了一系列经典工作，包括基于BERT的BioBERT、PubMedBERT等预训练模型在生物医学MRC任务上的微调与改进。研究者进一步提出多任务学习框架，将实体识别与关系抽取融入阅读理解过程，提升了模型对复杂医学查询的应对能力。此外，该数据集被用于评估跨领域迁移学习的效果，推动了少样本学习在医学文本中的应用探索。这些衍生工作不仅验证了BIOMRC作为基准的可靠性，还促进了可解释性MRC模型的发展，为构建可信赖的医疗AI奠定了实验基础。

数据集最近研究

最新研究方向

在生物医学自然语言处理的前沿领域，BIOMRC数据集作为大规模完形填空式机器阅读理解基准，正引领着从传统启发式方法向深度语义理解的范式转变。该数据集通过精心设计的实体标注和噪声控制机制，有效克服了早期BIOREAD数据集中的局限性，为评估和推动基于Transformer架构的预训练语言模型（如BERT及其生物医学变体）在复杂医学文献中的推理能力提供了关键测试平台。当前研究热点聚焦于利用该数据集训练能够精准抽取疾病、药物和基因等医学实体间隐含关系的模型，进而提升临床决策支持系统的可靠性。随着大型语言模型在医疗领域的渗透，BIOMRC不仅成为衡量模型生物医学常识和上下文理解能力的黄金标准，其多尺度版本（Large/Small/Tiny）更促进了从资源受限场景到高性能计算环境下的算法适配研究，对加速精准医学知识挖掘和智能诊疗系统落地具有深远意义。