Section-level annotations dataset for scientific papers (based on S2ORC)

该数据集是基于Semantic Scholar开放研究语料库（S2ORC）构建的大规模科学论文修辞结构标注资源，由斯坦福大学和哥本哈根大学等机构的研究团队开发。数据集包含约1350万篇论文的章节级标注，覆盖数亿个文本片段，主要来源于STEM领域（特别是医学和生物学）的开放获取学术文献。创建过程采用高效的两阶段基于规则分类算法，结合精确匹配和正则表达式，对GROBID解析后的章节标题进行识别与标注，并通过标签传播和质量过滤确保数据可靠性。该资源旨在支持科学计量学和大规模计算研究，用于分析科学话语模式、学科特定写作规范以及科学交流的历时演变。This dataset is a large-scale rhetorical structure annotation resource for scientific papers, built upon the Semantic Scholar Open Research Corpus (S2ORC) and developed by research teams from institutions such as Stanford University and the University of Copenhagen. It contains chapter-level annotations for approximately 13.5 million papers, covering hundreds of millions of text segments, and is primarily derived from open-access academic literature across STEM fields, with a particular focus on medicine and biology. The dataset's construction employs an efficient two-stage rule-based classification algorithm, which combines exact matching and regular expressions to identify and annotate section titles parsed by GROBID, and ensures data reliability through label propagation and quality filtering. This resource aims to support scientometrics and large-scale computational research for analyzing scientific discourse patterns, discipline-specific writing conventions, and the diachronic evolution of scientific communication.

搜集汇总

数据集介绍

构建方式

该数据集基于S2ORC语料库构建，涵盖1560万篇科学论文。研究者采用两遍规则分类算法：首轮通过精确字符串匹配标准化章节标题，次轮利用正则表达式识别语义等价变体。随后实施标签传播策略，将未标注行归入前一个标签类别，并引入'development'标签处理非标准结构章节。经过质量过滤后，最终保留约1350万篇论文，其中75%属于STEM领域。

使用方法

研究者可通过匹配S2ORC论文标识符和标题位置元数据获取对应文本。数据集以Parquet格式提供完整分类结果，包含论文ID、章节标签及位置信息。用户可根据研究需要自行调整过滤阈值，如最小章节数量或最大章节占比。建议针对非英语论文进行语言检测过滤，并注意'development'标签的结构性定义特性。

背景与挑战

背景概述

科学论文的修辞结构，如引言、方法、结果与讨论（IMRaD）格式，是系统化组织学术知识、传递研究脉络的基石。来自斯坦福大学、哥本哈根大学等机构的研究人员Daniel Verdi、Jacob Aarup Dalsgaard和Roberta Sinatra等人，于2026年构建了基于S2ORC语料库的篇章级标注数据集，旨在破解大规模自动识别论文章节的难题。该数据集涵盖约1350万篇经过质量过滤的科学论文，主要聚焦于STEM领域，尤以医学与生物学为代表，为科学学研究提供了前所未有的粒度与广度。其通过规则驱动的分类算法，实现了与人类标注者相媲美的一致性水平，深刻推动了关于科学话语模式的计算性分析，成为连接微观论文结构分析与宏观科研生态理解的关键桥梁。

当前挑战

该数据集面临的核心挑战在于处理学术文献修辞结构的复杂性与异质性。首先，跨学科与跨出版商的章节标题变异性极大，如非标准化的术语“历史背景”或复合章节“结果与讨论”，使得基于精确匹配的规则系统难以精准捕获，导致文学综述等类别召回率极低（0.09）。其次，构建过程中需应对大规模处理的技术瓶颈：从1500万篇论文中提取超过2亿个标题行，并设计两遍标注与标签传播策略以处理未匹配标题，同时需借助四分位距规则剔除结构异常的论文，在保留81.2%论文的前提下维持分类可靠性与数据规模之间的微妙平衡。此外，注释任务本身的主观性，使得即使人类专家之间的Krippendorff's Alpha也仅为0.61，暴露了修辞边界界定的固有不明确性。

常用场景

经典使用场景

在科学文献计量学与科学学（Science of Science）研究领域，该数据集最为经典的使用场景在于大规模自动识别科学论文的修辞结构。依托于S2ORC语料库中超过1500万篇开放获取论文，研究者可利用该数据集的章节级标注，系统性地剖析IMRaD（引言、方法、结果、讨论）及其变体结构在学术写作中的分布规律。这一资源为跨学科、跨时间段的科学话语模式分析提供了前所未有的数据基础，使得从宏观视角揭示不同领域写作惯例的异同成为可能，尤其适用于探索医学、生物学等STEM学科中标准化修辞框架的演进轨迹。

解决学术问题

该数据集有效解决了以往研究因语料规模不足而难以推广至百万级语料的棘手问题。传统方法多依赖小规模人工标注或有限的规则匹配，其适用性和可复现性均受到严重制约。通过引入两阶段规则分类算法（精确匹配与正则表达式），该工作实现了对海量论文中章节边界的稳健识别，并经过人工与大型语言模型的严格验证，证明其分类一致性堪比人类标注者。此举显著降低了开展科学话语大规模计算研究的门槛，使研究者能够突破手工标注的瓶颈，进而探讨学科特异性写作风格、分析修辞结构随时间变迁的动态规律，以及量化不同章节在科学传播中的角色差异。

实际应用

在实际应用层面，该数据集为学术搜索引擎、文献推荐系统以及自动论文摘要生成工具等下游任务提供了关键的篇章级语义支撑。例如，借助精准的引言与结论标注，检索系统能够更高效地定位研究动机与核心发现；方法章节的识别则有助于自动提取实验设计信息。此外，出版商和科研管理机构可借助该数据集，对海量投稿进行格式合规性审查，或分析不同期刊论文的叙事结构偏向。对于从事科技文本挖掘的团队而言，该数据集可作为训练更精细、更复杂语义模型的基准语料，从而推动自动学术文档理解技术的实用化进程。

数据集最近研究

最新研究方向

基于大规模语料库的学术论文修辞结构自动标注与科学话语分析

相关研究论文

• Large-scale dataset of automatically classified rhetorical sections in scientific papers

  斯坦福大学·教育学院; 哥本哈根大学·社会数据科学中心; 哥本哈根信息技术大学·网络、数据与社会研究中心; 人工智能先锋中心; 复杂性科学中心 · 2026年