arnosimons/astro-hep-corpus
收藏资源简介：
Astro-HEP Corpus数据集包含从1986年至2022年间发表在arXiv.org上的超过60万篇学术文章中提取的约2180万段落，涵盖天体物理学和高能物理学领域。数据集的主要用途是作为Astro-HEP-BERT模型的训练集，并用于分析天体物理学和高能物理学中的概念含义。数据集的构建使用了arXiv的元数据和分类法，通过Pandoc工具从LaTeX文件中提取纯文本，并对文本进行了清理和格式化处理。
The Astro-HEP Corpus consists of approximately 21.8 million paragraphs extracted from more than 600,000 scholarly articles related to astrophysics or high energy physics or both, published between 1986 and 2022 on arXiv.org. The primary purpose of the dataset is to serve as a training set for the Astro-HEP-BERT model and to analyze the meaning of concepts in astrophysics and high energy physics. The dataset was constructed using arXiv metadata and taxonomy, with plain text extracted from LaTeX files using Pandoc, followed by cleaning and formatting of the text.
数据集概述
基本信息
- 数据集名称: Astro-HEP Corpus
- 任务类别: 特征提取
- 语言: 英语
- 标签: 物理学, 天体物理学, 高能物理学, 科学, arXiv
- 数据量: 100K<n<1M
数据集描述
- 内容: 包含约2180万个段落，提取自超过60万篇与天体物理学或高能物理学相关的学术文章。
- 时间范围: 文章发表于1986年至2022年之间。
- 来源: 所有文章来自开放存取档案arXiv.org。
数据集结构
| 列名 | 描述 |
|---|---|
| Text | 段落的完整文本 |
| Characters | 段落中的Unicode字符数量 |
| Subwords | 段落中的BERT子词数量 |
| arXiv ID | arXiv提供的父文章标识符 |
| Year | 父文章首次发表的年份 |
| Month | 父文章首次发表的月份 |
| Day | 父文章首次发表的日期 |
| Position | 文章中段落的位置 |
数据集用途
- 主要用途: 用于分析天体物理学和高能物理学中的概念意义，以及作为训练Astro-HEP-BERT模型的数据集。
数据集组成
- 时间分布: 文章按首次发表年份、类别（ASTRO或HEP）和子类别（ASTRO有六个子类别，HEP有四个子类别）进行时间分布。
数据集构建
- 选择标准: 使用arXiv的元数据文件和分类法选择文章。
- 文本提取: 使用Pandoc从arXiv.org的原始LaTeX文件中提取纯文本。
- 文本处理:
- 所有文内引用替换为"[CIT]"。
- 所有多行数学表达式替换为"FORMULA"。
- 行内数学表达式保持不变。
- 通过简单的换行符分割解析段落。
- 进行额外清理以移除作者和资助信息以及噪声段落。
详细信息
- 开发者: Arno Simons
- 资助: 由欧盟根据Grant协议ID: 101044932资助。
- 语言: 英语
