librarian-bots/arxiv_abstracts_probably_about_new_datasets

--- dataset_info: features: - name: id dtype: string - name: submitter dtype: string - name: authors dtype: string - name: title dtype: string - name: comments dtype: string - name: journal-ref dtype: string - name: doi dtype: string - name: report-no dtype: string - name: categories dtype: string - name: license dtype: string - name: abstract dtype: string - name: versions list: - name: version dtype: string - name: created dtype: string - name: update_date dtype: timestamp[s] - name: authors_parsed sequence: sequence: string - name: prediction dtype: string - name: probability dtype: float64 splits: - name: train num_bytes: 85826043.97696729 num_examples: 51826 download_size: 48360518 dataset_size: 85826043.97696729 configs: - config_name: default data_files: - split: train path: data/train-* --- # Dataset Card for "arxiv_abstracts_probably_about_new_datasets" [More Information needed](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)数据集信息： 字段列表： - 字段名称：编号（id），数据类型：字符串 - 字段名称：提交者（submitter），数据类型：字符串 - 字段名称：作者（authors），数据类型：字符串 - 字段名称：标题（title），数据类型：字符串 - 字段名称：补充说明（comments），数据类型：字符串 - 字段名称：期刊著录项（journal-ref），数据类型：字符串 - 字段名称：数字对象标识符（doi），数据类型：字符串（DOI） - 字段名称：报告编号（report-no），数据类型：字符串 - 字段名称：分类标签（categories），数据类型：字符串 - 字段名称：授权协议（license），数据类型：字符串 - 字段名称：摘要（abstract），数据类型：字符串 - 字段名称：版本信息（versions）：列表类型，包含子字段： - 子字段名称：版本号（version），数据类型：字符串 - 子字段名称：创建时间（created），数据类型：字符串 - 字段名称：更新日期（update_date），数据类型：秒级时间戳（timestamp[s]） - 字段名称：解析后作者信息（authors_parsed）：嵌套字符串序列（即序列的序列） - 字段名称：预测结果（prediction），数据类型：字符串 - 字段名称：概率（probability），数据类型：64位浮点型（float64） 拆分方式： - 拆分名称：train（训练集），字节数：85826043.97696729，样本数：51826 下载大小：48360518 数据集总大小：85826043.97696729 配置项： - 配置名称：default（默认配置），数据文件： - 拆分方式：train（训练集），路径：data/train-* ## “疑似涉及新型数据集的arXiv摘要”数据集卡片 [需补充更多信息](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

原始信息汇总

数据集信息

特征

• id: 字符串类型
• submitter: 字符串类型
• authors: 字符串类型
• title: 字符串类型
• comments: 字符串类型
• journal-ref: 字符串类型
• doi: 字符串类型
• report-no: 字符串类型
• categories: 字符串类型
• license: 字符串类型
• abstract: 字符串类型
• versions: 列表类型
  • version: 字符串类型
  • created: 字符串类型
• update_date: 时间戳类型
• authors_parsed: 序列类型，序列元素为字符串类型
• prediction: 字符串类型
• probability: 浮点数类型

数据分割

• train:
  • 字节数: 85826043.97696729
  • 样本数: 51826

数据大小

• 下载大小: 48360518
• 数据集大小: 85826043.97696729

配置

• default:
  • 数据文件:
    • train: 路径为 data/train-*

搜集汇总

数据集介绍

构建方式

该数据集基于arXiv平台上的学术论文摘要构建，旨在筛选出可能涉及新数据集介绍的文献。构建流程首先从arXiv原始数据中提取论文元信息，包括标题、作者、摘要、分类等字段，随后利用预训练语言模型对摘要进行语义分析，生成每个条目是否与“新数据集”主题相关的预测标签（prediction）及其置信度分数（probability）。最终筛选出51826条训练样本，涵盖从论文提交到版本更新的完整元数据链条。

特点

数据集的核心特色在于其融合了传统学术元数据与智能分类标签。每条记录不仅包含id、作者、标题、摘要、DOI等标准字段，还额外提供了由模型生成的预测结果及概率值，便于用户直接评估筛选可靠性。此外，数据涵盖多学科分类（categories）和版本历史（versions），支持细粒度的时间与领域筛选。其字段结构完整，兼具原始文献信息与增强型语义标签，为研究数据集的自动发现与分类任务提供了高质量基础。

使用方法

该数据集可直接用于训练或评估针对学术论文摘要的文本分类模型，特别适用于识别文献中是否引入了新数据集。用户可加载train分片中的文本与标签字段，将abstract作为输入特征，prediction作为目标变量，构建二分类或概率预测任务。同时，丰富的元数据字段支持多模态分析，例如结合categories研究不同领域的数据集引入趋势，或利用update_date追踪时间演化。数据集以标准格式存储，兼容HuggingFace Datasets库，便于快速集成至现有工作流。

背景与挑战

背景概述

在科学文献爆炸式增长的当下，从海量论文中自动识别并提取那些介绍新数据集的研究成果，已成为推动数据驱动研究的关键需求。该数据集由librarian-bots团队创建，基于arXiv平台的学术论文摘要，通过机器学习模型预测哪些摘要可能涉及新数据集的发布。其核心研究问题在于如何高效、准确地从学术文本中筛选出数据集相关的贡献，从而辅助科研人员快速定位可用资源。该数据集包含超过5万条训练样本，涵盖了论文的元数据、摘要及预测标签，为自然语言处理与科学计量学的交叉研究提供了宝贵资源。自发布以来，它有效促进了自动数据集发现技术的发展，对科研信息检索和学术知识图谱构建产生了积极影响。

当前挑战

该数据集面临的挑战主要体现在两个方面。首先，在领域问题层面，自动识别学术文献中关于新数据集的描述是一项复杂的文本分类任务，因为数据集介绍往往与实验方法、结果分析等内容交织，缺乏统一的表述模式，导致模型需要具备高度的语义理解能力才能准确区分。其次，在构建过程中，数据集的标注质量依赖于模型预测的可靠性，而预测标签（prediction）和概率（probability）字段的存在暗示了标注可能存在不确定性。此外，从arXiv海量论文中筛选出可能涉及新数据集的样本，需要处理类别不平衡问题，因为真正介绍新数据集的论文占比可能较低，这给训练集的构建和模型泛化带来了额外挑战。

常用场景

经典使用场景

在自然语言处理与科学文献挖掘的交叉领域中，librarian-bots/arxiv_abstracts_probably_about_new_datasets数据集为研究者提供了一座精心筛选的学术文本宝库。该数据集聚焦于arXiv上那些极有可能介绍新数据集的论文摘要，涵盖计算机科学、统计学、物理学等多个学科。其经典使用场景在于训练和评估文本分类模型，以自动识别一篇学术论文是否提出了新的数据集。通过利用摘要文本、标题、作者信息以及预测标签和概率等字段，研究者能够构建高精度的分类器，从而在海量预印本中高效定位那些贡献了宝贵数据资源的文献。

解决学术问题

该数据集精准地回应了学术研究中一个日益严峻的挑战：如何从指数级增长的科研产出中，系统性地识别和追踪新发布的数据集。传统依赖人工检索或关键词匹配的方法，往往效率低下且覆盖不全。此数据集通过提供带有概率标注的摘要样本，使得研究者能够训练机器学习模型，自动从每日更新的arXiv论文流中筛选出那些描述新数据集的文献。这一能力极大地加速了数据资源的发现过程，为后续的跨学科研究、元分析以及数据驱动的科学发现奠定了坚实基础，提升了学术信息检索的智能化水平。

衍生相关工作

该数据集的诞生推动了若干引人瞩目的衍生工作。一方面，它启发了研究者利用其标注信息，结合预训练语言模型（如BERT、SciBERT）进行微调，探索更优的学术文本分类框架，相关论文常发表于ACL、EMNLP等自然语言处理顶级会议。另一方面，基于此数据集筛选出的“新数据集论文”集合，成为了构建更庞大、更细粒度的学术知识图谱的种子数据，催生了诸如数据集推荐系统、跨论文数据集关联分析等创新研究，进一步深化了对科研生态中数据流动模式的理解。