kiyer/arxiv_cs.LG

该数据集包含100,000个样本，每个样本包括arxiv_id、标题、摘要、链接、作者、更新日期和发布日期等信息。数据集的分割信息显示只有一个训练集，大小为143,316,214字节。下载大小为79,371,602字节，数据集大小为143,316,214字节。

This dataset contains 100,000 samples, each including arxiv_id, title, abstract, link, authors, updated date, and published date. The datasets split information shows only one training set, with a size of 143,316,214 bytes. The download size is 79,371,602 bytes, and the dataset size is 143,316,214 bytes.

原始信息汇总

数据集概述

基本信息

• 名称: arxiv_cs.LG
• 描述: kiyer/arxiv_cs.LG 数据集托管在 HF Mirror 上，由 HF Datasets 社区贡献。
• 别名: kiyer/arxiv_cs.LG
• 创建者: Kartheik Iyer
• 网址: https://hf-mirror.com/datasets/kiyer/arxiv_cs.LG
• 许可证: MIT

关键词

• mit
• 100K - 1M
• parquet
• Text
• Datasets
• pandas
• Croissant
• 🇺🇸 Region: US

数据集结构

• 分布:

  • 类型: cr:FileObject

  • 名称: repo

  • 描述: HF Mirror git 仓库。

  • 内容 URL: https://hf-mirror.com/datasets/kiyer/arxiv_cs.LG/tree/refs%2Fconvert%2Fparquet

  • 编码格式: git+https

  • 类型: cr:FileSet

  • 名称: parquet-files-for-config-default

  • 描述: 由 HF Mirror 转换的基础 Parquet 文件（参见：https://hf-mirror.com/docs/datasets-server/parquet）。

  • 包含于: repo

  • 编码格式: application/x-parquet

  • 包含: default//.parquet

• 记录集:

  • 类型: cr:RecordSet
  • 名称: default
  • 描述: kiyer/arxiv_cs.LG - default 子集
    • 1 个跳过的列: authors
  • 字段:

    • 类型: cr:Field

    • 名称: default/arxiv_id

    • 描述: HF Mirror parquet 文件中的列 arxiv_id。

    • 数据类型: sc:Text

    • 来源:

      • 文件集: parquet-files-for-config-default
      • 提取: 列 arxiv_id

    • 类型: cr:Field

    • 名称: default/title

    • 描述: HF Mirror parquet 文件中的列 title。

    • 数据类型: sc:Text

    • 来源:

      • 文件集: parquet-files-for-config-default
      • 提取: 列 title

    • 类型: cr:Field

    • 名称: default/abstract

    • 描述: HF Mirror parquet 文件中的列 abstract。

    • 数据类型: sc:Text

    • 来源:

      • 文件集: parquet-files-for-config-default
      • 提取: 列 abstract

    • 类型: cr:Field

    • 名称: default/link

    • 描述: HF Mirror parquet 文件中的列 link。

    • 数据类型: sc:Text

    • 来源:

      • 文件集: parquet-files-for-config-default
      • 提取: 列 link

    • 类型: cr:Field

    • 名称: default/updated

    • 描述: HF Mirror parquet 文件中的列 updated。

    • 数据类型: sc:Text

    • 来源:

      • 文件集: parquet-files-for-config-default
      • 提取: 列 updated

    • 类型: cr:Field

    • 名称: default/published

    • 描述: HF Mirror parquet 文件中的列 published。

    • 数据类型: sc:Text

    • 来源:

      • 文件集: parquet-files-for-config-default
      • 提取: 列 published

符合标准

• 标准: http://mlcommons.org/croissant/1.0

搜集汇总

数据集介绍

构建方式

该数据集源自arXiv预印本平台，聚焦于计算机科学领域的机器学习子方向（cs.LG）。其构建方式依托于arXiv官方元数据接口，通过系统化采集与筛选，汇集了自该分类设立以来共计十万篇学术论文的元信息。每条记录包含论文的唯一标识符（arxiv_id）、标题、摘要、原文链接、作者列表、发布日期与最后更新日期等结构化字段，形成了高密度、标准化的学术文献数据库。

特点

数据集的核心特点在于其高覆盖性与纯净性。百万级规模的训练样本确保了统计意义上的充分性，而聚焦单一学科子领域则避免了跨领域语义偏移。所有字段均采用原始元数据，未施加额外标注或清洗，保留了学术文本的自然语言特征。这种未经人工干预的原始性使得数据集成为研究论文表征学习、科学文献计量分析及自然语言处理预训练任务的理想基准。

使用方法

该数据集以HuggingFace Datasets标准格式发布，用户可通过加载'kiyer/arxiv_cs.LG'直接获取。其数据文件采用分片存储策略，支持流式读取以降低内存消耗。典型应用场景包括训练论文摘要生成模型、构建学术检索系统的语义索引、或作为迁移学习中的领域预训练语料。开发者可利用其结构化字段进行多模态分析，例如联合作者合作关系与发表时序信息探索学科演化规律。

背景与挑战

背景概述

在机器学习与人工智能领域，学术文献的快速积累为研究者提供了丰富的知识源泉，但也带来了信息检索与知识挖掘的挑战。kiyer/arxiv_cs.LG数据集由研究人员于近年构建，专注于计算机科学中的机器学习子领域，汇集了来自arXiv预印本平台的十万篇论文元数据，包括标题、摘要、作者及发表时间等关键信息。该数据集的核心研究问题在于为自然语言处理、文献计量分析及学术趋势预测提供标准化、大规模的结构化语料库。其影响力体现在降低了研究者获取和利用机器学习领域最新成果的门槛，促进了基于文献的模型训练与知识发现，成为学术数据挖掘的重要基石。

当前挑战

该数据集面临的挑战首先在于所解决的领域问题：机器学习文献的爆炸式增长使得高效分类、主题演化追踪及跨学科关联分析变得异常复杂，传统方法难以应对动态更新的学术知识图谱构建。其次，构建过程中需克服数据源的异构性与不完整性，如作者名称消歧、摘要格式差异及元数据缺失等问题。此外，数据集的静态快照特性限制了其对实时学术动态的反映能力，而版权与许可协议的合规性也要求持续关注，以确保在学术研究中的合法使用与长期维护。

常用场景

经典使用场景

在机器学习与人工智能研究的前沿领域，大规模、结构化的文献数据是推动学术进步的重要基石。kiyer/arxiv_cs.LG数据集汇集了来自arXiv计算机科学子领域“机器学习”（cs.LG）的十万篇论文元数据，涵盖标题、摘要、作者、发表时间等关键信息。该数据集最经典的使用场景是作为文本挖掘与自然语言处理任务的基准资源，特别适用于学术文献的自动分类、主题建模、摘要生成以及科研趋势分析。研究者能够借助这些丰富且高质量的文本数据，构建和评估面向科学文献的理解与生成模型，从而探索知识发现与信息检索的新方法。

实际应用

在实际应用层面，kiyer/arxiv_cs.LG数据集展现出广泛的实用价值。基于该数据集训练的论文推荐系统能够根据用户的研究兴趣，精准推送相关的最新文献；科研机构与学术出版商可以借助其构建自动化的论文审稿辅助工具，通过分析摘要与标题预测论文的所属子领域与潜在影响力。此外，该数据集还可用于开发学术搜索引擎的语义检索功能，提升研究者在海量文献中定位关键信息的效率。这些应用显著加速了科研信息的传播与利用，推动了学术交流的智能化进程。

衍生相关工作

该数据集衍生出一系列具有影响力的经典研究工作。例如，基于其摘要与标题数据，研究者训练了专门用于科学文献理解的预训练语言模型（如SciBERT），显著提升了在学术文本上的命名实体识别与关系抽取性能。此外，利用该数据集进行的学术趋势分析工作，通过时序主题模型揭示了机器学习领域从传统方法到深度学习的范式转移。还有工作将其与论文引用网络结合，构建了融合文本与结构信息的论文影响力预测模型，为科学计量学提供了新的研究范式。这些衍生成果充分彰显了该数据集的学术生命力与催化作用。