J0nasW/paperswithcode

这是一个从paperswithcode.com通过其API服务清理后的数据集，包含约56,000篇精心分类的论文，分为3,000个任务和16个领域。数据集包含论文的arXiv和NIPS ID、标题、摘要及其他元信息，适用于训练专注于特定AI和ML方法及框架的文本分类器。数据集还添加了UUID以增强唯一性，并计算了所有论文的嵌入和2D坐标。

原始信息汇总

数据集概述

基本信息

• 许可: MIT
• 任务类别:
  • 文本分类
  • 特征提取
• 语言: 英语
• 大小类别: 10K<n<100K

数据来源与更新

• 来源: paperswithcode.com
• 最后更新: 2023年7月

数据内容

• 主要文件:
  • papers.csv (约56K记录)
  • papers_train.csv (56K记录的80%)
  • papers_test.csv (56K记录的20%)
  • tasks.csv
  • areas.csv

特殊处理

• 添加了UUID以增强数据唯一性。
• 使用SciNCL模型计算了所有56K论文的嵌入，并使用UMAP进行了维度缩减至2D坐标。