SOTA|机器学习数据集|性能评估数据集

该数据集用于SOTA任务的训练和验证，包含从arXiv下载的学术论文的LaTeX格式文件，以及相关的(任务, 数据集, 指标, 分数)注释。数据集旨在帮助开发和评估机器学习模型，以优化其在速度、准确性和存储方面的性能。

This dataset is designed for the training and validation of SOTA (State-of-the-Art) tasks, encompassing LaTeX format files of academic papers downloaded from arXiv, along with relevant annotations of (task, dataset, metric, score). The dataset aims to facilitate the development and evaluation of machine learning models, optimizing their performance in terms of speed, accuracy, and storage.

原始信息汇总

数据集概述

数据集结构

• 主目录：[dataset]/
  • 训练集：[train]/
    • 文章ID文件夹：[article-id-folder]/
      • 文章文件：[article-id].tex
      • 标注文件：annotations.json
  • 验证集：[validation]/
    • 文章ID文件夹：[article-id-folder]/
      • 文章文件：[article-id].tex
      • 标注文件：annotations.json

数据集内容

• 数据集包含12,288篇训练论文和100篇验证论文。
• 每篇论文的annotations.json文件包含以下信息：
  • 若论文报告模型分数，则包含（任务，数据集，指标，分数）注释。
  • 若论文未报告任何模型分数，则标注为“unanswerable”。
• 训练集包含7,936篇有leaderboard注释的论文和4,352篇无leaderboard注释的论文。
• 验证集包含51篇有leaderboard注释的论文和49篇无leaderboard注释的论文。

数据集统计

• 参数：train+validation (counts)
  • 独特任务：1,372
  • 独特数据集：4,795
  • 独特指标：2,782
  • 独特（任务，数据集，指标）三元组：11,977
  • 平均（任务，数据集，指标）三元组每篇论文：6.93

常见任务、数据集和指标

• 最常见任务：
  • 1. 图像分类 (2273次)
  • 2. Atari游戏 (1448次)
• 最常见数据集：
  • 1. ImageNet (1603次)
  • 2. COCO test-dev (792次)
• 最常见指标：
  • 1. 准确率 (4383次)
  • 2. 分数 (1515次)

常见（任务，数据集，指标）三元组

• （任务，数据集，指标）：Count
  • (图像分类, ImageNet, top 1 准确率)：524次
  • (图像分类, ImageNet, 参数数量)：313次

注释文件可发现性

• 任务：60.24%的注释标签可在伴随的论文全文找到。
• 数据集：45.48%的注释标签可在伴随的论文全文找到。
• 指标：42.69%的注释标签可在伴随的论文全文找到。
• 分数：58.86%的注释可在伴随的论文全文找到。

许可证

• 本数据集根据Creative Commons Attribution-ShareAlike 4.0 International License授权。

AI搜集汇总

数据集介绍

构建方式

SOTA数据集的构建基于从paperswithcode.com获取的学术论文，这些论文以LaTeX格式从arXiv下载，并包含详细的任务、数据集、指标和分数的标注信息。数据集分为训练集、验证集和测试集，其中训练集和验证集包含12,288篇论文，测试集分为few-shot和zero-shot两部分。每篇论文的标注文件（annotations.json）包含任务、数据集、指标和分数的四元组，或标记为‘unanswerable’以表示该论文未报告模型分数。数据集的构建旨在帮助研究人员自动检测和提取学术论文中的性能指标，从而推动人工智能研究的前沿。

特点

SOTA数据集的主要特点在于其丰富的标注信息和多样化的任务、数据集和指标组合。数据集中包含1,372个独特任务、4,795个独特数据集和2,782个独特指标，形成了11,977个独特的(任务, 数据集, 指标)三元组。此外，数据集中的每篇论文都附有详细的标注文件，帮助模型区分有性能报告的论文和无性能报告的论文。数据集的多样性和详细标注使其成为评估和改进机器学习模型性能的理想资源。

使用方法

SOTA数据集的使用方法主要包括训练和评估机器学习模型，以自动检测和提取学术论文中的性能指标。研究人员可以使用训练集和验证集来训练模型，使其能够区分有性能报告的论文和无性能报告的论文，并从中提取(任务, 数据集, 指标, 分数)四元组。测试集则用于评估模型的性能，特别是其在few-shot和zero-shot场景下的表现。通过使用该数据集，研究人员可以开发出更高效的模型，以自动跟踪和更新人工智能研究中的最新成果。

背景与挑战

背景概述

SOTA数据集，全称为‘SOTA? Tracking the State-of-the-Art in Scholarly Publications’，是由SimpleText项目在2024年推出的一个专门用于追踪学术出版物中人工智能研究最新进展的数据集。该数据集的核心研究问题是如何自动识别和提取学术论文中的任务、数据集、评估指标及其对应的模型性能，从而帮助研究人员快速获取当前最先进的研究成果。SOTA数据集的构建基于paperswithcode.com的资源，包含了超过12,000篇学术论文，涵盖了1,372个独特任务、4,795个数据集和2,782个评估指标。该数据集的发布不仅为人工智能领域的研究提供了宝贵的资源，还推动了自动化工具在学术研究中的应用，极大地提升了研究效率。

当前挑战

SOTA数据集在构建过程中面临多项挑战。首先，数据集的规模庞大，包含超过12,000篇论文，且每篇论文的格式和内容各异，如何高效地处理和标注这些数据是一个巨大的技术难题。其次，数据集中存在大量未标注的论文，这些论文未报告任何模型性能，导致无法生成相应的排行榜数据，这要求模型能够准确区分有标注和无标注的论文。此外，数据集中任务、数据集和评估指标的多样性也为模型的训练和评估带来了挑战，模型需要具备强大的泛化能力以应对不同类型的任务和指标。最后，数据集中部分标注信息与论文全文的匹配度较低，如何提高标注的准确性和完整性也是亟待解决的问题。

常用场景

经典使用场景

SOTA数据集在人工智能研究领域中，主要用于追踪和评估机器学习模型在特定任务上的最新性能。通过该数据集，研究者能够系统地分析不同模型在各类任务中的表现，如图像分类、对象检测等，从而推动人工智能技术的边界。

解决学术问题

SOTA数据集解决了学术界在追踪和比较机器学习模型性能方面的难题。它通过提供详细的任务、数据集、指标和分数的注释，帮助研究者快速定位和比较不同模型的性能，从而加速新算法的开发和验证。

衍生相关工作

基于SOTA数据集，研究者开发了多种用于自动检测和更新机器学习模型性能的工具和平台。这些工具不仅提高了研究效率，还促进了跨领域的知识共享和技术进步，如Papers with Code和Open Research Knowledge Graph等平台的构建。