airs-bench

AIRS-Bench（AI研究科学基准）是一个用于量化LLM代理在机器学习领域自主研究能力的基准测试。该数据集包含20个来自前沿机器学习论文的任务，涵盖多个领域：自然语言处理（NLP）、代码、数学、生化建模和时间序列预测。每个任务由一个⟨问题、数据集、指标⟩三元组和一个SOTA（最先进）值定义。代理接收完整的任务规范，并需要开发一个解决方案以生成测试集的预测，然后进行评估并与已发表论文中的SOTA分数进行比较。数据集包含任务规范文件，适用于aira-dojo代理工具。任务分为多个类别，包括文本分类、问答、文本提取与匹配、分子与蛋白质机器学习、时间序列、代码和数学。每个任务的数据字段包括任务标识符、类别、研究问题、数据集标识符、评估指标以及多个脚本文件（如元数据文件、任务提示、数据集准备脚本、评估脚本等）。数据集采用CC BY-NC 4.0许可证发布。AIRS-Bench (AI Research Scientific Benchmark) is a benchmark for quantifying the autonomous research capabilities of large language model (LLM) agents in the field of machine learning. This dataset contains 20 tasks sourced from cutting-edge machine learning papers, covering multiple domains: Natural Language Processing (NLP), code, mathematics, biochemical modeling, and time series forecasting. Each task is defined by a <question, dataset, metric> triplet and a state-of-the-art (SOTA) value. Agents are provided with the full task specification, and are required to develop a solution to generate predictions for the test set, followed by evaluation and comparison against the SOTA scores from published papers. The dataset includes task specification files compatible with the aira-dojo agent tool. The tasks are categorized into multiple groups, including text classification, question answering, text extraction and matching, machine learning for molecules and proteins, time series, code, and mathematics. The data fields for each task include task identifier, category, research question, dataset identifier, evaluation metrics, and multiple script files (e.g., metadata files, task prompts, dataset preparation scripts, evaluation scripts, etc.). The dataset is released under the CC BY-NC 4.0 license.

搜集汇总

数据集介绍

构建方式

在人工智能研究的前沿领域，AIRS-Bench的构建遵循严谨的学术范式，旨在系统评估大型语言模型在机器学习研究中的自主能力。该数据集精心遴选了20项源自顶尖机器学习论文的任务，覆盖自然语言处理、代码生成、数学推理、生物化学建模及时间序列预测等多个学科范畴。每个任务均以⟨问题、数据集、评估指标⟩三元组形式呈现，并附带已发表的最高性能基准值，确保了任务定义的完整性与可比性。数据集的构建过程深度融合了领域专家的知识，通过标准化的元数据文件与配套脚本，为智能体提供了清晰的研究框架与可复现的实验环境。

特点

AIRS-Bench的显著特征在于其跨领域的任务集成与结构化的评估体系。数据集将多样化的研究挑战归纳为七大类别，包括文本分类、问答、分子与蛋白质机器学习等，体现了机器学习研究的广度与深度。每个任务不仅包含明确的研究问题与数据集标识，还提供了完整的评估脚本与数据预处理工具，支持智能体从问题理解到解决方案验证的全流程自动化。这种设计使得数据集不仅能衡量模型在单一任务上的表现，更能综合考察其跨领域迁移与自主研究的能力，为前沿AI系统的科学探索提供了多维度的测评基准。

使用方法

使用AIRS-Bench时，研究者可借助配套的aira-dojo智能体框架，系统开展自主研究能力的评估。智能体接收包含任务描述、数据集信息与评估指标的项目说明后，需自主设计解决方案，并在隐藏标签的测试集上生成预测结果。随后，通过调用数据集内置的评估脚本，将预测结果与已发表的最高性能基准进行量化比较。这一流程模拟了真实科研环境中从问题定义到成果验证的完整周期，使得评估不仅关注最终性能，更强调智能体在复杂研究任务中的规划、执行与迭代能力。数据集提供的标准化接口确保了评估过程的可靠性与可复现性。

背景与挑战

背景概述

在人工智能研究的前沿领域，评估大型语言模型（LLM）代理的自主科研能力已成为推动智能系统发展的核心议题。AIRS-Bench（AI Research Science Benchmark）由Meta（Facebook）研究团队于2026年正式推出，旨在通过一套涵盖自然语言处理、代码生成、数学推理、生物化学建模及时间序列预测等多元领域的20项任务，系统量化LLM代理在机器学习研究中的自主问题解决能力。该基准通过⟨问题、数据集、指标⟩三元组及对应的最优性能（SOTA）值，模拟真实科研场景，要求代理基于完整任务描述自主开发解决方案并生成预测，从而为前沿AI研究提供了标准化评估框架，显著促进了智能代理在复杂科学探索中的应用与验证。

当前挑战

AIRS-Bench所针对的核心挑战在于如何精准评估LLM代理在开放、动态的科研环境中的自主创新能力，这要求基准不仅涵盖多领域复杂任务，还需模拟从问题理解到方案实现的完整研究流程。构建过程中的挑战主要体现在任务设计的多样性与真实性平衡上：需从顶级机器学习论文中筛选代表性任务，确保其覆盖文本分类、问答、分子蛋白质预测、时间序列等异构领域，同时维护数据集的标准化格式与可复现性；此外，基准需集成异构评估指标（如准确率、平均绝对误差、Rouge分数等），并设计自动化评估脚本以隐藏测试标签，防止代理过拟合，从而保证评估的公正性与严谨性。

常用场景

经典使用场景

在人工智能研究领域，AIRS-Bench作为一套前沿的基准测试套件，其经典使用场景聚焦于评估大型语言模型（LLM）代理在机器学习任务中的自主研究能力。该数据集通过精心设计的20项任务，覆盖文本分类、问答、分子蛋白质建模、时间序列预测及代码生成等多个子领域，为研究者提供了一个标准化的测试平台，用以衡量AI代理在理解复杂研究问题、设计解决方案并生成预测结果方面的综合表现。

实际应用

在实际应用层面，AIRS-Bench为开发具备自主科研能力的AI代理提供了关键的训练与验证环境。该数据集可被广泛应用于自动化机器学习（AutoML）系统、智能科研助手以及跨学科问题求解平台的构建中，帮助提升代理在真实世界复杂任务（如药物发现、代码优化或时间序列分析）中的表现，加速科学实验与工程实践的迭代进程。

衍生相关工作

围绕AIRS-Bench衍生的经典工作主要集中在增强AI代理的自主研究框架与评估方法上。例如，基于其任务规范开发的aira-dojo等代理化工具链，进一步优化了任务执行与评估流程；同时，该数据集也激励了针对多模态学习、元学习以及强化学习在科研代理中的应用研究，推动了如自主文献综述、实验设计自动化等新兴方向的探索。