NatureBench
收藏资源简介：
NatureBench是一个跨学科基准测试数据集，旨在评估AI编码代理是否能够匹配Nature系列期刊论文中已发表的最先进成果。该数据集从2022年至2025年间经过同行评审的Nature系列期刊论文中提取了90个任务（共333个评估实例），涵盖六个科学领域：细胞组学、蛋白质生物学、生物医学建模、物理建模、分子设计和关系推理。每个任务要求代理解决一个真实的科学机器学习问题，并通过与源论文报告的最先进成果进行标准化相对差距评分来评估性能，确保不同指标之间的结果可比性。数据集基于NatureGym自动化流程构建，将已发表的论文转换为容器化的任务包，包含任务简介、论文数据集、带有隐藏真实值的保留测试集以及自动化评估器。评估在隔离容器中进行，网络搜索被禁用，要求代理仅通过任务简介和数据解决问题，而非检索原始论文结果。数据集结构包括任务目录，每个任务包含问题描述、评估数据、环境配置、许可证文件和元数据。
NatureBench is an interdisciplinary benchmark dataset designed to evaluate whether AI coding agents can match the state-of-the-art results published in Nature family journals. This dataset extracts 90 tasks (totaling 333 evaluation instances) from peer-reviewed Nature family journal papers published between 2022 and 2025, covering six scientific domains: cytomics, protein biology, biomedical modeling, physical modeling, molecular design, and relational reasoning. Each task requires the agent to solve a real-world scientific machine learning problem, and performance is evaluated via a standardized relative gap score against the state-of-the-art results reported in the source paper, ensuring result comparability across different metrics. Built on the NatureGym automated pipeline, the dataset converts published papers into containerized task packages, which include task descriptions, paper-provided datasets, held-out test sets with hidden ground truth values, and automated evaluators. Evaluations are conducted in isolated containers, with web searches disabled, requiring the agent to solve the problem solely using the task description and provided data, rather than retrieving results from the original paper. The dataset structure consists of task directories, with each task containing a problem description, evaluation data, environment configuration, license files, and metadata.
NatureBench 数据集概述
NatureBench 是一个跨学科基准测试，包含 90 个任务（333 个评估实例），源自 2022 至 2025 年间发表的同行评审 Nature 系列论文，覆盖 6 个科学领域。旨在评估 AI 编程代理能否超越单纯的复现，实现科学发现：每个任务要求代理解决一个真实的科学机器学习问题，并根据原始论文报告的当前最佳水平（SOTA）进行评分。
- 编程语言：英语
- 许可证：其他（MIT 及第三方数据许可证）
- 数据集大小：< 1K
- 标签：编程代理、基准测试、科学机器学习、自然
数据集结构
数据集按 tasks/<case_id>/ 目录组织，每个任务包含以下组件：
| 路径 | 描述 |
|---|---|
tasks/<case_id>/problem/ |
代理可见的任务描述和可见输入数据 |
tasks/<case_id>/evaluation/ |
评估器和隐藏真实标签，运行期间不向代理暴露 |
tasks/<case_id>/environment/ |
任务特定的容器化环境 |
tasks/<case_id>/licenses/ |
该任务数据的第三方许可声明 |
tasks/<case_id>/metadata.json |
任务名称、领域、计算资源需求及每个实例的 SOTA 分数 |
覆盖领域
六个科学领域：细胞组学、蛋白质生物学、生物医学建模、物理建模、分子设计、关系推理。
评估方式
每个任务的评分基于 SOTA 归一化相对差距，确保不同指标的得分具有可比性。代理在隔离容器中评估，禁用网络搜索，必须仅通过任务简介和数据解决问题。后验有效性裁判会筛选出取巧的解决方案。
如何使用
使用配套代码运行 NatureBench，仅下载数据可通过以下命令：
bash python run_naturebench.py --dataset-id FrontisAI/NatureBench --tasks all --download-only
详细安装、代理配置和评估说明参见 GitHub 代码仓库：https://github.com/FrontisAI/NatureBench
排行榜
项目排行榜位于：https://frontisai.github.io/NatureBench/
许可证
顶层 LICENSE 仅适用于 NatureBench 原创贡献，第三方数据受各任务 tasks/<case_id>/licenses/ 目录下声明的条款约束。
引用
bibtex @misc{naturebench2026, title = {NatureBench: Can Coding Agents Match the Published SOTA of Nature-Family Papers?}, howpublished = {url{https://github.com/FrontisAI/NatureBench}}, year = {2026} }
