researchclaweval
收藏资源简介：
AI Scientist Benchmark Artifacts 是一个用于评估和比较 AI 科学家系统的基准数据集。该数据集包含七个 AI 科学家系统（包括 EvoScientist、Auto Research Claw、Deep Scientist、AI Researcher、ARIS、The AI Scientist v2 和 Dr. Claw）在同一个研究主题上生成的产物。每个主题包由输入数据、输出产物（如生成的研究报告、代码或脚本、实验日志、提交文件以及可用的评估结果）和元数据文件（metadata.json）组成，其中元数据记录了主题 ID、名称、任务名称、参与系统列表和发布状态。数据集当前版本包含一个主题，未来计划扩展更多主题。其目录结构清晰，分为 inputs/ 和 outputs/ 子目录，分别对应七个系统的输入和输出文件。该数据集旨在支持对 AI 科学家系统的性能评估，可用于研究系统是否能够完成研究任务、产生何种产物、在何处失败以及不同系统在同一主题上的行为差异。基准元数据和打包文件遵循 Apache 2.0 许可证，而第三方基准数据和原始挑战材料则遵循各自的许可证。
AI Scientist Benchmark Artifacts is a benchmark dataset for evaluating and comparing AI scientist systems. The dataset contains artifacts generated by seven AI scientist systems (including EvoScientist, Auto Research Claw, Deep Scientist, AI Researcher, ARIS, The AI Scientist v2, and Dr. Claw) on the same research topic. Each topic package consists of input data, output artifacts (such as generated research reports, code or scripts, experiment logs, submission files, and available evaluation results), and a metadata file (metadata.json), where the metadata records the topic ID, name, task name, list of participating systems, and release status. The current version of the dataset includes one topic, with plans to expand to more topics in the future. Its directory structure is clear, divided into inputs/ and outputs/ subdirectories, corresponding to the input and output files of the seven systems, respectively. The dataset aims to support performance evaluation of AI scientist systems and can be used to study whether systems can complete research tasks, what artifacts they produce, where they fail, and the behavioral differences between different systems on the same topic. The benchmark metadata and packaged files follow the Apache 2.0 license, while third-party benchmark data and original challenge materials follow their respective licenses.
数据集概述
数据集名称：AI Scientist Benchmark Artifacts
许可协议：Apache 2.0（基准元数据和打包文件），第三方数据遵循各自许可。
语言：英语（en）
标签：ai-scientist, research-agent, benchmark, agent-evaluation
发布状态：部分发布（当前仅包含一个研究主题，后续将增加更多主题）
数据集描述
该数据集包含七个AI科学家系统在一个研究主题上生成的工件。每个主题包对应一个研究主题，并包含七个AI科学家系统在相同任务设置下的输出结果。
包含的AI科学家系统
- EvoScientist
- Auto Research Claw
- Deep Scientist
- AI Researcher
- ARIS
- The AI Scientist v2
- Dr. Claw
数据集结构
每个主题包（topic_name）的目录结构如下：
topic_name/ ├── inputs/ │ ├── evoscientist/ │ ├── auto_research_claw/ │ ├── deep_scientist/ │ ├── ai_researcher/ │ ├── aris/ │ ├── the_ai_scientist_v2/ │ └── dr_claw/ ├── outputs/ │ ├── evoscientist/ │ ├── auto_research_claw/ │ ├── deep_scientist/ │ ├── ai_researcher/ │ ├── aris/ │ ├── the_ai_scientist_v2/ │ └── dr_claw/ └── metadata.json
数据内容
每个主题包包含以下内容：
- 每个AI科学家系统的任务输入
- 生成的研究报告
- 生成的代码或脚本
- 实验日志
- 提交文件（如有）
- 评估结果（如有）
元数据
每个主题包包含一个 metadata.json 文件，示例如下：
json { "topic_id": "1", "topic_name": "NLP-TASK", "task_name": "BABYLM", "agents": [ "EvoScientist", "Auto Research Claw", "Deep Scientist", "AI Researcher", "ARIS", "The AI Scientist v2", "Dr. Claw" ], "release_status": "partial" }
预期用途
该数据集旨在用于评估和比较AI科学家系统，可用于研究：
- AI科学家是否能完成研究任务
- 其产生的工件是什么
- 在何处失败
- 不同AI科学家系统在同一主题上的行为差异
引用
bibtex @dataset{ai_scientist_benchmark_artifacts, title = {AI Scientist Benchmark Artifacts}, author = {TBD}, year = {2026}, publisher = {Hugging Face} }
