FrontierCS 2

FrontierCS 2 是由 FrontierCS 团队联合多所高校与研究机构构建的计算机科学研究与开发基准，旨在检验大语言模型智能体能否在前沿科研代码库中作出实质贡献。该数据集包含 48 个开放式任务，覆盖机器学习系统、高性能计算、数据库、安全、机器人等 13 个领域，任务素材来自论文作者公开代码仓库，另有 100 余个私有任务拟后续发布。其构建采用“减法”范式：删除论文核心贡献，保留可运行依赖与接口，并将被删代码作为人类参考，在作者原工作负载及额外留出工作负载上设定通过阈值。评测中智能体以补丁迭代提交，评委隐藏评估器、最终留出集与参考分数，并以是否在全部指标和工作负载上超越原作者实现判定通过。

原始信息汇总

FrontierCS 2 数据集概述

• 数据集名称：FrontierCS 2: A Benchmark for Computer Science R&D
• 数据集地址：https://frontier-cs.org
• 最后更新：2026年10月22日
• 定位：评估 AI agents 进行计算机科学研究的能力。每个任务从论文随附代码中移除该论文的关键贡献；agent 通过任务的条件是其实现在一个隐藏工作负载的所有指标上击败原始实现。

任务规模与领域

公开任务共 48 个，领域分布如下：

领域	任务数
MLSys	6
Architecture	3
HPC	4
Network	3
Theory	1
Bioinformatics	1
Machine Learning	9
Programming Languages	4
Software Engineering	1
Security	2
Cryptography	3
Database	9
Robotics	2

私有集包含未发布的任务和领域，超过 100 个任务，将在未来公布。

评估流程与通过标准

• 任务构造：删除论文自身仓库中的贡献，agent 将其写回，并与 human reference（论文发布的代码）进行评分对比。
• Agent 可见内容：其仓库；每次提交 patch 后，获得 development workloads 上的分数和一条消息。
• 隐藏评估：加入 agent 从未见过的 workloads；evaluator、隐藏 workloads 和 reference 保留在 judge。
• 最终提交：agent 选择一个版本作为最终提交，仅该版本在隐藏 workloads 上评分。
• 选错版本：按实际结果报告，不纠正。选择提交哪个版本属于被测量的工作。
• 每个 run 的墙钟预算：5 小时。
• 通过条件：最终提交必须在任务检查的每个指标和每个隐藏 workload 上击败 human reference。总平均分更高不等于通过。
• 示例：SVG-EAR 中，延迟必须至多为其 reference 的 0.96 倍，同时 PSNR、SSIM 和 LPIPS 必须在固定区间内。

排行榜：Pass rate (beat reference)

All tasks 通过率：

模型	Pass rate
Claude Opus 5.5	58%
GPT-6 Astra	44%
Gemini 4 Argon	40%
GPT-6.1 Sol	35%
GLM 5.3	25%
Kimi K3	21%
Muse Wonder 1.0	21%
DeepSeek V4.1 Flash	15%
GLM 5.3 Flash	13%
Muse Spark 1.3	13%
Qwen 3.8 Max	13%
Step 5 Preview	8%

领域通过率要点：

• All tasks 最佳：Claude Opus 5.5，58%。
• Theory：Claude Opus 5.5 与 GPT-6 Astra 为 100%。
• Database：Claude Opus 5.5 为 89%。
• HPC：Claude Opus 5.5 与 GPT-6 Astra 为 75%。
• MLSys：Claude Opus 5.5 为 67%。
• Bioinformatics、Software Engineering、Security、Robotics：公开排行榜表中全部为 0%。

FCI

FrontierCS Capabilities Index (FCI) 将模型和任务放在同一尺度上。Kimi K2.7 为 0；比其高 10 点的模型击败任意指标的 odds 约为 e≈2.7 倍。任务难度由 FDI 表示，即模型通过该任务一半概率时的强度。最难任务 FDI 为 100.5，高于所有模型。FCI 是 Epoch AI 的 Epoch Capabilities Index (ECI) 的 fork，基于每次 run 中每个指标是否击败 human reference，以及最终分数距离 human reference 的远近进行拟合。90% 区间来自按任务重抽样 500 次。

模型	Harness	FCI
Claude Opus 5.5	Claude Code	55.1
GPT-6 Astra	Codex CLI	50.1
GPT-6.1 Sol	Codex CLI	42.1
Gemini 4 Argon	Pi	39.7
GLM 5.3	ZCode	36.2
Muse Wonder 1.0	Muse Code	34.2
DeepSeek V4.1 Flash	DeepSeek Harness	30.4
Kimi K3	Kimi Code	26.1
GLM 5.3 Flash	ZCode	22.6
Muse Spark 1.3	Muse Code	21.8
Qwen 3.8 Max	Qwen Code	21.7
Step 5 Preview	Step Code	9.6

平均分：最终分数减 human reference

模型	均值
Claude Opus 5.5	+9.4
GPT-6 Astra	+7.1
GPT-6.1 Sol	+5.7
Muse Wonder 1.0	+4.1
Gemini 4 Argon	+2.1
GLM 5.3	+1.9
DeepSeek V4.1 Flash	+0.5
Kimi K3	−1.2
Muse Spark 1.3	−3.3
Qwen 3.8 Max	−6.4
GLM 5.3 Flash	−8.4
Step 5 Preview	−10.6

任务示例：FDI 最高

任务	领域	论文会议	FDI
KV Compaction	Machine Learning	ICML 2026	100.5
Structured LWE	Cryptography	CRYPTO 2024	98.5
Edlib	Bioinformatics	Bioinformatics 2017	89.9
Egg	Programming Languages	POPL 2021	89.2
Flow-OPD	Machine Learning	arXiv 2026	88.0
RAGEN	Machine Learning	arXiv 2025	88.0
RUNLTS	Architecture	CBP 2025	87.4
LRR	Security	EACL 2026	86.8
SVG-EAR	MLSys	ECCV 2026	86.3
Yannakakis	Database	VLDB 2025	81.2

案例研究

• SVG-EAR：12 个模型尝试击败其发布代码，均未通过；GPT-6 Astra 最接近，48 项检查中通过 43 项。
• BBQ：Gemini 4 Argon 和 Claude Opus 5.5 为其实现更快时钟；Claude Opus 5.5 达到 human reference 最高 1.84 倍的操作/秒，相同内存下为 1.56 倍。
• QuarterPIR：Muse Wonder 1.0 将每次查找的字节数从 1,760 降至 1,280，减少 27%，隐私不变。