CooperBench
收藏资源简介:
CooperBench是第一个旨在衡量AI代理在处理具有潜在冲突的个体任务时合作能力的基准测试。我们发现,在相同总工作量的情况下,协调代理的表现比单个代理差得多。这种协调缺陷是部署可以与人类或其他代理一起工作的AI系统的一个基本障碍。
CooperBench is the first benchmark designed to assess the cooperative abilities of AI Agents when handling individual tasks with potential conflicts. We found that under the same total workload, coordinated agents perform considerably worse than individual agents. Such coordination deficits constitute a fundamental barrier to deploying AI systems that can collaborate with humans or other agents.
CooperBench 数据集概述
数据集基本信息
- 数据集名称:CooperBench
- 核心目标:首个用于衡量AI代理在处理具有潜在冲突的独立任务时合作能力的基准。
- 关键发现:在相同总工作量下,协调代理的表现远差于单个代理。这种协调缺陷构成了部署能与人类或其他代理协同工作的AI系统的基本障碍。
- 许可证:MIT
数据集获取与结构
-
下载地址:https://huggingface.co/datasets/cooperbench/cooperbench
-
下载命令:
git clone https://huggingface.co/datasets/cooperbench/cooperbench dataset/ -
数据结构:
dataset/ <repo_name>/ task<id>/ setup.sh # 仓库设置脚本 run_tests.sh # 测试运行脚本 feature1/ feature.md # 功能描述 feature.patch # 黄金实现 tests.patch # 测试用例 feature2/ ...
数据集规模与内容
- 任务数量:652
- 仓库数量:12
- 涉及语言:Python, TypeScript, Go, Rust
实验设置
| 设置 | 代理数量 | 描述 |
|---|---|---|
coop |
2 | 两个代理通过Redis消息传递进行协作,每个代理处理一个功能。 |
solo |
1 | 单个代理按顺序处理两个功能。 |
关键研究发现
- 协作性能下降:GPT-5和Claude Sonnet 4.5在双代理协作模式下成功率仅为25%,比单个代理处理两项任务时低约50%。
- 通信的作用:代理将高达20%的预算用于通信,这减少了合并冲突,但并未提高整体成功率。
- 协调失败的三大能力缺口:
- 预期失败 (42%):代理未能整合伙伴的状态信息。
- 通信失败 (26%):问题未得到回答,导致决策循环中断。
- 承诺失败 (32%):代理违背承诺或做出无法验证的声明。
输出结构
实验结果保存在 logs/ 目录下:
logs/<run_name>/<repo>/task<id>/features_<i>_<j>/ agent1/ trajectory.json # 完整代理轨迹 patch.diff # 生成的补丁 agent2/ ... eval.json # 评估结果
相关资源
- 论文地址:https://arxiv.org/abs/2601.13295
- 项目网站:https://cooperbench.com
- PyPI包:https://pypi.org/project/cooperbench/




