PillagerBench
收藏资源简介：
PillagerBench是一个为评估基于大型语言模型（LLM）的智能体在Minecraft中实时竞争团队对抗场景中的性能而设计的框架。该框架提供了可扩展的API、多轮测试和基于规则的内置对手，以实现公平和可重复的比较。PillagerBench包含两个竞争性游戏场景：蘑菇战争和Dash&Dine，每个场景评估LLMs的不同能力。蘑菇战争要求智能体在时间限制下有效地分配任务和执行行动；Dash&Dine挑战智能体在动态环境中计划、适应对手策略和管理复杂的因果关系。PillagerBench旨在促进多智能体AI在竞争环境中的发展，通过开源框架，推动多智能体系统在竞争性团队对抗环境中的研究。
PillagerBench is a framework designed to evaluate the performance of large language model (LLM)-based AI Agents in real-time competitive team-based adversarial scenarios within Minecraft. This framework offers scalable APIs, multi-round testing, and rule-based built-in opponents to enable fair and reproducible comparisons. PillagerBench includes two competitive game scenarios: Mushroom War and Dash&Dine, each evaluating distinct capabilities of LLMs. Mushroom War requires agents to efficiently allocate tasks and execute actions under time constraints; Dash&Dine challenges agents to plan, adapt to opponent strategies, and manage complex causal relationships in dynamic environments. PillagerBench aims to advance the development of multi-agent AI in competitive environments, and promote research on multi-agent systems in competitive team-based adversarial scenarios via its open-source framework.
PillagerBench 数据集概述
数据集简介
PillagerBench 是一个用于在竞争性 Minecraft 团队环境中评估基于大型语言模型（LLM）智能体的基准测试套件。该数据集旨在研究多智能体系统在 Minecraft 环境中的竞争性团队对战场景，并探索增强大型语言模型战术玩法的有效强化学习技术。
核心特点
- 专注于竞争性团队对战场景
- 提供复杂且动态的状态空间
- 包含可扩展的 PillagerAgent API，支持自定义场景和新的多智能体系统
安装要求
必需条件
- API 密钥（需从以下服务获取）：
- OpenAI（用于访问 GPT-4o 等模型）
- DeepSeek（用于访问 DeepSeek 模型）
- OpenRouter（用于访问多种模型）
- 可选：Ollama（支持本地运行的模型）
推荐安装方式（Docker）
- 安装 Docker
- 克隆代码库：
git clone https://github.com/aialt/PillagerBench.git - 设置 API 密钥文件
api_keys.py - 构建 Docker 镜像：
docker build -t PillagerBench . - 安装 Mineflayer 的 NPM 包：
./js_setup_docker.ps1 - 启动 Docker 容器：
docker compose up -d和docker attach pillagerbench - 运行基准测试：
python main.py -cn benchmark
本地安装方式
- 安装依赖：Python 3.10、Node.js 20（带 NPM）、Java 17
- 克隆代码库
- 设置 API 密钥文件
- 安装 NPM 包：
./js_setup.sh - 创建虚拟环境
- 安装依赖：
pip install -r requirements.txt - 运行基准测试
快速开始
- 在
configs文件夹中设置 Hydra 测试配置 - 运行测试配置：
python main.py -cn config_name - 通过加入内部 Minecraft 服务器（需要 Minecraft 1.19.4）观察测试
- 使用
collate_results.py可视化结果 - 可通过在
scenarios文件夹中添加继承自Scenario基类的类来添加测试场景 - 可通过在
agents文件夹中添加继承自Agent基类的类来添加多智能体系统
相关论文
- 标题：PillagerBench: Benchmarking LLM-Based Agents in Competitive Minecraft Team Environments
- 作者：Schipper, Olivier 等人
- 会议：2025 IEEE Conference on Games (CoG)
- DOI：10.1109/CoG64752.2025.11114387
- arXiv：https://arxiv.org/abs/2509.06235
许可证
MIT License
