AgentWorldBench
收藏资源简介：
AgentWorldBench是一个用于评估语言世界模型的综合性基准测试数据集，基于真实世界观察构建，数据来源于前沿模型在现有基准（如Tool Decathlon、Terminal-Bench 1.0 & 2.0、OSWorld-Verified）上执行任务时产生的轨迹。每个评估样本都配对了从真实环境执行中获取的真实观察结果作为参考基准，支持基于真实参照的评分。该数据集旨在通过从五个维度（格式、事实性、一致性、真实性和质量）对模型预测的环境观察进行评分，全面评估世界建模的质量，并探究实现忠实环境模拟所需的推理能力、知识储备和长上下文处理能力。数据集涵盖七个不同的应用领域：MCP（API服务器响应）、Search（搜索引擎结果）、Terminal（命令行环境）、SWE（软件工程/代码编辑环境）、Android（Android UI层级变化）、Web（浏览器DOM状态变化）和OS（桌面操作系统状态）。数据规模总计2,170个样本，平均每个轨迹包含22.8个交互轮次。数据以按领域划分的JSONL文件格式存储，每个记录代表多轮环境轨迹中的一个评估轮次，包含任务域标识、唯一ID、历史提示列表、真实观察列表、当前轮次提示、系统提示、轮次索引和总轮次数等字段。该数据集主要用于语言世界模型的评估与基准测试，特别适用于需要模拟复杂、多轮交互环境的智能体（Agent）开发和研究场景。
AgentWorldBench is a comprehensive benchmark dataset for evaluating language world models, constructed based on real-world observations. The data is derived from trajectories generated by cutting-edge models performing tasks on existing benchmarks (such as Tool Decathlon, Terminal-Bench 1.0 & 2.0, and OSWorld-Verified). Each evaluation sample is paired with ground-truth observations obtained from real-world executions, serving as a reference benchmark to support reference-based scoring. The dataset aims to comprehensively assess the quality of world modeling by scoring model-predicted environmental observations across five dimensions (format, factuality, consistency, realism, and quality), and explores the reasoning capabilities, knowledge base, and long-context processing required for faithful environment simulation. It covers seven distinct application domains: MCP (API server responses), Search (search engine results), Terminal (command-line environment), SWE (software engineering/code editing environment), Android (Android UI hierarchy changes), Web (browser DOM state changes), and OS (desktop operating system states). The total data size is 2,170 samples, with an average of 22.8 interaction turns per trajectory. The data is stored in JSONL format, partitioned by domain, with each record representing an evaluation turn in a multi-turn environmental trajectory, containing fields such as task domain identifier, unique ID, history prompt list, ground-truth observation list, current turn prompt, system prompt, turn index, and total turn count. The dataset is primarily used for evaluating and benchmarking language world models, particularly suited for agent (Agent) development and research scenarios that require simulating complex, multi-turn interactive environments.
数据集概述：AgentWorldBench
AgentWorldBench 是一个用于评估语言世界模型的综合性基准测试，基于从现有成熟基准（如 Tool Decathlon、Terminal-Bench 1.0 & 2.0 和 OSWorld-Verified）中前沿模型轨迹的真实世界观测数据构建而成。每个评估样本都配有从真实环境执行中获取的真实观测（ground-truth observation），从而支持基于参考的评分。
该基准通过五个维度对每个预测的环境观测进行评分，以评估世界建模质量：格式（Format）、事实性（Factuality）、一致性（Consistency）、真实感（Realism） 和 质量（Quality），旨在探测量化模型进行忠实环境模拟所需的推理、知识和长上下文能力。
基准统计数据
| 领域 | 样本数 | 平均轮次 | 描述 |
|---|---|---|---|
| MCP | 286 | 23.1 | API 服务器响应：工具调用结果、数据库状态、服务协议 |
| Search | 458 | 15.5 | 搜索引擎结果：URL、摘要、排名、页面内容 |
| Terminal | 354 | 26.7 | 命令行环境：Shell 输出、文件系统状态、进程行为 |
| SWE | 472 | 28.1 | IDE/代码编辑环境：Git diff、测试结果、编译错误 |
| Android | 200 | 37.8 | 触摸/手势操作后的 Android UI 层级变化 |
| Web | 200 | 14.2 | 用户交互后的浏览器 DOM 状态变化 |
| OS | 200 | 12.7 | 桌面操作系统状态：文件系统、窗口管理、应用行为 |
| 总计 | 2,170 | 22.8 |
数据格式
每个文件是一个按领域划分的 JSONL 文件（{domain}_test.jsonl），每条记录代表多轮环境轨迹中的一个单轮评估步骤：
json { "task": "mcp", "id": 145256090131919, "prompt": ["### Turn 1 Action: json {...}
..."], "response": ["Environment Observation: {...}"], "current_prompt": "### Turn 1 Action: ...", "system_str": "# Role and Objective
You are a Tool World Model ...", "turn_idx": 1, "total_turns": 5 }
字段说明
| 字段 | 描述 |
|---|---|
task |
领域标识符（mcp, search, terminal, swe, android, web, os） |
id |
唯一样本标识符 |
prompt |
整个轨迹中所有动作提示的列表 |
response |
整个轨迹中所有真实环境观测的列表 |
current_prompt |
当前被评估轮次的动作提示 |
system_str |
该特定样本的世界模型系统提示 |
turn_idx |
当前评估轮次在轨迹中的位置（从 1 开始计数） |
total_turns |
轨迹总轮数 |
评估流程
评估遵循三步流程，执行脚本位于 GitHub 仓库 中：
-
Step 1: 世界模型推理
python eval.py infer --data-dir ../AgentWorldBench --model-base-url http://localhost:8000/v1 --model-name Qwen/Qwen-AgentWorld-35B-A3B --output-dir ./results -
Step 2: LLM 裁判评分（需设置
OPENAI_API_KEY环境变量）
python eval.py judge --predictions ./results/predictions.jsonl --judge-base-url https://api.openai.com/v1 --judge-model gpt-5.2-2025-12-11 --output-dir ./results -
Step 3: 聚合与展示分数
python eval.py score --predictions ./results/judged.jsonl
完整设置说明、部署指南和领域特定系统提示模板请参见 GitHub README。
引用
bibtex @article{zuo2026qwen, title={Qwen-agentworld: language world models for general agents}, author={Zuo, Yuxin and Xiao, Zikai and Sheng, Li and Huang, Fei and Tu, Jianhong and Liu, Yuxuan and Tang, Tianyi and Hu, Xiaomeng and Su, Yang and Lan, Qingfeng and others}, journal={arXiv preprint arXiv:2606.24597}, year={2026} }
