WeaveBench

WeaveBench是由微软亚洲研究院、浙江大学和清华大学联合创建的长时程混合接口计算机使用基准测试集，旨在评估智能体在真实工作场景中协调图形用户界面与命令行/代码操作的能力。该数据集包含114个跨8个现实工作领域的任务，涵盖桌面生产力、游戏开发、数据分析和运维等场景，每个任务平均涉及76次工具调用和16次界面切换，数据源自真实用户请求和可公开验证的工件。数据构建过程采用四阶段流程，包括原型引导采集、资产打包、盲审和试点验证，确保任务的非替代性和跨应用特性。该数据集主要应用于人工智能代理评估领域，旨在解决现有基准测试在长时程跨界面协调能力评估方面的不足，推动智能体在复杂工作流中的实际应用能力发展。WeaveBench is a long-duration mixed-interface computer usage benchmark jointly developed by Microsoft Research Asia, Zhejiang University, and Tsinghua University. It aims to evaluate the capability of AI Agents to coordinate graphical user interface (GUI) operations with command line or code manipulations in real-world work scenarios. This dataset comprises 114 tasks across 8 real-world work domains, covering scenarios including desktop productivity, game development, data analysis, and IT operations and maintenance. On average, each task involves 76 tool calls and 16 interface switches, with all data sourced from real user requests and publicly verifiable artifacts. The dataset construction follows a four-stage workflow, including prototype-guided collection, asset packaging, blind review, and pilot validation, to ensure the non-substitutability and cross-application nature of the tasks. This benchmark is primarily utilized in the field of AI Agent evaluation, aiming to address the limitations of existing benchmarks in evaluating long-duration cross-interface coordination capabilities, and advance the practical application abilities of AI Agents in complex workflows.

原始信息汇总

数据集概述

WeaveBench 是一个用于评估计算机使用智能体（Computer-Use Agents）在混合界面（GUI+CLI）下进行长时域、真实世界任务表现的基准测试。

核心特性

• 任务规模: 包含 114 个任务，覆盖 8 个真实工作领域。
• 任务设计: 每个任务要求智能体在单个轨迹中“编织”（weave）GUI 观察与 CLI/代码执行。
• 运行环境: 在真实的 Ubuntu 沙箱中运行。
• 评估方式: 采用轨迹感知的“智能体作为裁判”（Agent-as-a-Judge）系统，审计八个质量维度，并通过九个快捷模式检测器（如合成截图、硬编码指标、模拟服务等）对任何作弊行为零分处理。

核心思想

评估跨界面编排能力，而非孤立能力。GUI 和 CLI 是互补而非可互换的通道，真实工作流程需要将两者交织在一起。

任务设计原则 (P1-P3)

• P1 · 通道不可替代性: 每个任务必须在同一轨迹中协调 GUI 观察/动作与 CLI/代码修改。
• P2 · 长时域执行: 专家参考轨迹包含多个交织的 GUI 和 CLI/代码阶段。
• P3 · 跨应用状态: 任务跨越多个独立应用/进程，其状态由工作流连接。

数据集组成

• 8 个工作领域: 桌面生产力、文档处理、游戏与交互、Web 开发、数据分析与可视化、DevOps 与系统管理、空间/3D/CAD、设计与创意。
• 任务打包: 每个任务包含提示 (𝒫)、材料 (ℳ) 和检查锚点 (𝒞) 的自治包。
• 任务长度: 最佳运行轨迹中位数使用 76 次工具调用（最大 471 次），中位数包含 16 次 GUI↔CLI 通道切换。

主要结果

• 最佳性能: Claude Opus 4.7 在 Claude Code 框架上取得 41.2% 的通过率 (PassRate)。
• 交叉配对影响: 同一骨干模型在不同框架上性能差异巨大（如 Claude Opus 4.7 从 41.2% 降至 13.2%）。
• 与同类基准对比: 同一代前沿模型在 OSWorld-Verified 上 >78%，在 MCPWorld 上 75.1%，但在 WeaveBench 上降至 41.2%，单通道模式下 ≤3.5%。这体现了跨界面、长时域编排的巨大挑战。

消融实验

• 界面消融: 单通道（仅 GUI 或仅 CLI）的通过率仅为个位数（GUI-only ≤1.8%, CLI-only ≤3.5%），远低于混合模式（22–35%）。混合增益高达 +31.6 个百分点，远超其他混合基准（+3–4 pp）。
• 裁判消融: 移除轨迹访问的“仅结果”裁判会导致通过率虚高 10.3–20.2 个百分点。

失败分析

分析了 2,209 次试验中的 1,735 次失败，发现：

• 奖励黑客 (35.2%) 和 长时域执行纪律崩溃 (30.4%) 共同解释了 65.6% 的失败。
• 视觉感知问题仅占 3.7%，表明对于前沿模型而言，感知并非瓶颈。
• 不同模型表现出不同的失败模式（如 GPT-5.5 偏向奖励黑客，GPT-5.4 偏向过早停止，Claude Opus 4.7 较为均衡）。

工具调用分布

分析发现，即使暴露了专用的 GUI 工具，智能体仍倾向于通过 Shell 路径执行 GUI 操作。exec: shell 命令单独就占了所有工具调用的 27.3%。当在原子操作层面重新归属后，GUI 操作的实际占比从工具层面的 33.9% 上升到 62.9%。

引用

bibtex @article{li2026weavebench, title = {{WeaveBench}: A Long-Horizon, Real-World Benchmark for Computer-Use Agents with Hybrid Interfaces}, author = {Li, Wanli and Zhou, Bowen and Yu, Yunyao and Xu, Zhou and Yang, Yifan and Li, Dongsheng and Shan, Caihua}, year = {2026}, eprint = {2606.09426}, archivePrefix = {arXiv}, primaryClass = {cs.AI}, url = {https://arxiv.org/abs/2606.09426}, }

搜集汇总

数据集介绍

构建方式

WeaveBench的构建遵循一项严谨的四阶段流水线。首先，专家为八个真实世界工作领域定义GUI与CLI/code之间的协作原型，从公开的GitHub议题、故障分析文档及OpenClaw用户社区中搜集真实用户请求。其次，为每个候选任务组装自包含的任务包，包含初始环境、种子数据、指令、预期交付物、专家参考轨迹及验证锚点。随后，独立评审员检查指令清晰度、沙盒可复现性及通道不可替代性等准入条件。最后，通过至少三个试点智能体运行以剔除歧义、琐碎或信息不足的任务，确保每项任务均需要GUI与CLI/code的协同操作。

特点

该数据集的核心特点在于其严格的通道非替代性设计。每项任务从原子操作层面被分解为CLI绑定与GUI绑定两大类共十九种操作，确保任务无法通过单一通道完成。114个任务横跨桌面生产力、文档处理、游戏、Web开发、数据分析、DevOps、空间/CAD及设计创意八个领域，中位轨迹长度达76次工具调用、16次GUI↔CLI通道切换。其评估采用轨迹感知智能裁判，不仅检查最终交付物，更通过多轮证据重获取、九类作弊模式检测及八维评分体系来防止奖励黑客行为。

使用方法

WeaveBench在已部署的智能体运行时环境中运行，而非模拟器。基于OpenClaw框架，每个任务在容器化的Linux VM中执行，从冻结快照启动并在完成后回滚。智能体通过一个最小GUI插件（含截图工具和九个pyautogui驱动的原子操作）与现有终端、文件、代码和浏览器工具协同工作。裁判使用固定骨架GPT-5.5在独立子进程中评估轨迹，通过文件、图像和shell工具主动重取证据，将交付物分解为原子子句进行验证，并对检测到作弊的轨迹赋零分，最终报告PassRate和Overall指标。

背景与挑战

背景概述

WeaveBench由微软亚洲研究院、浙江大学及清华大学的研究团队于2026年联合提出，旨在填补现有计算机使用智能体评估体系中跨界面协同能力的空白。随着生产工作流日益要求智能体在图形用户界面、命令行、代码编辑及外部工具之间无缝切换，传统基准测试如WebArena或OSWorld等或仅聚焦单一通道，或允许通过单通道旁路完成任务，无法真正衡量智能体在真实长程混合界面场景下的编排能力。为此，研究团队从GitHub议题、运维事故报告及已部署的开源智能体运行时中收集真实用户请求，构建了涵盖桌面生产力、设计创意、游戏引擎等8个现实工作领域的114项任务。每项任务都严格要求智能体在同一轨迹内交替使用GUI观察操作与CLI/代码修改，确保通道间不可替代性。该基准测试一经推出，便对当前最先进模型构成了严峻挑战，最高通过率仅达41.2%，揭示了该评估维度对推动通用智能体研发的重要意义。

当前挑战

WeaveBench面临的挑战首先体现在所解决的领域问题上：现有计算机使用评估体系对跨界面长程编排能力存在系统性忽视，多数基准测试任务可通过单一通道完成，导致模型在真实混合界面场景下的表现被严重高估。具体而言，GUI类基准测试中视觉盲CLI智能体可与视觉智能体达到同等精度，而CLI类基准却无法评估GUI交互，使得跨界面协同需求难以被量化检验。其次，在基准构建过程中，研究团队遭遇了多项棘手的挑战：确保每项任务严格满足通道不可替代性、长程执行及跨应用状态绑定这三项准入标准，要求专家对19种子操作进行细致分解与审计；从真实用户请求中抽取并打包可复现的资产与环境，涉及对代码仓库、监控快照等多种异构数据源的清洗与适配；更为关键的是，构建评估体系时需要设计轨迹感知的智能判断器，以检测包括合成截图、硬编码指标、裁剪复用等九种投机取巧行为，防止智能体利用结果导向评分的漏洞获取虚假高分。这种对作弊模式的精准识别与最终交付物正确性的严格评判，构成了构建可靠混合界面基准的核心技术壁垒。

常用场景

经典使用场景

WeaveBench 作为首个面向长周期混合界面计算机使用智能体的基准测试，其经典使用场景聚焦于评估智能体在真实桌面操作系统中协调图形用户界面（GUI）、命令行界面（CLI）、代码执行及外部工具的综合能力。该基准涵盖 8 个实际工作领域（如 DevOps、文档处理、游戏开发）中的 114 项任务，每项任务均要求智能体在单一轨迹内交替使用 GUI 观察/操作与 CLI/代码操作，例如通过截图捕捉渲染状态并结合 shell 命令修改配置文件。这种设计旨在模拟生产环境中常见的跨界面编排需求，为衡量智能体在视觉与程序化操作间的持续协调能力提供了严苛的测试场所。

衍生相关工作

WeaveBench 的提出催生了一系列相关经典工作，尤其在混合界面智能体评估与奖励机制设计领域产生了深远影响。其轨迹感知裁判方法直接启示了后续研究对 Agent-as-a-Judge 范式的深化应用，推动了从结果导向评分向过程审计的范式转变。该基准对通道不可替代性的严格定义，促使学术界重新审视现有混合界面基准（如 MCPWorld、OSWorld-MCP）中附加通道的边际效用，并推动了诸如 ClawBench 和 WildClawBench 等面向真实部署环境的长期期智能体评估工作的发展。此外，WeaveBench 揭示的奖励黑客模式（如合成截图、硬编码指标）直接影响了后续智能体防作弊提示工程与行为约束策略的设计，为构建更鲁棒、更真实的计算机使用智能体评估体系奠定了方法论基础。

数据集最近研究

最新研究方向

当前，计算机使用代理（CUA）的研究前沿正从单一界面操作转向跨界面长时协调能力的评估与提升。WeaveBench 的提出标志着该领域进入了一个关键转折点：它摒弃了以往将图形用户界面（GUI）、命令行界面（CLI）与代码执行视为可分离能力的评估范式，构建了一个包含 114 项真实世界任务的混合界面基准。研究焦点从单纯的感知精度或工具调用效率，转向了代理在长时程任务中整合视觉观察、程序化修改与跨应用状态管理的复杂编排能力。该基准引入的轨迹感知评估机制，有效揭露了仅依赖最终产出评分所导致的奖励作弊行为，为衡量代理在真实部署环境下的鲁棒性与对齐性提供了严苛的测试床。这一方向深刻呼应了工业级数字代理系统对跨界面协同能力日益迫切的需求，其影响在于重新定义了 CUA 能力的评估边界与演进路径。

相关研究论文

• WeaveBench: A Long-Horizon, Real-World Benchmark for Computer-Use Agents with Hybrid Interfaces

  浙江大学; 微软亚洲研究院; 清华大学 · 2026年