TIGER-Lab/ClawBench

ClawBench是一个用于AI网络代理的开放基准——这些系统驱动真实浏览器端到端完成用户任务。它基于实时网站，对日常在线任务（如预订航班、订购杂货、提交工作申请）中的代理进行评分。

ClawBench is an open benchmark for AI web agents — the systems that drive a real browser to complete a users task end-to-end. It scores agents on real, everyday online tasks (booking flights, ordering groceries, submitting job applications) across live websites.

搜集汇总

数据集介绍

构建方式

ClawBench是一个专为评估AI网页智能体在真实在线任务中端到端表现而设计的开源基准测试。数据集由153个精心策划的现实世界任务构成，涵盖航班预订、杂货购买、职位申请等日常场景，其V2版本进一步扩充至63个平台的130项更新任务。所有任务均共享一个名为Alex Green的虚拟用户画像，包括个人资料、地址、工作经历等完整背景信息，其中32项任务还附带了如购物清单、会议详情等额外上下文文件。数据集通过请求拦截机制确保评估安全，即阻止最终匹配指定URL模式的HTTP请求到达服务器，从而在不影响真实网站的前提下完成代价评估。

使用方法

ClawBench的使用极为便捷，用户可通过Python的datasets库直接加载：`ds = load_dataset("TIGER-Lab/ClawBench", split="test")`，即获得包含任务ID、指令、元类别、平台、评估模式和时间限制等详细列的数据结构。运行评估则推荐通过`clawbench-eval`工具包，一条命令即可完成指定语料库和模型的测试：`clawbench run --corpus v2 --model <m> --harness hermes`。结果提交只需在模型的运行轨迹中按模型、测试框架和语料库生成一行记录，并通过拉取请求更新至排行榜的CSV文件，整个过程透明且协作友好。

背景与挑战

背景概述

ClawBench是由TIGER-Lab研究团队于2026年创建的一个开源基准测试数据集，旨在评估人工智能代理在真实网络环境中完成日常在线任务的能力。该数据集的诞生源于大语言模型与浏览器自动化技术深度融合的时代背景，其核心研究问题聚焦于‘智能代理能否像人类一样自如操作浏览器完成端到端任务’。通过模拟用户预订航班、订购杂货、提交求职申请等153项跨平台任务，ClawBench为衡量网络代理的实用性提供了标准化评测框架。其论文发表于arXiv（2604.08523），并配套发布了包含多模态执行轨迹的辅助数据集，推动了从静态问答到动态操作的研究范式转变，对智能体评估领域产生了深远影响。

当前挑战

ClawBench面临的核心领域挑战在于，现有基准多聚焦于静态知识问答或受限模拟环境，难以反映网络代理在动态、不可控的真实网站中遭遇的复杂性。构建过程中，研究者需平衡任务生态的多样性（覆盖21个大类、144个网站）与评估的安全性，通过请求拦截机制阻止不可逆操作（如支付提交），但此举又引入了评价信度的权衡。此外，任务指令的模糊性（如实操细节）、网站结构的频繁变动，以及跨领域泛化需求（如从娱乐到办公场景），使得代理需兼具规划、推理与容错能力。模型在V2版本中最高仅实现54.7%的拦截成功率，凸显了真实环境下感知与决策的长尾分布难题。

常用场景

经典使用场景

ClawBench被设计为评估人工智能网页代理在真实、动态的在线环境中完成日常任务能力的标杆性基准。其经典使用场景涵盖从预订航班、订购日用品到提交求职申请等一系列涉及跨平台、多步骤交互的端到端操作。通过模拟普通用户如Alex Green的生活情境，ClawBench要求代理在真实网站上驱动浏览器执行任务，并借助请求拦截机制确保评估的安全性与可重复性。该基准特别强调对代理在复杂网页导航、表单填写、信息检索及任务完成率等方面的综合能力进行量化评测，成为衡量通用型网页代理智能水平的权威工具。

解决学术问题

ClawBench的核心学术贡献在于填补了现有网页代理基准测试中普遍存在的模拟环境与真实世界之间的鸿沟。传统基准多依赖静态或受限的模拟网站，难以反映现实网络的动态性与不可预测性。ClawBench通过在真实、活跃的网页上设置任务，并引入基于确定性HTTP请求拦截与LLM裁判相结合的双阶段评分机制，解决了代理完成任务程度难以客观量化的问题。该基准为研究社区提供了一个标准化、可复现的评估平台，使得不同架构的模型（如闭源商业模型与开源模型）能在同等条件下进行公平比较，推动了对代理在未知环境中鲁棒性、泛化性及安全性的深入探索。

实际应用

在实际应用层面，ClawBench的评估范式直接服务于日益增长的智能网页自动化需求。其测试任务精准映射了电子商务、在线旅游、远程办公、社交媒体管理等多个民用领域的典型操作，例如在Instacart上完成杂货配送、在Google Flights上比较航班、在Trello上管理项目进度或是在LinkedIn上投递简历。这意味着通过ClawBench评测脱颖而出的代理模型，具备直接部署为个人数字助手、智能客服、流程机器人等应用形式的内在潜力，能够极大地提升用户在数字化生活中的效率与体验。此外，其安全拦截机制也保障了这类代理在实际部署前能通过严格验证，避免出现操作失误或数据泄露等风险。

数据集最近研究

最新研究方向

ClawBench作为面向真实在线任务的智能体基准测试，当前研究聚焦于多模态Web Agent在动态网站环境中的任务完成能力评估与鲁棒性提升。最新V2语料库涵盖63个平台的130项全新任务，将评价体系从单一流量拦截准确率拓展至LLM裁判机制下的奖励评分双阶段系统。这一设计呼应了代理自动化和浏览器操控领域的核心瓶颈——即如何在不可控的真实网页中实现安全、可靠的端到端任务执行。ClawBench的出现填补了传统合成环境与工业级应用之间的鸿沟，推动了AI Agent从封闭仿真向开放互联网的范式迁移，其多层级执行轨迹数据集为解释性研究和安全评估提供了关键资源。