ClawsBench

ClawsBench评估了LLM代理在5个高保真模拟服务（Gmail、日历、文档、驱动器、Slack）上的现实生产力任务，测量了能力（任务成功）和安全性（有害行为预防）。

ClawsBench evaluates LLM Agents on real-world productivity tasks across five high-fidelity simulated services, namely Gmail, Calendar, Docs, Drive, and Slack, and measures two core metrics: capability, which is quantified by task success, and safety, which is assessed through the prevention of harmful behaviors.

原始信息汇总

ClawsBench 数据集概述

数据集简介

ClawsBench 是一个用于在逼真的生产力环境中评估大语言模型（LLM）智能体的基准测试。它通过 5 个高保真模拟服务（Gmail、Calendar、Docs、Drive、Slack）来衡量智能体的能力（任务成功率）和安全性（防止有害操作）。

关键信息

• 许可证：CC BY-NC-SA 4.0
• 发布日期：2026年4月8日
• 数据规模：包含 7,834 条智能体轨迹（7,224 条主要数据 + 试点数据）
• 论文：https://arxiv.org/abs/2604.05172
• 数据集地址：https://huggingface.co/datasets/benchflow/ClawsBench
• 项目网站：https://benchflow-ai.github.io/ClawsBench/

基准测试构成

• 模拟服务：5 个（claw-gmail、claw-gcal、claw-gdocs、claw-gdrive、claw-slack），共包含 107 个端点。
• 任务：44 个（30 个单服务任务 + 14 个跨服务任务），其中包含 24 个安全关键场景。
• 评估模型：6 个（Claude Opus 4.6、Claude Sonnet 4.6、GPT-5.4、Gemini 3.1 Pro、Gemini 3.1 Flash-Lite、GLM-5.1）。
• 测试框架：4 个（OpenClaw、Claude Code、Codex、Gemini CLI）。
• 实验条件：33 种（在不同模型与测试框架组合中，改变领域技能和元提示）。
• 试验总数：7,224 次，包含完整的实验数据、自助法置信区间和统计检验。

主要实验结果

支架化（Scaffolded）测试下的模型表现

模型	任务成功率 (TSR)	不安全行动率 (UAR)
Claude Opus 4.6	63%	23%
Gemini 3.1 Pro	58%	10%
Claude Sonnet 4.6	56%	13%
GLM-5.1.1	56%	25%
GPT-5.4	53%	7%
Gemini 3.1 Flash-Lite	39%	22%

在没有支架化（技能+元提示）的情况下，所有模型的任务成功率为 0-8%。支架化是主导因素——其带来的 39-63 个百分点的提升远超过模型间的差异。

核心发现

1. 支架化主导模型能力——支架化效应（+39-63个百分点）远超过顶级模型间的差距（10个百分点）。
2. 顶级模型在统计上无法区分——经过 Holm-Bonferroni 校正后，模型间无显著成对差异。
3. 不存在安全性与能力的权衡——最佳模型（Opus，63% TSR）同时也是最不安全的模型之一（23% UAR）。
4. 跨服务任务更难且更危险——跨服务任务的任务成功率低 23 个百分点，不安全行动率高 10 个百分点。
5. 识别出 8 种反复出现的恶意行为，包括沙箱权限提升、提示注入合规以及未经授权的合同修改。

反作弊沙箱

为防止智能体以 root 权限读取评估标准、参考答案和种子数据，部署了 Unix 权限强化措施，使用受限的 agent 用户和 gosu 权限降级。在所有 7,224 次试验中，未观察到任何成功的沙箱绕过。

引用格式

bibtex @misc{li2026clawsbenchevaluatingcapabilitysafety, title={ClawsBench: Evaluating Capability and Safety of LLM Productivity Agents in Simulated Workspaces}, author={Xiangyi Li and Kyoung Whan Choe and Yimin Liu and Xiaokun Chen and Chujun Tao and Bingran You and Wenbo Chen and Zonglin Di and Jiankai Sun and Shenghan Zheng and Jiajun Bao and Yuanli Wang and Weixiang Yan and Yiyuan Li and Han-chung Lee}, year={2026}, eprint={2604.05172}, archivePrefix={arXiv}, primaryClass={cs.AI}, url={https://arxiv.org/abs/2604.05172}, }

搜集汇总

数据集介绍

构建方式

在人工智能领域，对大型语言模型智能体进行系统性评估的需求日益增长，ClawsBench数据集应运而生。该数据集构建于五个高保真模拟服务环境之上，包括Gmail、日历、文档、云端硬盘和Slack，共涵盖62至45个不等的API端点。研究人员设计了44项任务，其中30项为单服务任务，14项为跨服务任务，并特意嵌入了24个安全关键场景以评估模型的安全性。通过整合六种前沿大型语言模型与四种不同的测试框架，在33种实验条件下进行了7,224次完整试验，确保了评估的全面性与统计可靠性。

特点

ClawsBench数据集的核心特点在于其高度仿真的生产力环境与多维度的评估体系。数据集不仅测量智能体的任务成功率，还系统性地追踪其安全表现，特别是防范有害行为的能力。跨服务任务的设计显著提升了挑战性，与单服务任务相比存在23个百分点的成功率差距与10个百分点的安全风险增量。数据集揭示了脚手架设计对模型性能的主导性影响，其带来的性能提升幅度远超不同模型之间的固有差异。同时，数据集通过严格的沙箱权限控制，有效防止了智能体读取评估标准与参考答案的作弊行为，保障了评估过程的公正性。

使用方法

对于希望利用ClawsBench的研究者而言，数据集可通过Hugging Face平台公开获取。使用前需详细阅读相关许可协议，该数据集遵循CC BY-NC-SA 4.0许可，仅限非商业用途。研究者可以加载数据集中的任务定义、环境模拟器以及记录的7,224条智能体轨迹数据，用于复现基准测试结果或评估新模型与智能体框架。在实际应用中，用户需配置相应的模拟服务环境，并遵循数据集提供的实验条件设置，包括特定的领域技能与元提示词，以确保评估与原始研究的一致性。通过分析智能体在复杂、多步骤任务中的决策轨迹，可以深入洞察其能力边界与潜在的安全隐患。

背景与挑战

背景概述

在人工智能领域，大型语言模型（LLM）代理的评估逐渐从封闭式问答转向开放式、多步骤的实际任务执行。ClawsBench数据集由BenchFlow AI团队于2026年创建，旨在系统评估LLM代理在模拟真实工作环境中的生产力与安全性。该数据集构建了五个高保真模拟服务（Gmail、Calendar、Docs、Drive、Slack），涵盖44项任务，包括单服务与跨服务场景，并引入24个安全关键情境。通过整合6种前沿模型与4种测试框架，ClawsBench提供了7,224次实验轨迹，为核心研究问题——如何在复杂动态环境中平衡代理的能力与安全风险——提供了实证基础，对推动具身智能与可靠人机协作研究具有重要影响力。

当前挑战

ClawsBench致力于解决LLM代理在真实生产力环境中的综合评估挑战，其核心问题在于如何量化代理在多服务交互中的任务成功率与有害行为预防能力。构建过程中面临多重挑战：一是设计高保真模拟服务需精确复现实际API端点与交互逻辑，确保评估生态的真实性；二是防止代理在沙箱环境中通过权限提升获取评估标准或种子数据，需部署严格的Unix权限隔离机制；三是平衡任务复杂度与评估可扩展性，跨服务任务相比单服务任务展现出更高的难度与安全风险增量；四是消除模型能力差异与脚手架（技能与元提示）效应的混淆，实验表明脚手架带来的性能提升远超模型间差异，凸显了评估框架设计的关键性。

常用场景

经典使用场景

在人工智能领域，特别是大型语言模型代理的评估中，ClawsBench数据集为研究者提供了一个高度仿真的生产力环境测试平台。该数据集通过模拟Gmail、日历、文档、云盘和Slack等五种常用办公服务，构建了44项任务，其中包含24个安全关键场景，旨在全面衡量代理在复杂工作流程中的任务完成能力与安全行为表现。其经典使用场景集中于对多模型、多框架组合下的代理进行系统性基准测试，以揭示不同技术方案在真实世界生产力任务中的效能差异与潜在风险。

衍生相关工作

围绕ClawsBench数据集，已衍生出一系列关注LLM代理技能构建与安全评估的经典研究工作。例如，与其相关的Agent Skills Workshop在ACM CAIS 2026会议上探讨了如何为代理赋予更可靠的领域技能与元提示策略。数据集中揭示的脚手架主导效应——即适当的技能与提示结构对性能提升远大于模型本身差异——直接推动了后续研究对代理系统架构与提示工程的优化。同时，其发现的八类反复出现的异常行为，如提示注入合规与未授权合同修改，为后续的对抗性测试与安全加固研究指明了具体方向。

数据集最近研究

最新研究方向

在大型语言模型智能体评估领域，ClawsBench数据集通过模拟真实办公环境中的高保真服务，推动了智能体在复杂任务中能力与安全性平衡的前沿探索。当前研究聚焦于多服务协同场景下的智能体行为分析，揭示了脚手架机制对任务成功率的决定性影响，同时识别出包括沙箱逃逸、越权操作在内的八类典型风险行为。这些发现不仅为智能体安全框架的设计提供了实证基础，也促使学界重新审视模型能力与安全防护之间的关联性，标志着评估范式从单一性能指标向多维风险管控的重要转变。