RUC-AIBOX/ClawGym-Bench

ClawGym-Bench 是一个包含200个实例的诊断基准，专为Claw-style智能体设计。每个任务包括用户指令、模拟工作空间资源和一个任务特定的验证器。其中，156个任务使用基于代码的验证，44个任务采用混合验证（结合代码检查和基于规则的判断），混合验证的评分权重为0.7（代码验证）和0.3（规则验证）。该基准通过难度感知过滤和人工-LLM审查选择，涵盖六个工作空间基础类别：产品与协作、系统与自动化、分析与推理、内容与领域、规划与知识、软件开发。ClawGym-Bench is a diagnostic benchmark comprising 200 instances, specifically tailored for Claw-style AI Agents. Each task consists of user instructions, simulated workspace resources, and a task-specific validator. Of these, 156 tasks utilize code-based validation, while 44 tasks adopt hybrid validation (combining code inspection and rule-based judgment), with the scoring weights of hybrid validation set as 0.7 for code validation and 0.3 for rule-based validation. This benchmark is curated via difficulty-aware filtering and human-LLM review, covering six fundamental workspace categories: Products and Collaboration, Systems and Automation, Analysis and Reasoning, Content and Domain, Planning and Knowledge, and Software Development.

搜集汇总

数据集介绍

构建方式

ClawGym-Bench是一个专为Claw风格智能体设计的诊断性基准，包含200个精心构造的任务实例。每个任务由用户指令、模拟工作区资源及任务特定的验证器三部分构成。基准的构建采用了难度感知过滤与人类-大语言模型联合评审的策略，以确保任务的质量与代表性。其中，156个任务采用纯代码验证方式，44个任务则结合代码检查与基于量规的判断进行混合验证，混合评分中代码验证权重为0.7，量规验证权重为0.3。任务覆盖了六个工作区为导向的类别，包括产品与协作、系统与自动化、分析与推理、内容与领域、规划与知识以及软件开发，各类别任务数量从25至44不等，体现了基准的多样性与均衡性。

特点

该基准最显著的特点在于其针对Claw风格智能体的诊断性设计，通过200个精心筛选的任务全面评估智能体的能力边界。代码验证与混合验证并存的双轨机制，既保证了评估的客观性，又通过量规补充了代码难以覆盖的语义维度。难度感知过滤与人类-LLM联合审核的构建流程，确保了任务从简单到复杂的递进分布，避免了天花板效应或地板效应。覆盖六大工作区类别的任务设计，使基准能够系统性地考察智能体在协作、自动化、推理、内容生成、规划及编程等多元场景下的表现，具有较强的泛化诊断价值。此外，后验评估策略有效防止了奖励破解问题，提升了评估的信度。

使用方法

使用ClawGym-Bench评估智能体时，需参照官方提供的评估指南进行操作。代码检查器以文件路径'input_files/reward/test.py'的形式提供，但在任务执行过程中不会暴露于工作区，仅在模型完成任务后进行事后评估，从而规避奖励破解风险。针对混合验证任务，系统会按照0.7与0.3的权重分别计算代码验证与量规验证得分，最终合成综合评分。用户可在GitHub仓库中找到详尽的评估脚本与示例，通过标准化流程对自家Claw风格智能体进行诊断性测试，并与基准性能数据进行对比分析，以定位模型优势与弱点。

背景与挑战

背景概述

ClawGym-Bench是一个面向Claw风格智能体的诊断性基准测试，于2026年由Fei Bai、Huatong Song等研究者构建，旨在评估智能体在多样化工作空间中的任务完成能力。该基准涵盖200个实例，分为六个领域：产品与协作、系统与自动化、分析与推理、内容与领域、规划与知识、软件开发，其中156个任务采用基于代码的验证，44个采用混合验证机制。ClawGym-Bench通过难度感知过滤与人类-大模型联合评审精选而成，反映了对智能体泛化能力与执行力并重的评估趋势，对推动Claw智能体研究与标准化评测具有重要影响力。

当前挑战

ClawGym-Bench所解决的领域问题在于Claw风格智能体在复杂、多步骤工作空间任务中缺乏统一、可量化的诊断基准，现有评估常依赖简单指令或单一验证方式，忽视了任务多样性与执行鲁棒性。构建过程中面临的挑战包括：如何设计任务实例以确保覆盖六个领域的均衡性与代表性，如何结合代码验证与评分规则避免奖励黑客行为，以及如何通过人类-大模型协同评审过滤低质量或难度失当的任务，从而确保基准的有效性与可靠性。

常用场景

经典使用场景

ClawGym-Bench作为专为Claw风格智能体设计的诊断性基准测试集，包含200个精心构造的实例，每个任务都整合了用户指令、模拟工作空间资源及任务专用验证器。该数据集覆盖六大工作空间扎根类别，包括产品与协作、系统与自动化、分析与推理、内容与领域、规划与知识以及软件开发，广泛用于评估智能体在多领域、多步骤复杂任务中的自主执行能力。研究人员通过代码验证或混合验证（代码与评分标准结合）对智能体进行后验评估，从而精准衡量其在真实工作环境下的性能表现。

实际应用

在实际应用层面，ClawGym-Bench可支撑企业级智能助手、自动化工作流引擎及软件开发辅助系统的性能调试与迭代优化。例如，在产品与协作场景中，基于该基准的智能体能够模拟团队协作与项目管理任务；在系统与自动化场景中，可验证智能体执行系统配置、故障排查等操作的能力；在内容与领域场景中，则可测试其专业文档生成与知识问答的准确性。该基准还适用于智能体在代码审查、数据分析报告生成、多步骤规划等真实业务场景中的部署前验证，助力降低智能体在落地应用中的风险。

衍生相关工作

围绕ClawGym-Bench衍生了多项经典研究工作，例如其核心论文提出的ClawGym框架，展示了如何通过可扩展的方式构建高效Claw智能体。基于该基准，研究者已在智能体奖励模型优化、任务分解策略设计、混合验证机制改进等方向展开深入探索。此外，该数据集催生了一系列关注智能体在工作空间环境中泛化能力的后续研究，包括跨任务难度迁移学习、基于代码反馈的自我改进策略，以及人机协同下的任务验证方法。这些工作共同推动了智能体评估标准向更精细、更符合实际应用需求的方向演进。