RUC-AIBOX/ClawGym-Task

ClawGym-SynData数据集包含13.5K个可执行的Claw-style任务。它结合了两种合成方式：一是Persona-driven synthesis，通过采样用户配置文件、场景类别和原子操作来生成基于现实工作空间的请求；二是Skill-grounded synthesis，从OpenClaw技能构建任务，使用一个主要技能和可选的支持技能以鼓励多步骤工作流程。任务生成过程覆盖9个场景类别、43个子类别、7个操作类别和26个原子操作。对于技能基础合成，我们标注了16,837个收集的技能，涵盖数据与API、开发工具、工作流程、自动化、安全、提示、MCP工具等类别。ClawGym-SynData contains 13.5K executable Claw-style tasks. It combines two synthesis routes: Persona-driven synthesis, which samples user profiles, scenario categories, and atomic operations to generate realistic workspace-grounded requests, and Skill-grounded synthesis, which builds tasks from OpenClaw skills, using one primary skill with optional supporting skills to encourage multi-step workflows. The task generation process covers 9 scenario categories, 43 subcategories, 7 operation categories, and 26 atomic operations. For skill-grounded synthesis, we annotate 16,837 collected skills across categories such as Data & APIs, Dev Tools, Workflows, Automation, Security, Prompts, MCP Tools, and others.

搜集汇总

数据集介绍

构建方式

ClawGym-Task数据集通过两种合成路径构建，以生成贴近真实场景的Claw风格任务。其一是角色驱动合成，通过抽样用户画像、场景类别与原子操作，生成面向实际工作空间的请求。其二是技能驱动合成，基于OpenClaw技能库，以一个主要技能为核心，辅以可选的辅助技能，鼓励形成多步骤的工作流。该过程覆盖9大场景类别、43个子类别、7种操作类别与26种原子操作，技能驱动合成部分还对收集的16,837个技能进行了跨类标注。

特点

该数据集的核心特点在于其双重合成策略与高度结构化的任务表示。角色驱动合成确保了任务的场景真实性与多样性，而技能驱动合成则强化了任务的执行能力与工作流复杂度。13.5K个可执行任务覆盖广泛的应用领域，包括数据与API、开发工具、工作流、自动化、安全、提示词及MCP工具等，使得数据集在模拟Claw Agent执行环境时具备显著的实用性与扩展性。

使用方法

使用ClawGym-Task数据集时，可将其作为Claw Agent模型的训练与评估基准。研究者可直接加载任务集合，通过解析任务描述与操作序列映射至具体执行环境。推荐结合数据集的标注信息，利用角色与技能路径进行任务适配，以检验模型在多种场景下的规划与工具调用能力。该数据集支持基于Python的加载与处理，便于集成至现有的Agent训练框架。

背景与挑战

背景概述

随着大语言模型与工具调用能力的深度融合，智能体（Agent）在复杂工作流自动化中的应用日益广泛。然而，现有基准数据集多聚焦于简单指令执行，缺乏对多步骤、多技能协同任务的系统性覆盖。在此背景下，ClawGym-Task数据集由Fei Bai、Huatong Song等研究人员于2026年构建，旨在填补基于专业技能图谱驱动任务生成的空白。该数据集通过人格模拟合成与技能驱动合成两条路径，生成了13.5K条可执行的Claw风格任务，涵盖9大场景类别、43个子类别及26种原子操作，为评估Claw智能体在工作空间下的真实任务执行能力提供了标准化评测基础。该工作发表于arXiv预印本，对智能体任务生成与评估领域具有显著推动作用。

当前挑战

ClawGym-Task数据集面临的挑战主要体现于两个层面。在领域问题层面，现有基准难以评估智能体在开放式工作流中的多步决策能力，尤其在需要跨工具、跨平台协同的场景下，缺乏对复杂任务分解与动态规划的有效度量，导致智能体在真实应用中的泛化性能受限。在构建过程层面，如何从海量真实用户技能中筛选并标注高质量技能以驱动任务生成是一个核心难题。数据集中共标注了16,837条技能，但技能类别多样且涉及数据、开发工具、安全等多个领域，保证任务生成的覆盖度与逻辑一致性极具挑战。此外，人格模拟合成与技能驱动合成的融合策略需精确平衡任务复杂性与可执行性，避免生成过于简单或不可达的任务。

常用场景

经典使用场景

在构建和评估基于工具调用的智能代理系统时，ClawGym-Task数据集被广泛用于多步骤工作流与真实场景任务的生成与测试。该数据集通过人物驱动合成与技能驱动合成两种策略，产出约13,500条可执Claw风格任务，覆盖9大场景类别与43个子类别，涵盖数据与API、开发工具、工作流自动化、安全、提示工程及MCP工具等关键领域。研究者常将其用于训练和评测大语言模型驱动的Claw代理，以检验其在分解复杂指令、调用多工具链、完成多步操作方面的能力。该数据集的独特之处在于，它不仅保证任务的可执行性，还通过原子操作组合模拟真实用户行为，成为领域内任务生成与代理评测的标准基准。

解决学术问题

该数据集有效应对了智能代理任务生成中的两大核心学术挑战：一是在任务构建中缺乏真实工作场景的语义覆盖，二是代理系统在跨工具链、跨步骤推理中的泛化能力难以评估。通过引入人物驱动的合成方法，ClawGym-Task能够模拟用户画像、场景类别和原子操作，生成本地与云端相结合的工作空间请求，从而弥合合成数据与真实用户需求之间的鸿沟。技能驱动合成则从16,837条已标注技能出发，以单一主技能搭配可选辅助技能的方式，激励代理探索多步工作流。这些设计大幅提升了代理在零样本和少样本场景下的任务完成质量，也为探究工具调用中的规划和纠错机制提供了可靠数据支撑。

衍生相关工作

基于ClawGym-Task数据集，学术界与工业界已衍生出多项经典工作。一方面，研究者借鉴其人物驱动合成范式，开发出针对金融、医疗等垂直领域的领域定制化任务生成框架，利用原子操作和用户画像生成符合专业规范的操作序列。另一方面，围绕技能驱动合成的思路，衍生出用于大语言模型微调的高质量多步推理数据集，例如将主技能与辅助技能组合后，配合错误恢复和重试机制，增强模型执行复杂工作流的鲁棒性。此外，该数据集还催生了多种Claw代理评估基准，如利用子类别划分进行细粒度性能分析，衡量代理在不同场景类别上的优势与短板。相关研究广泛引用了该工作，并将其作为观测工具调用策略演化与代理能力增长的核心参考。