ServiceNow-AI/EnterpriseOps-Gym

EnterpriseOps-Gym是一个大规模基准测试，用于评估LLM代理在企业运营中的代理规划和工具使用能力。它包含1,150个专家策划的任务，覆盖8个企业领域，每个任务都在真实的容器化MCP服务器上运行，并配有完全合成的数据库。数据集的特点是评估代理在最终环境状态下的表现，使用SQL验证器来确保正确的结果。此外，数据集支持多种工具集配置，包括oracle、plus_5_tools、plus_10_tools和plus_15_tools，以模拟不同的工具检索场景。EnterpriseOps-Gym is a large-scale benchmark for evaluating the agentic planning and tool-use capabilities of LLM agents across enterprise operations. It comprises 1,150 expert-curated tasks spanning 8 enterprise domains, each running against live containerized MCP servers backed by realistic, fully synthetic databases. The dataset evaluates agents on final environment state using SQL verifiers, ensuring correct outcomes. It also supports multiple tool-set configurations, including oracle, plus_5_tools, plus_10_tools, and plus_15_tools, to simulate different tool retrieval scenarios.

搜集汇总

数据集介绍

构建方式

EnterpriseOps-Gym的构建依托于真实企业运营场景的深度模拟，涵盖了日历、客户服务管理、云端存储、邮件、人力资源、IT服务管理、团队协作及跨域混合等八大企业核心领域，共计包含1,150项由领域专家精心设计的任务。该数据集采用容器化沙盒技术，每个任务均基于真实的合成数据库运行于MCP服务器之上，并配备可重置的环境，确保实验的可复现性。任务数据通过系统提示词、用户指令、验证器及工具集配置等结构化字段进行组织，其中验证器采用可执行的SQL脚本，以最终环境状态评估智能体表现，而非拘泥于动作序列的匹配。数据集的配置模式涵盖Oracle（仅包含必需工具）及添加了5、10、15个干扰工具的变体，用以模拟不同工具检索场景下的规划难度。

使用方法

EnterpriseOps-Gym的使用方式灵活且扩展性强。首先，用户可通过HuggingFace库加载数据集，如`load_dataset('ServiceNow-AI/EnterpriseOps-Gym', 'oracle', split='teams')`，按领域（split）和模式（配置子集）获取任务实例。每个实例包含任务标识、系统提示、用户指令、验证器脚本及MCP服务器配置等字段，可直接用于智能体的推理与执行。评估框架集成于开源代码库中，支持ReAct、Planner-ReAct及分解型规划器等多种编排策略，并可连接Anthropic、OpenAI、Google Gemini及DeepSeek等主流语言模型提供商。借助Ray框架实现大规模并行执行，自动生成按任务与模式划分的得分报告，便于研究者分析智能体的失败模式或开发新的编排算法。此外，数据集的可扩展性允许用户通过Docker沙箱基础设施添加新领域、任务或验证器。

背景与挑战

背景概述

企业运营领域长期以来面临着流程自动化程度低、多系统协同困难的瓶颈。2026年，由ServiceNow研究团队主导，Shiva Krishna Reddy Malay等学者联合推出了EnterpriseOps-Gym数据集。该数据集聚焦于评估大语言模型（LLM）在复杂企业场景中的规划能力与工具调用水平，涉及日历、人力资源、IT服务管理等8个核心领域，共计包含1,115个专家设计的任务。数据集依托容器化沙盒环境与实时数据库，采用SQL验证器根据最终环境状态评估智能体表现，突破了传统静态问答基准的局限。其发布对推动企业级智能自动化研究具有重要影响，为工业界与学术界提供了标准化的评估框架。

当前挑战

EnterpriseOps-Gym所应对的核心挑战源自企业运营中固有的复杂性：智能体需在包含512种工具与164张数据库表的环境中完成平均9.15步、最长34步的长跨度多步推理，并严格遵循访问控制与策略合规要求。构建该数据集时，团队面临多重技术难题——需设计高度仿真的合成数据库并维护复杂的参照完整性约束，开发基于SQL的可执行验证器以实现结果导向的评估，同时在oracle、plus_5_tools等不同工具集配置下模拟工具检索噪声。当前最优模型仅达成34.1%的成功率，充分揭示了该领域巨大的研究空间与提升潜力。

常用场景

经典使用场景

EnterpriseOps-Gym精心构建了一个面向企业运营场景的智能体规划与工具使用基准评测平台。该数据集涵盖了从日历管理、客户服务、文档协作到人力资源、IT服务管理等八个核心业务领域，总计包含1115个专家精心设计的任务实例。每个任务都设计为需要多步推理、严格遵循企业策略并精确调用工具的复杂工作流，提供了四种不同工具集配置模式（oracle及附加干扰工具的模式），使研究者能够系统评估语言模型智能体在多工具环境下的规划与执行能力。

解决学术问题

该数据集有效应对了当前学术界在评估大型语言模型智能体时面临的关键挑战——缺乏能够反映真实企业环境复杂性的动态、多步骤基准。传统静态问答评测无法捕捉智能体在长期任务中的状态推理、策略合规性及工具选择能力。EnterpriseOps-Gym通过引入基于SQL验证的结果导向评估机制，要求智能体实现正确的最终环境状态而非机械模仿动作序列，为研究长程规划、工具调用鲁棒性和策略约束下的决策推理提供了标准化评测框架，其最佳模型仅34.1%的成功率充分揭示了当前技术的提升空间。

实际应用

该数据集在实际应用中能够为各类企业级智能助手系统的研发提供精准的测评和优化支撑。例如，在IT服务管理领域，可用于评估智能体处理工单分派、权限审批和跨系统协作的效能；在人力资源场景中，验证智能体执行员工入职流程、考勤管理和政策查询的准确性。此外，数据集内置的容器化沙盒环境支持安全隔离的重复实验，为企业在部署自动化运营助理前进行充分的风险评估和能力测试提供了可靠的工程基础。

数据集最近研究

最新研究方向

EnterpriseOps-Gym 数据集的最新研究方向聚焦于在大规模企业级场景下，评估和增强大语言模型（LLM）的智能体规划与工具使用能力，特别是应对状态依赖、多步骤推理和复杂策略约束的挑战。该基准通过512个涵盖日历、CSM、HR、ITSM等8个业务领域的工具，以及基于SQL验证器的最终状态评估机制，突破了传统静态QA基准的局限。前沿研究热点包括探索ReAct、Planner-ReAct等编排策略在长序列任务（平均9.15步，最长34步）中的鲁棒性，并分析额外工具（如plus_5至plus_15模式）对智能体行为的影响。当前最佳模型仅达到34.1%的成功率，凸显了在企业自动化、IT运维管理和跨部门协作等热点事件驱动下，提升代理在高复杂度、策略严苛环境中的决策可靠性和适应性的重要意义，为该领域开辟了广阔的研究空间。