ZixuanKe/evovling_tools

EnterpriseOps演进工具基准数据集模拟了一个随时间增长的真实世界工具宇宙。它包含多个领域（如日历、客户服务管理、云存储、电子邮件、人力资源、混合、IT服务管理和团队协作），每个领域有多个版本（V1、V2等）。每个版本都包含训练和测试分割，并提供了每个任务的详细元数据。该数据集旨在评估工具使用场景中的演进代理。许可证：Apache-2.0 任务类别：其他 语言：英语 标签：AI智能体（AI Agent）、工具使用（tool-use）、演进式基准测试（evolving-benchmark）、企业运维（enterprise-ops） 友好名称：企业运维演进式工具基准测试（EnterpriseOps Evolving Tool Benchmark） # 演进式工具基准测试（EnterpriseOps-Gym v7） 每个领域均以版本序列`V1, V2, ..., VK`的形式发布，用以模拟随时间演进的真实工具生态系统： - **工具集持续迭代**：`C₁ ⊆ C₂ ⊆ ... ⊆ C_K` —— 每个版本在先前版本的基础上新增工具。 - **任务按阶段划分**：将任务划分为`adapt`（此处用作训练集，例如用于上下文示例/微调）和`test`拆分。 - **基于频率的锚定策略**：采用真实共现统计数据，早期版本包含最热门的工具。 - **自适应调度方案**：以满足增长率和最小任务数约束为目标进行设计。 ## 数据集布局 每个领域（calendar、csm、drive、email、hr、hybrid、itsm、teams）包含3至6个版本。每一组（领域，版本）对即为一个配置，包含训练（train）和测试（test）拆分，文件结构如下： <repo>/ ├── calendar/ │ ├── v1/ │ │ ├── train.jsonl # V1版本的适配训练任务 │ │ └── test.jsonl # V1版本的测试任务 │ ├── v2/ │ └── v3/ ├── csm/ │ ├── v1/ ... v4/ ├── drive/ ├── email/ ├── hr/ ├── hybrid/ ├── itsm/ └── teams/ ## 使用方法 python from datasets import load_dataset # 单个配置对应一个（领域，版本）对 ds = load_dataset("ZixuanKe/evovling_tools", "calendar_v1") train_ds = ds["train"] test_ds = ds["test"] # 也可直接加载指定拆分： train_ds = load_dataset("ZixuanKe/evovling_tools", "calendar_v1", split="train") test_ds = load_dataset("ZixuanKe/evovling_tools", "csm_v3", split="test") ## 数据行模式 每一行数据均包含原始任务配置与元数据列，字段说明如下： | 字段名 | 数据类型 | 描述 | | --- | --- | --- | | `domain` | str | 取值为`calendar, csm, drive, email, hr, hybrid, itsm, teams`之一 | | `version` | str | 格式为`v1`、`v2`等，从1开始索引，与源清单中的`V1, V2, ...`调度规则一致 | | `split` | str | 取值为`train`（即`adapt`）或`test` | | `task_id` | str | 原始任务ID，在各版本间保持稳定，可用于关联同一任务在不同阶段的样本 | | `oracle_tools` | list[str] | 源自源数据`selected_tools`字段的最小基准工具列表，保留原始顺序与重复项 | | `system_prompt` | str | 适用于AI智能体的系统提示词 | | `user_prompt` | str | AI智能体需要完成的用户请求 | | `cummulative_tools` | list[str] | 当前阶段的**累积**工具全集`C_k`，即智能体可见的全部工具，包含干扰项 | | `mcp_endpoint` | str | 模型上下文协议（MCP）HTTP端点，例如`/mcp` | | `gym_servers_config` | list[dict] | 各服务器的MCP配置，包含URL、种子数据库、用户信息 | | `verifiers` | list[dict] | 用于评估智能体的数据库状态/API状态验证器 | ## 演进式智能体评估 [TODO]