AgentGym2

AgentGym2是由复旦大学等研究机构构建的大型语言模型智能体评估基准数据集，旨在解决现有基准在简化理想化环境中评估的局限性。该数据集包含437个任务实例，覆盖复杂工具使用、数据分析和深度搜索三大场景，涉及人文、法律社会、经济工业等27个领域，数据来源于GitHub、Reddit和Kaggle等平台的真实用户需求。通过自动化合成、查询增强和人工标注相结合的方式构建，特别强调在真实世界不确定性下的端到端任务完成能力，包括工具发现、工具组合和噪声鲁棒性等关键维度。该数据集主要应用于评估语言智能体在非理想化现实环境中的综合能力，为智能体的实际部署提供可靠的性能基准。AgentGym2 is a large language model (LLM) agent evaluation benchmark dataset constructed by Fudan University and other research institutions, aiming to address the limitations of existing benchmarks evaluated in simplified, idealized environments. This dataset contains 437 task instances, covering three core scenarios: complex tool usage, data analysis and deep search, involving 27 domains including humanities, law and social sciences, economic and industrial sectors, etc. The data is sourced from real user requirements on platforms such as GitHub, Reddit, Kaggle and other platforms. It is built via a hybrid approach combining automated synthesis, query enhancement and manual annotation, with special focus on end-to-end task completion capabilities under real-world uncertainty, covering key dimensions such as tool discovery, tool composition and noise robustness. This dataset is mainly applied to evaluate the comprehensive capabilities of language agents in non-ideal real-world environments, providing a reliable performance benchmark for the actual deployment of intelligent agents.

原始信息汇总

数据集总览

AgentGym2 是一个用于评估大语言模型智能体在去理想化、真实世界环境中的表现的基准数据集。它旨在突破传统评估的简化设置，要求智能体在工具需自行发现、流程需从零组合、信息嘈杂模糊的条件下，执行完整的端到端工作流程。

核心特点

• 去理想化设计：提供基础但可组合的工具箱，而非预设的任务特定工具，鼓励智能体主动探索并发现所需工具。
• 多模态支持：每个查询可能附带多模态附件，包括文档、图片、音频和视频。
• 统一工具接口：所有工具封装为统一接口，支持并行调用，确保可扩展和可复现的评估。

数据集规模与统计

统计项	数值
总查询数	437
- 复杂工具使用	182
- 数据分析	57
- 深度搜索	198
语言	中文 / 英文
总附件数	652
附件模态	文本、图像、音频、视频
基础工具类型	27

覆盖场景

• 复杂工具使用：智能体需在真实的网络环境中发现和组合工具。
• 数据分析：智能体需探索原始数据，理解清洗或转换需求，完成端到端分析。
• 深度搜索：智能体需在多来源中检索、综合和验证信息，处理模糊或嘈杂的用户查询。

许可与引用

• 许可协议：MIT
• 引用方式：如需引用，请参考提供的 BibTeX 格式。

注：数据集详情页地址为：https://huggingface.co/datasets/hotdogzz/Agentgym2

搜集汇总

数据集介绍

构建方式

AgentGym2的数据构建基于对现实世界中端到端工作需求的深刻洞察，从GitHub、Reddit和Kaggle等多源平台采集真实用户请求，通过自动化合成、查询增强与人工标注相结合的方式，将这些原始需求转化为富有挑战性的评估实例。数据集覆盖复杂工具使用、数据分析和深度搜索三大核心场景，共计437个任务，横跨27个领域。在构建过程中，所有任务均经过级联验证流水线，结合模型检查与人工审核，确保任务的有效性、清晰度和预期结果的唯一性，从而在规模上保证了数据的一致性与高质量。

特点

AgentGym2最显著的特点在于其去理想化的设计理念，它摒弃了预先打包的工具集和简化的输入假设，转而提供一个基础却可组合的工具箱，涵盖网络浏览、信息检索、文件处理、多模态理解和代码执行五大类别，共计27种操作，赋予代理一个庞大且真实的动作空间。该基准测试不仅评估标准的搜索、规划、推理与编码能力，更着重衡量代理在噪音、歧义和未指定信息面前的鲁棒性，以及通过交互主动发现工具、组合工具以完成端到端流程的能力，精准捕捉了现实部署环境中的核心挑战。

使用方法

AgentGym2采用模块化与解耦的架构设计，支持环境隔离与并行工具调用，确保评估的严谨性、可复现性和可扩展性。使用时，代理通过OpenAI工具模式接收所有工具定义，并以ReAct风格进行多轮交互，每轮任务上限为100次交互，最终需以特殊格式输出答案。评估通过LLM作为裁判，针对不同场景采用专用提示模板判断预测答案与标准答案的语义等价性，实验表明其与人工验证的一致率高达98.9%，为研究者提供了一个可靠且可扩展的测试平台，以深入探索和提升语言代理在实际生产环境中的表现。

背景与挑战

背景概述

AgentGym2是由复旦大学自然语言处理实验室联合浙江大学、上海交通大学、北京大学及CAMEL-AI组织于2026年7月发布的大语言模型智能体评测框架。随着语言模型从对话系统演进为自主执行复杂任务的智能体，并在生产环境中日益部署，现有基准测试多依赖预封装工具、预设步骤和清洁输入，难以反映真实部署中的不确定性与噪声。AgentGym2聚焦于去理想化的现实世界场景，涵盖复杂工具使用、深度搜索与端到端数据分析三大任务，跨越27个领域，旨在全面评估智能体在探索工具、组合工具、处理模糊与噪声信息以及执行完整流程等方面的综合能力，对相关领域的研究与发展具有重要推动作用。

当前挑战

AgentGym2所解决的领域核心挑战在于现有评测基准过度简化了真实世界的复杂性，如工具需提前给定、任务步骤被预解、输入信息干净明确，导致智能体在不可预测环境中的能力被高估。构建过程中面临的挑战包括：设计基本可组合工具箱以暴露大型真实动作空间，鼓励智能体自主探索与发现工具；从GitHub、Reddit、Kaggle等平台采集真实用户需求，并通过自动化合成、查询增强与人工标注转化为评测实例；引入级联验证管线确保任务质量，同时注入噪声、歧义和不完整信息以模拟现实场景。实验表明，即使GPT-5等顶级模型在AgentGym2上也仅达46.15%的平均准确率，揭示了当前智能体与现实部署需求间的显著差距。

常用场景

经典使用场景

AgentGym2作为面向去理想化真实世界的语言智能体评估基准，其最经典的用途在于全面衡量大语言模型智能体在非简化、非理想化环境中的端到端任务完成能力。与以往仅关注推理与规划的基准不同，该数据集创新性地构建了涵盖复杂工具使用、数据分析与深度搜索三大场景的评估框架，要求智能体在配备基础可组合工具箱的环境中进行主动探索与工具发现。通过从GitHub、Reddit、Kaggle等平台采集真实需求并注入歧义、噪声与不完全信息等现实因素，AgentGym2为评估智能体在不确定性环境中的鲁棒性提供了严苛的试验场。

解决学术问题

AgentGym2有针对性地解决了现有智能体评估基准中普遍存在的‘理想化陷阱’问题。过往基准多依赖预封装的工具接口、简化中间步骤且假设输入信息清洁完整，从而严重低估了真实部署中的难度。该数据集通过引入工具发现、工具组合、端到端数据分析以及对抗噪声与未指定信息的鲁棒性等核心评估维度，系统性地揭示了当前最先进智能体（如GPT-5和Claude-4.5-Sonnet）在真实世界需求面前的显著能力差距。其研究意义在于为学术社区提供了一个更贴近实际生产环境的评估标尺，推动智能体研究从封闭世界假设走向开放、动态的真实场景。

衍生相关工作

AgentGym2的提出催生了一系列围绕去理想化智能体评估与训练的衍生工作。其架构设计启发了对智能体在开放世界中工具探索策略的研究，包括基于强化学习的工具发现算法与探索-利用平衡机制。在模型层面，该数据集的实验发现——如智能体后训练可显著提升性能——推动了针对智能体任务的多轮强化学习训练方法（如AgentGym-RL）的发展。此外，其针对失败模式的细粒度分析（如探索不足、确认偏误与指令误解）为后续研究提供了诊断框架，促进了更鲁棒的智能体行为建模与不确定性处理策略的探索。