AgentGym/AgentGym-RL-Data-ID

AgentGym-RL是一个用于通过多轮强化学习训练大型语言模型（LLM）代理进行长期决策的框架。它支持多种现实世界场景，包括网页导航、深度搜索、数字游戏、具身任务和科学任务，并提供了相应的数据集。

AgentGym-RL is a framework for training large language model (LLM) agents for long-horizon decision-making through multi-turn reinforcement learning. It supports a variety of real-world scenarios including web navigation, deep search, digital games, embodied tasks, and scientific tasks, along with the corresponding dataset.

搜集汇总

数据集介绍

构建方式

AgentGym-RL-Data-ID数据集是专为训练大语言模型（LLM）智能体进行多轮交互式决策而构建的强化学习数据集。它基于AgentGym-RL框架，该框架采用模块化与解耦架构，支持多种真实场景（如网页导航、深度搜索、数字游戏、具身任务和科学任务）。数据集的构建围绕环境交互展开：智能体通过与环境服务器（如WebArena、Search-R1、TextCraft、BabyAI、SciWorld）进行多轮互动，收集轨迹数据。训练过程采用提出的ScalingInter-RL方法，在早期阶段限制交互次数以强化利用，随后逐步扩大交互范围以鼓励探索，从而平衡探索与利用，实现稳定的强化学习优化。数据集涵盖了27个任务的交互轨迹，为从零开始训练智能体提供了丰富的资源。

特点

该数据集的核心特点在于其多样性与交互性。它整合了五种不同类型的现实世界场景，涵盖了网页操作、信息检索、文字游戏、具身推理和科学实验，体现了跨领域的通用性。每个任务均涉及多轮决策，要求智能体在长期视野中进行连贯推理与规划。数据集支持主流强化学习算法，并特别设计了ScalingInter-RL训练策略，通过动态调整交互轮数（如从10轮逐步增至30轮）来防止智能体在长序列下崩溃，促进多样化行为策略的形成。此外，数据集的模块化架构确保了高可扩展性，允许研究人员轻松添加新环境或算法。其标签（如llm-agents、decision-making）进一步凸显了其在智能体决策研究中的专业定位。

使用方法

使用该数据集需首先配置环境，推荐CUDA 12.4、PyTorch 2.4和Python 3.10，并通过pip安装所需依赖（包括flash-attention）。数据通过Git LFS从HuggingFace克隆获取。训练时，需启动对应环境服务器（参考AgentGym文档），然后运行示例脚本（如webarena_train.sh）。训练参数可通过设置algorithm.rounds_ctrl.type控制：固定轮数模式（如rounds=15）用于基础强化学习，而scaling_inter_stepwise模式（如rounds=[10,20,30]）用于ScalingInter-RL渐进式训练。评估步骤类似，需先启动环境服务器，再执行评估脚本（如webarena_eval.sh）。整个过程强调环境交互与脚本化执行，确保了可复现性。

背景与挑战

背景概述

AgentGym-RL-Data-ID数据集由复旦大学、上海人工智能实验室等机构的研究人员于2025年提出，旨在解决大语言模型（LLM）智能体在多轮交互决策中的强化学习训练难题。随着LLM在复杂真实世界任务中的应用需求激增，现有框架多依赖监督微调（SFT），缺乏统一且可扩展的交互式强化学习平台。该数据集作为AgentGym-RL框架的核心组成部分，涵盖了网页导航（WebArena）、深度搜索（Search-R1）、文本游戏（TextCraft）、具身任务（BabyAI）及科学实验（SciWorld）等多样化场景，为长时域决策问题提供了标准化的训练与评估基准。其提出标志着智能体从被动学习向主动探索的范式转变，对推动自主决策型LLM智能体的发展具有重要影响力。

当前挑战

该数据集面临的挑战主要体现在两方面。领域问题层面，长时域多轮交互决策存在探索与利用的平衡难题，智能体在复杂环境中易因奖励稀疏或动作空间过大而陷入局部最优或策略崩溃；此外，不同场景（如网页操作与科学实验）的异构性要求模型具备跨领域迁移能力，而现有RL算法在统一框架下的泛化性能仍不理想。构建过程中，研究人员需解决多环境接口的兼容性与可复现性，确保真实世界模拟的保真度；同时，大规模交互数据的采集与标注成本高昂，且需设计渐进式交互策略（如ScalingInter-RL中的步数控制）以避免早期训练的不稳定性，这对框架的模块化架构和算法鲁棒性提出了严苛要求。

常用场景

经典使用场景

AgentGym-RL-Data-ID数据集的核心应用场景在于为大规模语言模型（LLM）驱动的智能体提供多轮交互式强化学习训练框架，尤其聚焦于长时域决策任务。该数据集整合了WebArena网页导航、Search-R1深度搜索、TextCraft文本游戏、BabyAI具身推理及SciWorld科学实验等多元环境，覆盖了从虚拟数字空间到物理模拟的广泛场景。研究者可借助该数据集，在无需监督微调（SFT）的前提下，从零开始训练智能体，使其通过与环境的多轮互动逐步习得复杂决策能力，从而突破传统单步强化学习在长序列任务中的局限性。

衍生相关工作

围绕AgentGym-RL-Data-ID数据集，衍生出一系列具有影响力的研究工作。其核心论文《AgentGym-RL: Training LLM Agents for Long-Horizon Decision Making through Multi-Turn Reinforcement Learning》系统阐述了多轮强化学习框架的设计原理与ScalingInter-RL算法，为后续研究奠定了理论基础。基于该数据集，研究者进一步探索了智能体在跨环境迁移学习中的泛化能力，以及如何通过分层强化学习分解长时域任务。此外，数据集中的WebArena和SciWorld子任务已被广泛用于评估LLM智能体的零样本泛化与因果推理能力，催生了诸如“Search-R1”等结合检索增强生成与强化学习的混合架构，推动了智能体学习范式的持续演进。

数据集最近研究

最新研究方向

AgentGym-RL-Data-ID数据集聚焦于通过多轮强化学习训练大语言模型智能体，以应对长时序决策这一前沿挑战。当前研究热点在于摆脱对监督微调的依赖，从零开始赋予智能体在复杂真实场景中的自主探索与交互能力。该数据集覆盖了网页导航、深度搜索、文本游戏、具身任务及科学实验等多元化环境，其提出的ScalingInter-RL训练策略通过动态调整交互轮次，巧妙平衡了探索与利用，有效避免了长时序下的策略崩塌。这一工作不仅为构建通用自主智能体提供了统一的强化学习框架，更推动了智能体从静态指令执行向动态环境适应的范式转变，对实现类人认知发展路径具有里程碑式的意义。