early-experience

本数据集是论文《Agent Learning via Early Experience》的复现数据，旨在支持智能体通过早期经验进行学习的研究。它覆盖了八个智能体交互环境：ALFWorld、WebShop、BFCL、TravelPlanner、TextCraft、AppWorld、ScienceWorld和WebArena。针对每个环境，数据提供了三种训练范式所需的数据拆分：模仿学习（IL，对应expert拆分）、自我反思（SR，需要expert和reflection拆分）以及隐式世界建模（IWM，对应iwm拆分）。所有数据样本均采用ShareGPT对话格式，包含system、user和assistant消息字段。数据规模因环境而异，例如ALFWorld的expert、iwm和reflection拆分分别包含21,335、192,008和21,331条样本；WebShop则分别为15,678、92,662和6,216条。值得注意的是，WebArena环境仅提供iwm和reflection拆分，缺少expert拆分。部分环境（如AppWorld、WebShop、WebArena）中的数据包含由基准测试生成的合成虚构个人信息（如假邮箱、地址、URL），并非真实数据。该数据集适用于强化学习、模仿学习、世界模型构建等智能体学习任务的研究与模型微调。This dataset is a reproduction of data from the paper Agent Learning via Early Experience, aimed at supporting research on agent learning through early experiences. It covers eight different agent interaction environments: ALFWorld, WebShop, BFCL, TravelPlanner, TextCraft, AppWorld, ScienceWorld, and WebArena. For each environment, the data provides splits required for three training paradigms: imitation learning (IL, corresponding to the expert split), self-reflection (SR, requiring both expert and reflection splits), and implicit world modeling (IWM, corresponding to the iwm split). All data samples are in ShareGPT dialogue format, including system, user, and assistant message fields. The data scale varies by environment; for example, ALFWorlds expert, iwm, and reflection splits contain 21,335, 192,008, and 21,331 samples respectively, while WebShop has 15,678, 92,662, and 6,216 samples. Notably, the WebArena environment only provides iwm and reflection splits, lacking the expert split. Data in some environments (e.g., AppWorld, WebShop, WebArena) contains synthetic fictional personal information (such as fake emails, addresses, URLs) generated by benchmark tests and is not real data. This dataset is suitable for research and model fine-tuning in agent learning tasks such as reinforcement learning, imitation learning, and world model construction.

原始信息汇总

数据集概览

数据集名称: Early Experience (Reproduction Data)
许可证: MIT
语言: 英语
任务类别: 强化学习 (Reinforcement Learning)
标签: agent, early-experience, imitation-learning

描述

本数据集是用于复现论文《Agent Learning via Early Experience》的监督微调数据，覆盖8个智能体环境。每个环境提供三种训练范式的数据：

• IL (Imitation Learning): 使用 expert 数据
• SR (Self-Reflection): 使用 expert + reflection 数据
• IWM (Implicit World Modeling): 使用 iwm (世界模型) + expert 数据

数据集结构

数据集按环境（Config）和数据类型（split）组织，所有记录采用 ShareGPT 格式（包含 system / user / assistant 消息）。

环境与数据切分

环境	expert	iwm	reflection
alfworld	21,335	192,008	21,331
webshop	15,678	92,662	6,216
bfcl	1,224	8,677	752
travelplanner	1,370	52,754	1,226
textcraft	374	16,200	2,975
appworld	931	10,067	931
scienceworld	2,038	158,795	35,065
webarena	—	144,894	33,727

注意: WebArena 仅提供 iwm 和 reflection 数据，无 expert 切分。

使用方式

python from datasets import load_dataset

加载指定环境与切分的数据

ds = load_dataset("osunlp/early-experience", "alfworld", split="reflection")

复现结果

以下结果展示了早期体验方法（IWM、SR）相比模仿学习（IL）的性能提升（成功率或各基准的原始指标）。除 AppWorld 使用 Qwen2.5-14B-Instruct 外，其余环境均使用 Qwen2.5-7B-Instruct。

环境	模型	IL	IWM	Δ vs IL	SR	Δ vs IL
ALFWorld	Qwen2.5-7B-Instruct	58.6%	68.8%	+10.2%	74.2%	+15.6%
WebShop	Qwen2.5-7B-Instruct	39.1%	48.4%	+9.3%	55.5%	+16.4%
BFCL	Qwen2.5-7B-Instruct	44.9%	51.1%	+6.2%	49.6%	+4.7%
TravelPlanner	Qwen2.5-7B-Instruct	25.0%	29.4%	+4.4%	30.0%	+5.0%
TextCraft	Qwen2.5-7B-Instruct	73.0%	76.8%	+3.9%	74.5%	+1.5%
ScienceWorld	Qwen2.5-7B-Instruct	65.4%	68.6%	+3.2%	66.0%	+0.6%
AppWorld	Qwen2.5-14B-Instruct	43.7%	59.7%	+16.0%	51.0%	+7.3%

注意: WebArena 仅作为数据发布，未在上述评估中体现。

其他说明

• AppWorld 使用 Qwen2.5-14B-Instruct，其余环境使用 Qwen2.5-7B-Instruct。
• WebArena 未发布 expert 切分，其观察内容为可访问性树，可能包含基准测试自托管环境的 URL。
• AppWorld、WebShop、WebArena 包含由基准测试生成的虚构个人数据（如虚假邮箱、密码、地址、URL），并非真实数据。

搜集汇总

数据集介绍

构建方式

在智能体学习领域，模仿学习与自我反思的融合正逐步成为提升模型泛化能力的核心路径。该数据集围绕论文《Agent Learning via Early Experience》的复现工作构建，覆盖ALFWorld、WebShop、BFCL、TravelPlanner、TextCraft、AppWorld、ScienceWorld及WebArena八大智能体环境。每个环境均提供三种监督微调范式所需的数据：专为模仿学习（IL）设计的expert数据，用于自我反思（SR）的expert与reflection数据，以及隐式世界模型（IWM）所需的iwm数据。所有记录均采用ShareGPT格式，以system/user/assistant结构组织对话，确保与其他开源工具的无缝兼容。

特点

该数据集的显著特征在于其多范式支持与规模覆盖面。每个环境的数据量从数百至数十万条不等，其中ALFWorld的expert单类即达21,335条，而ScienceWorld的iwm数据则高达158,795条，为不同训练策略提供了充足的样本空间。WebArena作为特殊环境，仅发布iwm与reflection两类数据，反映了其任务复杂性对专家演示的抑制。实验结果表明，基于该数据集训练的Qwen2.5-7B/14B模型，在多种基准测试中，IWM与SR范式相较纯模仿学习取得显著提升，验证了早期经验策略的有效性。

使用方法

用户可通过HuggingFace的datasets库直接加载该数据集。例如，使用`load_dataset("osunlp/early-experience", "alfworld", split="reflection")`即可获取指定环境的特定数据子集。数据集以config参数区分环境（如alfworld、webshop），以split参数选择数据类型（expert、iwm或reflection）。每条记录预设了system、user和assistant三个角色字段，便于直接接入各类语言模型的微调流程。需注意，WebArena环境缺少expert分割，且其观测内容包含虚构的个人信息与自托管URL，使用时应避免直接暴露敏感数据。

背景与挑战

背景概述

在智能体学习领域，如何从有限的交互经验中高效获取知识以提升决策能力，始终是核心研究命题。该数据集由俄亥俄州立大学NLP研究团队于2025年创建，围绕《Agent Learning via Early Experience》这一重要工作展开，聚焦于探索早期经验在智能体学习中的关键作用。数据集覆盖了AlfWorld、WebShop等8个多样化智能体环境，旨在通过统一的监督微调数据（涵盖模仿学习、自我反思及隐式世界建模三种训练范式）系统地评估和推动早期经验驱动的学习策略。其研究问题直指智能体在复杂交互环境中如何通过经验模拟与反思实现泛化性能的突破，打破了传统强化学习对大量试错样本的依赖，为从语言模型到自主决策智能体的跨越提供了全新范式，在ICML等顶级会议上引发了广泛关注。

当前挑战

该领域面临的核心挑战在于如何克服智能体学习中经验获取与利用的根本瓶颈。首先，真实交互经验往往代价高昂且稀疏，传统模仿学习在缺乏多样化示范时极易陷入局部最优，而该数据集通过引入隐式世界建模范式，使得模型能在不直接执行动作的情况下模拟环境反馈，显著提升了样本效率。其次，构建过程面临异构环境数据对齐的难题——八个环境各自拥有截然不同的观测形式（如访问树、结构化文本）和任务语义，团队通过精心设计的ShareGPT格式实现了跨环境的数据统一。此外，在自我反思数据的构建中，需要保证失败与成功案例的合理配比，以防止模型陷入过度的自我纠偏或固守原有策略，从而在复杂场景中维持稳定且鲁棒的学习效果。

常用场景

经典使用场景

在语言智能体（Language Agent）的研究领域中，该数据集为复现《Agent Learning via Early Experience》一文的核心实验提供了标准化的监督微调（SFT）数据。它覆盖了ALFWorld、WebShop、BFCL、TravelPlanner、TextCraft、AppWorld、ScienceWorld和WebArena这八个具身与环境交互的智能体任务环境，每个环境均精心构建了专家轨迹（expert）、自我反思（reflection）及隐式世界模型（iwm）三类数据子集，是推动智能体从模仿学习迈向更高效自主学习的基石。

解决学术问题

该数据集旨在攻克语言智能体因“冷启动”（cold start）导致的样本效率低下与策略泛化能力薄弱的难题。通过引入隐式世界模型（IWM）与自我反思（SR）两种范式，数据显示，相较于纯模仿学习（IL），智能体在ALFWorld上的成功率从58.6%跃升至74.2%，在WebShop上提升了16.4个百分点。这些成果证实了早期经验能够显著增强智能体对复杂环境的理解与决策韧性，为强化学习与模仿学习之间的鸿沟架设了桥梁。

衍生相关工作

该数据集作为“早期经验”理论的载体，已催生出多项后续研究成果。例如，其提供的IWMSFT训练数据被广泛用于探索隐式世界模型如何在不显式建模环境动力学的前提下提升智能体规划效率；同时，自我反思轨迹也启发了多项关于智能体错误修正与元认知能力的研究。此外，该数据集在GitHub上的开源代码库已成为语言智能体领域复现基准与对比实验的重要参照，有力推动了该方向的可重复性研究。