AgentTrek Browser-use Trajectories

AgentTrek是一个成本效益高且可扩展的框架，通过引导重放与网络教程来合成高质量的代理轨迹。这些收集的轨迹显著提高了代理的性能。

AgentTrek is a cost-effective and scalable framework that synthesizes high-quality agent trajectories via guided replay and web tutorials. These collected trajectories significantly improve agent performance.

原始信息汇总

AgentTrek 数据集概述

数据集简介

AgentTrek 是一个高效且可扩展的框架，通过引导重放与网络教程，合成高质量的智能体轨迹。这些收集的轨迹显著提高了智能体的性能。

关键特性与贡献

• 可扩展的数据合成管道：高效且可扩展的管道，用于合成高质量的智能体轨迹。
• 全面的数据库：最大规模的浏览器使用智能体轨迹数据库，包含多模态基础和推理。
• 强大的浏览器使用智能体：完全自主的浏览器使用智能体，能够执行通用任务。

数据集规模与性能

• BrowserGym LeaderBoard：展示了AgentTrek-32b在多个任务上的表现，例如在WebArena任务上达到22.40分，WorkArena-L1任务上达到38.29分等。

使用说明

安装

1. 克隆仓库
2. 创建并激活conda环境
3. 安装PyTorch和依赖

数据准备

（具体步骤未在README中提供）

训练

（具体步骤未在README中提供）

模型检查点

• AgentTrek-7B: cooking🧑‍🍳
• AgentTrek-32B: model
• AgentTrek-72B: cooking🧑‍🍳

评估

• MiniWob++评估：配置评估设置，执行推断脚本。
• WebArena评估：配置评估设置，执行推断脚本。

数据集链接

搜集汇总

数据集介绍

构建方式

AgentTrek数据集通过引导重放与网络教程相结合的方式，构建了一种成本效益高且可扩展的框架，用以合成高质量的智能体轨迹。该数据集的构建充分利用了网络教程中的指导信息，通过智能体的自主交互，实现了大规模高质量轨迹的自动合成。

特点

AgentTrek数据集具有以下显著特点：其一是构建了一个可扩展的数据合成管道，能够高效地合成高质量智能体轨迹；其二是收集了迄今为止规模最大的浏览器使用智能体轨迹数据集，包含了多模态的接地与推理信息；其三是开发了一种能够执行通用任务的完全自主浏览器使用智能体。

使用方法

使用AgentTrek数据集首先需要通过克隆仓库来安装环境，然后创建并激活conda环境，安装PyTorch及相关依赖。数据准备、训练和模型检查点的环节则需要根据具体任务进行调整配置。评估阶段，用户需要配置评估设置，包括API密钥、实验结果存储路径以及相关平台的URL，之后通过脚本启动推断过程。

背景与挑战

背景概述

AgentTrek数据集，创建于近年，源自一项旨在通过引导重放与网络教程相结合来合成高质量智能体轨迹的研究工作。该数据集由研究人员团队开发，以实现成本效益和可扩展性的数据合成管道为核心目标，致力于提升智能体在浏览器使用任务中的性能表现。AgentTrek数据集是迄今为止规模最大的浏览器使用智能体轨迹数据集，它包含了多模态基础和推理信息，为相关领域的研究提供了宝贵的资源，并在智能体研究领域产生了显著影响。

当前挑战

AgentTrek数据集在构建过程中面临的挑战主要包括：如何高效合成高质量的智能体轨迹数据，确保数据合成的可扩展性；以及如何构建一个全面且具有多模态推理能力的智能体。此外，在研究领域内，AgentTrek所解决的浏览器使用智能体性能提升问题，面临的挑战包括智能体在复杂网络环境中的适应性和交互任务的多样性。

常用场景

经典使用场景

AgentTrek数据集作为一项高效且可扩展的框架，其主要经典使用场景在于合成高质量智能体轨迹，通过引导重放与网络教程相结合的方式，显著提升了智能体在浏览器使用任务中的性能表现。

衍生相关工作

基于AgentTrek数据集，研究者们衍生出了一系列相关工作，包括但不限于智能体性能评估、多模态接地与推理、以及大规模智能体轨迹数据集的构建等，这些研究进一步拓宽了智能体技术在多个领域的应用范围。

数据集最近研究

最新研究方向

AgentTrek数据集近期研究方向聚焦于合成高质量智能体轨迹的成本效益和可扩展框架。通过引导重放与网络教程相结合，该数据集显著提升了智能体性能，特别是在浏览器使用场景下。当前研究正致力于开发能够执行通用任务的完全自主浏览器使用智能体，并在BrowserGym LeaderBoard中展示了其卓越性能。这一研究方向的成果不仅丰富了多模态地面和推理的智能体轨迹数据集，也为智能体在真实世界在线场景中的应用提供了强有力的支持。