AGUVIS COLLECTION

AGUVIS COLLECTION是一个大规模的GUI代理训练数据集，由现有的GUI代理数据收集和增强而成。该数据集包含两个部分：用于基础训练的grounding split和用于规划与推理训练的planning & reasoning split。数据集的构建过程包括使用模板增强的grounding数据和通过视觉语言模型（VLM）增强的规划与推理轨迹。这些数据旨在训练能够跨平台操作的自主GUI代理，解决复杂数字环境中的导航和交互问题。AGUVIS COLLECTION is a large-scale GUI agent training dataset constructed by collecting and augmenting existing GUI agent data. This dataset includes two subsets: the grounding split for foundational training, and the planning & reasoning split for training focused on planning and reasoning. The dataset construction process involves template-augmented grounding data and planning & reasoning trajectories enhanced via Visual Language Models (VLMs). This dataset is designed to train autonomous GUI agents that can operate across platforms, addressing navigation and interaction challenges in complex digital environments.

搜集汇总

数据集介绍

构建方式

AGUVIS COLLECTION数据集通过整合现有GUI代理数据，构建了一个大规模的GUI代理轨迹数据集。该数据集分为两个部分：用于GUI接地（grounding）的训练数据和用于规划与推理（planning & reasoning）的训练数据。在构建过程中，研究团队首先收集并统一了不同平台上的现有数据，并使用模板生成了大量的接地数据对，以训练模型将自然语言指令映射到图像观察中的坐标。此外，通过使用视觉语言模型（VLM）生成详细的推理和低级动作指令，进一步增强了规划与推理轨迹数据。

使用方法

AGUVIS COLLECTION数据集的使用方法分为两个阶段：首先是接地训练阶段，模型在这一阶段学习如何将自然语言指令映射到GUI界面中的视觉元素；其次是规划与推理训练阶段，模型在这一阶段学习如何通过推理和规划来执行多步骤任务。研究人员可以通过这两个阶段的数据集训练模型，使其具备在不同平台上执行复杂GUI任务的能力。最终，训练完成的模型可以在离线和在线环境中进行测试，验证其在实际应用中的表现。

背景与挑战

背景概述

AGUVIS COLLECTION是由香港大学和Salesforce Research合作开发的大规模图形用户界面（GUI）代理轨迹数据集。该数据集旨在支持自主GUI交互任务的研究，特别是在视觉环境中自动化GUI操作的复杂性和多样性方面。AGUVIS框架通过图像观察和自然语言指令的结合，解决了传统基于文本的GUI表示方法在泛化性、效率和可扩展性上的局限。该数据集的构建结合了多模态推理和视觉接地，采用两阶段训练流程，首先进行GUI接地训练，随后进行规划和推理训练。AGUVIS COLLECTION的发布旨在推动GUI代理领域的进一步研究，并为未来的研究提供开放的数据、模型和训练方法。

当前挑战

AGUVIS COLLECTION在构建过程中面临多重挑战。首先，自动化GUI任务的复杂性和多样性使得传统的基于文本的GUI表示方法难以泛化，尤其是在跨平台环境中。其次，构建大规模的GUI代理轨迹数据集需要处理不同平台间的异质性，确保数据的一致性和可扩展性。此外，视觉接地和推理能力的整合也是一个关键挑战，尤其是在不依赖外部闭源模型的前提下，如何实现高效的规划和推理。最后，数据集的构建还需要解决多模态数据的融合问题，确保模型能够在复杂的数字环境中自主导航和交互。

常用场景

经典使用场景

AGUVIS COLLECTION数据集的经典使用场景主要集中在图形用户界面（GUI）自动化任务中。该数据集通过提供大规模的GUI代理轨迹，支持跨平台的多模态推理和视觉定位，使得研究人员能够训练和评估基于视觉的自主GUI代理。这些代理能够在不同的数字环境中（如网页、桌面和移动设备）执行复杂的任务，而无需依赖外部闭源模型。

解决学术问题

AGUVIS COLLECTION数据集解决了现有GUI自动化方法中存在的泛化性、效率和可扩展性问题。传统方法依赖于文本表示的GUI，导致模型在不同环境中的泛化能力受限。AGUVIS通过引入纯视觉框架和统一的行动空间，显著提升了模型的跨平台适应性和推理能力，为GUI自动化领域的研究提供了新的方向。

实际应用

AGUVIS COLLECTION数据集在实际应用中具有广泛的前景，特别是在需要自动化处理GUI任务的场景中。例如，在电子商务网站上自动执行购物任务、在移动设备上管理个人财务应用、或在桌面环境中进行文件管理等。这些应用场景不仅提高了工作效率，还为开发更智能的AI系统奠定了基础。

数据集最近研究

最新研究方向

AGUVIS COLLECTION数据集的最新研究方向主要集中在构建和优化基于纯视觉的自主图形用户界面（GUI）代理框架。研究者们致力于通过图像观察和自然语言指令的结合，提升GUI代理在跨平台环境中的泛化能力、推理能力和交互效率。具体而言，研究重点包括通过视觉基础（grounding）和多模态推理来增强模型的跨平台适应性，同时通过统一的行动空间和插件系统简化训练过程，确保模型在复杂数字环境中的自主导航和交互能力。此外，研究还涉及构建大规模的GUI代理轨迹数据集，以支持多步任务的执行和复杂推理能力的训练。

相关研究论文

• Aguvis: Unified Pure Vision Agents for Autonomous GUI Interaction

  香港大学 · 2024年