AGUVIS COLLECTION|GUI代理数据集|自主导航数据集

arXiv2024-12-06 更新2024-12-10 收录

GUI代理

自主导航

下载链接：

http://arxiv.org/abs/2412.04454v1

下载链接

链接失效反馈

资源简介：

AGUVIS COLLECTION是一个大规模的GUI代理训练数据集，由现有的GUI代理数据收集和增强而成。该数据集包含两个部分：用于基础训练的grounding split和用于规划与推理训练的planning & reasoning split。数据集的构建过程包括使用模板增强的grounding数据和通过视觉语言模型（VLM）增强的规划与推理轨迹。这些数据旨在训练能够跨平台操作的自主GUI代理，解决复杂数字环境中的导航和交互问题。

提供机构：

香港大学

创建时间：

2024-12-06

AI搜集汇总

数据集介绍

构建方式

AGUVIS COLLECTION数据集通过整合现有GUI代理数据，构建了一个大规模的GUI代理轨迹数据集。该数据集分为两个部分：用于GUI接地（grounding）的训练数据和用于规划与推理（planning & reasoning）的训练数据。在构建过程中，研究团队首先收集并统一了不同平台上的现有数据，并使用模板生成了大量的接地数据对，以训练模型将自然语言指令映射到图像观察中的坐标。此外，通过使用视觉语言模型（VLM）生成详细的推理和低级动作指令，进一步增强了规划与推理轨迹数据。

使用方法

AGUVIS COLLECTION数据集的使用方法分为两个阶段：首先是接地训练阶段，模型在这一阶段学习如何将自然语言指令映射到GUI界面中的视觉元素；其次是规划与推理训练阶段，模型在这一阶段学习如何通过推理和规划来执行多步骤任务。研究人员可以通过这两个阶段的数据集训练模型，使其具备在不同平台上执行复杂GUI任务的能力。最终，训练完成的模型可以在离线和在线环境中进行测试，验证其在实际应用中的表现。

背景与挑战

背景概述

AGUVIS COLLECTION是由香港大学和Salesforce Research合作开发的大规模图形用户界面（GUI）代理轨迹数据集。该数据集旨在支持自主GUI交互任务的研究，特别是在视觉环境中自动化GUI操作的复杂性和多样性方面。AGUVIS框架通过图像观察和自然语言指令的结合，解决了传统基于文本的GUI表示方法在泛化性、效率和可扩展性上的局限。该数据集的构建结合了多模态推理和视觉接地，采用两阶段训练流程，首先进行GUI接地训练，随后进行规划和推理训练。AGUVIS COLLECTION的发布旨在推动GUI代理领域的进一步研究，并为未来的研究提供开放的数据、模型和训练方法。

当前挑战

AGUVIS COLLECTION在构建过程中面临多重挑战。首先，自动化GUI任务的复杂性和多样性使得传统的基于文本的GUI表示方法难以泛化，尤其是在跨平台环境中。其次，构建大规模的GUI代理轨迹数据集需要处理不同平台间的异质性，确保数据的一致性和可扩展性。此外，视觉接地和推理能力的整合也是一个关键挑战，尤其是在不依赖外部闭源模型的前提下，如何实现高效的规划和推理。最后，数据集的构建还需要解决多模态数据的融合问题，确保模型能够在复杂的数字环境中自主导航和交互。

常用场景

经典使用场景

AGUVIS COLLECTION数据集的经典使用场景主要集中在图形用户界面（GUI）自动化任务中。该数据集通过提供大规模的GUI代理轨迹，支持跨平台的多模态推理和视觉定位，使得研究人员能够训练和评估基于视觉的自主GUI代理。这些代理能够在不同的数字环境中（如网页、桌面和移动设备）执行复杂的任务，而无需依赖外部闭源模型。

解决学术问题

AGUVIS COLLECTION数据集解决了现有GUI自动化方法中存在的泛化性、效率和可扩展性问题。传统方法依赖于文本表示的GUI，导致模型在不同环境中的泛化能力受限。AGUVIS通过引入纯视觉框架和统一的行动空间，显著提升了模型的跨平台适应性和推理能力，为GUI自动化领域的研究提供了新的方向。

实际应用

AGUVIS COLLECTION数据集在实际应用中具有广泛的前景，特别是在需要自动化处理GUI任务的场景中。例如，在电子商务网站上自动执行购物任务、在移动设备上管理个人财务应用、或在桌面环境中进行文件管理等。这些应用场景不仅提高了工作效率，还为开发更智能的AI系统奠定了基础。

数据集最近研究

相关研究论文

1
Aguvis: Unified Pure Vision Agents for Autonomous GUI Interaction香港大学 · 2024年

以上内容由AI搜集并总结生成

用户留言

有没有相关的论文或文献参考？

这个数据集是基于什么背景创建的？

数据集的作者是谁？

能帮我联系到这个数据集的作者吗？

这个数据集如何下载？

点击留言

数据主题

具身智能

数据集 4098个

机构 8个

大模型

数据集 439个

机构 10个

无人机

数据集 37个

机构 6个

指令微调

数据集 36个

机构 6个

蛋白质结构

数据集 50个

机构 8个

空间智能

数据集 21个

机构 5个

5,000+

优质数据集

54 个

任务类型

进入经典数据集

热门数据集

YOLO Drone Detection Dataset

为了促进无人机检测模型的开发和评估，我们引入了一个新颖且全面的数据集，专门为训练和测试无人机检测算法而设计。该数据集来源于Kaggle上的公开数据集，包含在各种环境和摄像机视角下捕获的多样化的带注释图像。数据集包括无人机实例以及其他常见对象，以实现强大的检测和分类。

github 收录

Materials Project

材料项目是一组标有不同属性的化合物。数据集链接： MP 2018.6.1（69,239 个材料） MP 2019.4.1（133,420 个材料）

OpenDataLab 收录

RAVDESS

情感语音和歌曲 (RAVDESS) 的Ryerson视听数据库包含7,356个文件 (总大小: 24.8 GB)。该数据库包含24位专业演员 (12位女性，12位男性)，以中性的北美口音发声两个词汇匹配的陈述。言语包括平静、快乐、悲伤、愤怒、恐惧、惊讶和厌恶的表情，歌曲则包含平静、快乐、悲伤、愤怒和恐惧的情绪。每个表达都是在两个情绪强度水平 (正常，强烈) 下产生的，另外还有一个中性表达。所有条件都有三种模态格式: 纯音频 (16位，48kHz .wav)，音频-视频 (720p H.264，AAC 48kHz，.mp4) 和仅视频 (无声音)。注意，Actor_18没有歌曲文件。

OpenDataLab 收录

Breast Cancer Dataset

该项目专注于清理和转换一个乳腺癌数据集，该数据集最初由卢布尔雅那大学医学中心肿瘤研究所获得。目标是通过应用各种数据转换技术（如分类、编码和二值化）来创建一个可以由数据科学团队用于未来分析的精炼数据集。

github 收录

中国区域环境数据库

该数据集包含中国各区域的环境数据，涵盖空气质量、水质、土壤污染等多个方面的指标。数据以时间序列的形式记录，便于进行长期的环境变化分析。