有没有相关的论文或文献参考？
这个数据集是基于什么背景创建的？
数据集的作者是谁？
能帮我联系到这个数据集的作者吗？
这个数据集如何下载？
AGUVIS COLLECTION|GUI代理数据集|自主导航数据集
收藏arXiv2024-12-06 更新2024-12-10 收录
下载链接：
http://arxiv.org/abs/2412.04454v1
下载链接
链接失效反馈资源简介：
AGUVIS COLLECTION是一个大规模的GUI代理训练数据集，由现有的GUI代理数据收集和增强而成。该数据集包含两个部分：用于基础训练的grounding split和用于规划与推理训练的planning & reasoning split。数据集的构建过程包括使用模板增强的grounding数据和通过视觉语言模型（VLM）增强的规划与推理轨迹。这些数据旨在训练能够跨平台操作的自主GUI代理，解决复杂数字环境中的导航和交互问题。
提供机构：
香港大学
创建时间：
2024-12-06
AI搜集汇总
数据集介绍
构建方式
AGUVIS COLLECTION数据集通过整合现有GUI代理数据，构建了一个大规模的GUI代理轨迹数据集。该数据集分为两个部分：用于GUI接地（grounding）的训练数据和用于规划与推理（planning & reasoning）的训练数据。在构建过程中，研究团队首先收集并统一了不同平台上的现有数据，并使用模板生成了大量的接地数据对，以训练模型将自然语言指令映射到图像观察中的坐标。此外，通过使用视觉语言模型（VLM）生成详细的推理和低级动作指令，进一步增强了规划与推理轨迹数据。
使用方法
AGUVIS COLLECTION数据集的使用方法分为两个阶段：首先是接地训练阶段，模型在这一阶段学习如何将自然语言指令映射到GUI界面中的视觉元素；其次是规划与推理训练阶段，模型在这一阶段学习如何通过推理和规划来执行多步骤任务。研究人员可以通过这两个阶段的数据集训练模型，使其具备在不同平台上执行复杂GUI任务的能力。最终，训练完成的模型可以在离线和在线环境中进行测试，验证其在实际应用中的表现。
背景与挑战
背景概述
AGUVIS COLLECTION是由香港大学和Salesforce Research合作开发的大规模图形用户界面（GUI）代理轨迹数据集。该数据集旨在支持自主GUI交互任务的研究，特别是在视觉环境中自动化GUI操作的复杂性和多样性方面。AGUVIS框架通过图像观察和自然语言指令的结合，解决了传统基于文本的GUI表示方法在泛化性、效率和可扩展性上的局限。该数据集的构建结合了多模态推理和视觉接地，采用两阶段训练流程，首先进行GUI接地训练，随后进行规划和推理训练。AGUVIS COLLECTION的发布旨在推动GUI代理领域的进一步研究，并为未来的研究提供开放的数据、模型和训练方法。
当前挑战
AGUVIS COLLECTION在构建过程中面临多重挑战。首先，自动化GUI任务的复杂性和多样性使得传统的基于文本的GUI表示方法难以泛化，尤其是在跨平台环境中。其次，构建大规模的GUI代理轨迹数据集需要处理不同平台间的异质性，确保数据的一致性和可扩展性。此外，视觉接地和推理能力的整合也是一个关键挑战，尤其是在不依赖外部闭源模型的前提下，如何实现高效的规划和推理。最后，数据集的构建还需要解决多模态数据的融合问题，确保模型能够在复杂的数字环境中自主导航和交互。
常用场景
经典使用场景
AGUVIS COLLECTION数据集的经典使用场景主要集中在图形用户界面（GUI）自动化任务中。该数据集通过提供大规模的GUI代理轨迹，支持跨平台的多模态推理和视觉定位，使得研究人员能够训练和评估基于视觉的自主GUI代理。这些代理能够在不同的数字环境中（如网页、桌面和移动设备）执行复杂的任务，而无需依赖外部闭源模型。
解决学术问题
AGUVIS COLLECTION数据集解决了现有GUI自动化方法中存在的泛化性、效率和可扩展性问题。传统方法依赖于文本表示的GUI，导致模型在不同环境中的泛化能力受限。AGUVIS通过引入纯视觉框架和统一的行动空间，显著提升了模型的跨平台适应性和推理能力，为GUI自动化领域的研究提供了新的方向。
实际应用
AGUVIS COLLECTION数据集在实际应用中具有广泛的前景，特别是在需要自动化处理GUI任务的场景中。例如，在电子商务网站上自动执行购物任务、在移动设备上管理个人财务应用、或在桌面环境中进行文件管理等。这些应用场景不仅提高了工作效率，还为开发更智能的AI系统奠定了基础。
数据集最近研究
最新研究方向
AGUVIS COLLECTION数据集的最新研究方向主要集中在构建和优化基于纯视觉的自主图形用户界面（GUI）代理框架。研究者们致力于通过图像观察和自然语言指令的结合，提升GUI代理在跨平台环境中的泛化能力、推理能力和交互效率。具体而言，研究重点包括通过视觉基础（grounding）和多模态推理来增强模型的跨平台适应性，同时通过统一的行动空间和插件系统简化训练过程，确保模型在复杂数字环境中的自主导航和交互能力。此外，研究还涉及构建大规模的GUI代理轨迹数据集，以支持多步任务的执行和复杂推理能力的训练。
相关研究论文
- 1Aguvis: Unified Pure Vision Agents for Autonomous GUI Interaction香港大学 · 2024年
以上内容由AI搜集并总结生成
数据主题
5,000+
优质数据集
54 个
任务类型
进入经典数据集
热门数据集
中国区域交通网络数据集
该数据集包含中国各区域的交通网络信息，包括道路、铁路、航空和水路等多种交通方式的网络结构和连接关系。数据集详细记录了各交通节点的位置、交通线路的类型、长度、容量以及相关的交通流量信息。
data.stats.gov.cn 收录
中国食物成分数据库
食物成分数据比较准确而详细地描述农作物、水产类、畜禽肉类等人类赖以生存的基本食物的品质和营养成分含量。它是一个重要的我国公共卫生数据和营养信息资源，是提供人类基本需求和基本社会保障的先决条件；也是一个国家制定相关法规标准、实施有关营养政策、开展食品贸易和进行营养健康教育的基础，兼具学术、经济、社会等多种价值。 本数据集收录了基于2002年食物成分表的1506条食物的31项营养成分（含胆固醇）数据，657条食物的18种氨基酸数据、441条食物的32种脂肪酸数据、130条食物的碘数据、114条食物的大豆异黄酮数据。
国家人口健康科学数据中心 收录
DroneVehicle 大规模无人机航拍车辆检测数据集
这个数据集是天津大学的研究团队在进行无人机航拍图像的车辆检测和计数研究过程中收集和标注的。研究团队于 2020 年发布，相关论文成果为「Drone-based RGB-Infrared Cross-Modality Vehicle Detection via Uncertainty-Aware Learning」。
超神经 收录
长江干流实时水位观测数据集（2024年）
该数据集为长江干流主要水文站实时水位观测数据集，包含了汉口、户口、九江、宜昌等16个水文站点的逐小时或逐日水位观测数据。 该数据集包含3个excel表格文件，长江干流站点.xls，逐日水位.xlsx，逐小时水位.xlsx。
国家地球系统科学数据中心 收录
典型分布式光伏出力预测数据集
光伏电站出力数据每5分钟从电站机房监控系统获取；气象实测数据从气象站获取，气象站建于电站30号箱变附近，每5分钟将采集的数据通过光纤传输到机房；数值天气预报数据利用中国电科院新能源气象应用机房的WRF业务系统（包括30TF计算刀片机、250TB并行存储）进行中尺度模式计算后输出预报产品，每日8点前通过反向隔离装置推送到电站内网预测系统。
国家基础学科公共科学数据中心 收录