Insight-UI Dataset|GUI理解数据集|模型预训练数据集

arXiv2024-12-12 更新2024-12-25 收录

GUI理解

模型预训练

下载链接：

http://arxiv.org/abs/2412.09362v1

下载链接

链接失效反馈

资源简介：

Insight-UI Dataset是一个用于增强模型对图形用户界面（GUI）环境理解的无指令导航数据集。该数据集从Common Crawl语料库中自动生成，涵盖了iOS、Android、Windows和Linux等多个平台，涉及312,000个域名，包含434,000个交互片段和1,456,000张图像。数据集通过模拟用户行为和页面渲染生成，无需人工标注或大型视觉语言模型。Insight-UI Dataset的应用领域主要集中在GUI代理模型的预训练，旨在提升模型在动态GUI环境中的操作能力，解决跨平台和跨设备的GUI交互问题。

提供机构：

中国科学院信息工程研究所

创建时间：

2024-12-12

AI搜集汇总

数据集介绍

构建方式

Insight-UI数据集的构建过程采用了自动化生成的方式，避免了人工标注的繁琐和高成本。数据集从Common Crawl语料库中下载原始数据，并通过浏览器API模拟用户操作，捕捉页面截图、可见节点信息以及交互过程。为了确保数据集的多样性和复杂性，涵盖了iOS、Android、Windows和Linux等多个平台的不同分辨率。最终，数据集包含来自312K个域的434K个交互片段，总计1,456K张图像。这种全自动生成的方式使得数据集能够轻松扩展到任何GUI场景，仅需屏幕捕捉和用户操作模拟权限。

使用方法

Insight-UI数据集的使用方法主要包括两个阶段：预训练和微调。在预训练阶段，模型通过数据集学习GUI环境的上下文知识，理解不同GUI元素之间的交互逻辑。这一阶段的目标是让模型具备对GUI环境的全面理解能力。在微调阶段，模型在特定的下游任务数据集（如AITW、AITZ等）上进行进一步优化，以提升其在具体任务中的表现。通过这种分阶段的训练方式，模型能够在理解GUI环境的基础上，更好地执行用户指令，从而实现高效的GUI交互。

背景与挑战

背景概述

Insight-UI Dataset是由中国科学院信息工程研究所、南开大学、清华大学等机构的研究团队于2024年提出的一个专注于图形用户界面（GUI）理解的自动化生成数据集。该数据集旨在通过模拟多种平台（如iOS、Android、Windows和Linux）上的用户交互行为，提升模型对GUI环境的理解能力。数据集的核心研究问题在于如何通过无指令的预训练，使模型能够独立理解GUI上下文，进而在下游任务中更好地执行用户指令。Insight-UI Dataset的提出为GUI代理的研究提供了新的范式，强调了GUI上下文理解的重要性，并在多个基准测试中验证了其有效性。

当前挑战

Insight-UI Dataset面临的挑战主要体现在两个方面。首先，在领域问题方面，GUI代理的核心任务是通过视觉输入理解动态的GUI环境，并预测用户的交互行为。然而，现有的数据集通常依赖于特定的用户指令，限制了模型在未见过场景中的泛化能力。其次，在数据构建过程中，自动化生成大规模、高质量的GUI交互数据面临技术难题，如如何确保交互行为的多样性和逻辑性，以及如何处理不同平台和分辨率下的GUI差异。此外，数据集的扩展性和成本效益也是构建过程中需要平衡的关键因素。

常用场景

经典使用场景

Insight-UI数据集广泛应用于图形用户界面（GUI）代理的预训练任务中，特别是在多平台（如iOS、Android、Windows和Linux）的GUI环境理解与导航任务中。通过模拟用户操作，该数据集能够帮助模型学习如何在不同的GUI场景中进行有效的交互，如点击、滚动和输入等操作。这种预训练方式使得模型能够在后续的指令跟随任务中表现出更强的泛化能力。

解决学术问题

Insight-UI数据集解决了GUI代理领域中的两个核心问题：GUI环境的理解与用户指令的跟随。传统方法通常将这两个问题耦合在一起，导致模型在未见过的新场景中表现不佳。通过将GUI环境的理解与指令跟随任务解耦，Insight-UI数据集使得模型能够独立学习GUI的操作逻辑，从而在后续的指令跟随任务中表现出更高的准确性和鲁棒性。这一创新为GUI代理的研究提供了新的范式。

实际应用

在实际应用中，Insight-UI数据集被广泛用于开发能够自动化操作移动设备和桌面应用的GUI代理。例如，在移动设备上，该数据集可以帮助模型学习如何自动完成应用安装、登录、搜索等任务；在桌面环境中，模型可以用于自动化网页浏览、表单填写等操作。这种自动化能力不仅提高了用户的工作效率，还为残障人士提供了更好的无障碍操作体验。

数据集最近研究

相关研究论文

1
Falcon-UI: Understanding GUI Before Following User Instructions中国科学院信息工程研究所 · 2024年

以上内容由AI搜集并总结生成

用户留言

有没有相关的论文或文献参考？

这个数据集是基于什么背景创建的？

数据集的作者是谁？

能帮我联系到这个数据集的作者吗？

这个数据集如何下载？

点击留言

数据主题

具身智能

数据集 4098个

机构 8个

大模型

数据集 439个

机构 10个

无人机

数据集 37个

机构 6个

指令微调

数据集 36个

机构 6个

蛋白质结构

数据集 50个

机构 8个

空间智能

数据集 21个

机构 5个

5,000+

优质数据集

54 个

任务类型

进入经典数据集

热门数据集

中国交通事故深度调查（CIDAS）数据集

交通事故深度调查数据通过采用科学系统方法现场调查中国道路上实际发生交通事故相关的道路环境、道路交通行为、车辆损坏、人员损伤信息，以探究碰撞事故中车损和人伤机理。目前已积累深度调查事故10000余例，单个案例信息包含人、车、路和环境多维信息组成的3000多个字段。该数据集可作为深入分析中国道路交通事故工况特征，探索事故预防和损伤防护措施的关键数据源，为制定汽车安全法规和标准、完善汽车测评试验规程、

北方大数据交易中心收录

URPC系列数据集, S-URPC2019, UDD

URPC系列数据集包括URPC2017至URPC2020DL，主要用于水下目标的检测和分类。S-URPC2019专注于水下环境的特定检测任务。UDD数据集信息未在README中详细描述。

github 收录

Beijing Traffic

The Beijing Traffic Dataset collects traffic speeds at 5-minute granularity for 3126 roadway segments in Beijing between 2022/05/12 and 2022/07/25.

Papers with Code 收录

OpenSonarDatasets

OpenSonarDatasets是一个致力于整合开放源代码声纳数据集的仓库，旨在为水下研究和开发提供便利。该仓库鼓励研究人员扩展当前的数据集集合，以增加开放源代码声纳数据集的可见性，并提供一个更容易查找和比较数据集的方式。

github 收录

FAOSTAT Agricultural Data

FAOSTAT Agricultural Data 是由联合国粮食及农业组织（FAO）提供的全球农业数据集。该数据集涵盖了农业生产、贸易、价格、土地利用、水资源、气候变化、人口统计等多个方面的详细信息。数据包括了全球各个国家和地区的农业统计数据，旨在为政策制定者、研究人员和公众提供全面的农业信息。