HongxinLi/AutoGUI-v1|视觉语言模型数据集|GUI代理数据集

AutoGUI数据集用于开发和评估能够执行UI理解任务的GUI代理。该数据集通过AutoGUI管道生成，包含大量UI元素的功能注释。数据集包含625k个训练样本，测试集为避免数据泄露被压缩存储。每个样本包含图像、功能注释、用户指令、答案、未归一化的边界框坐标、元素文本、元素角色、图像大小和设备类型等信息。

The AutoGUI dataset is curated for developing and evaluating GUI agents that can conduct UI understanding tasks. This dataset is collected through the AutoGUI pipeline that generates functionality annotations at scale for abundant UI elements. The dataset contains 625k training samples, and the test split is compressed and stored to avoid data leakage. Each sample includes an image, functionality annotation, user instruction, answer, unnormalized bounding box coordinates, element text, element role, image size, and device type.

原始信息汇总

AutoGUI 数据集概述

数据集简介

AutoGUI 数据集是为开发和评估能够执行用户界面（UI）理解任务的图形用户界面（GUI）代理而设计的。该数据集通过 AutoGUI 管道生成大规模的功能性注释，涵盖了丰富的 UI 元素。

数据结构

数据分割

• 训练集: 包含 625,000 个样本。
• 测试集: 为避免数据泄露，测试集已被压缩并存储在指定位置。

数据字段

每个样本包含以下字段：

• image: 任务的 UI 截图，图像分辨率各异。
• func: 任务中元素的功能性注释。
• instruction: 由功能性注释生成的用户指令。
• answer: 对指令的正确响应。对于定位任务，答案是归一化后的点坐标（范围为 [0, 99]）；对于描述任务，答案是目标元素的功能性描述。
• unnormalized_box: 目标元素在图像坐标系中的边界框坐标（[左, 上, 右, 下]）。
• elem_text: 元素的显示文本或替代文本。
• elem_role: 元素的 HTML 标签。
• image_size: UI 图像的实际尺寸。图像渲染时采用超高分辨率，对于 device 字段为 web 的任务，图像尺寸应缩小 2 倍；对于 device 字段为 mobile 的任务，图像尺寸应缩小 3 倍。
• device: UI 截图的视口类型。

免责声明

该数据集仅用于研究目的，旨在通过基础模型的应用构建通用的 GUI 代理。任何商业用途均不被允许。