WebAgent/AutoGUI-v1

AutoGUI数据集是为开发和评估能够执行UI理解任务的GUI代理而创建的。数据集通过AutoGUI管道收集，该管道为大量UI元素生成功能注释。数据集包含训练和测试分割，训练分割包含625k样本，测试分割为避免数据泄露被压缩存储。每个样本包含图像、功能注释、用户指令、答案、边界框坐标、元素文本、元素角色、图像大小和设备类型等字段。数据集仅用于研究目的，禁止商业使用。

原始信息汇总

数据集概述

AutoGUI 数据集是为开发和评估能够执行UI理解任务的GUI代理而精心设计的。该数据集通过AutoGUI流水线收集，能够大规模生成UI元素的功能性注释。

数据集结构

数据分割

• 训练集：包含 625,000 个样本。

数据字段

每个样本要么是功能性定位任务，要么是标注任务。具体字段如下：

• image (PIL.Image): 任务的UI截图。注意图像分辨率各异。
• func (str): 任务中元素的功能性注释。
• instruction (str): 通过功能性随机任务模板生成的用户指令。
• answer (str): 对指令的正确响应。
• unnormalized_box (list[float]): 目标元素在图像坐标系中的边界框坐标（[左, 上, 右, 下]）。
• elem_text (str): 元素的显示文本或替代文本。
• elem_role (str): 元素的HTML标签。
• image_size (str): UI图像的实际尺寸。注意图像以超高分辨率渲染，对于device字段为web的任务，尺寸应缩小2倍，对于device字段为mobile的任务，尺寸应缩小3倍。
• device (str): 任务UI截图的视口类型。

免责声明

该数据集仅用于研究目的，旨在通过应用基础模型构建通用GUI代理。任何商业用途均不被允许。