openuidataset

本项目旨在使用自动化GUI探索和TESTAR工具自动提取截图和描述小部件及其在截图上的位置和其他属性的JSON文件。这些数据将用于训练机器学习算法以从截图中识别小部件。

This project aims to utilize automated GUI exploration and the TESTAR tool to automatically extract screenshots and generate JSON files describing widgets, their positions on the screenshots, and other attributes. These data will be used to train machine learning algorithms to identify widgets from screenshots.

原始信息汇总

数据集概述

数据集目标

本项目旨在通过自动化GUI探索和TESTAR工具，自动提取屏幕截图和JSON文件，描述小部件及其在屏幕截图上的位置和其他属性。这些数据将用于训练机器学习算法，以从屏幕截图中识别小部件。

数据集上传说明

• 数据格式：数据集包含屏幕截图和对应的JSON文件。每个软件版本的文件夹应包含 <hash>.jpeg 和 <hash>.json 文件。

• 文件命名：文件名应为图像文件的哈希值，.JSON 文件名应与图像文件名相同，以关联图像数据。

• 文件夹结构：

  ./"operating system"/"software name"/"software version"/<hash>.jpeg ./"operating system"/"software name"/"software version"/<hash>.JSON

数据上传步骤

1. 克隆OpenUiData项目到本地环境。
2. 在仓库中创建新分支，作为拉取请求的基础。
3. 创建与运行软件匹配的文件夹路径。
4. 在该文件夹下复制Testar的输出截图文件夹内容，包括.jpeg和.hash文件。
5. 将新文件提交到新分支，并将更改推送到GitHub。
6. 创建新的拉取请求，命名格式为："New data: operating system/software name/software version"。
7. 等待拉取请求被批准或评论。

搜集汇总

数据集介绍

构建方式

openuidataset数据集的构建采用了自动化GUI探索与TESTAR工具，通过自动捕获屏幕截图并生成描述小部件位置及其他属性的JSON文件。该过程不仅涉及对虚拟机中Windows 10操作系统的配置，还包括对TESTAR工具的安装与最新版本的更新，从而确保数据集的时效性与准确性。

特点

该数据集的主要特点在于其自动化生成方式，确保了数据的一致性与多样性。数据集包含了截图及其对应的JSON描述文件，形成了对软件界面元素的高精度描述。此外，数据集的目录结构清晰，遵循特定的命名规则，有利于保持数据的完整性与可追溯性。

使用方法

使用openuidataset数据集，首先需在本地环境中克隆OpenUiData项目，并在其中创建新分支。接着，根据所测试软件在项目库中创建相应的目录路径，并将TESTAR工具生成的截图及JSON文件复制到该目录下。之后，将新文件提交到新分支并推送到GitHub，通过创建格式化的pull request等待审核。

背景与挑战

背景概述

openuidataset旨在利用自动化的GUI探索和TESTAR工具自动提取屏幕截图及描述小部件的JSON文件，包括小部件在屏幕上的位置和其他属性。该数据集的创建，是为了服务于机器学习算法的训练，使其能够从屏幕截图识别出小部件。该项目启动于近年来，由专注于用户界面自动化测试的研究团队负责开发，核心研究问题是提升机器学习算法在界面元素识别方面的准确性和效率。openuidataset的构建对自动化测试、界面识别以及机器学习等领域产生了重要影响，推动了相关技术的发展。

当前挑战

在构建openuidataset的过程中，研究人员面临了多方面的挑战。首先，确保TESTAR工具能够在不同的操作系统和软件版本中稳定运行，自动化提取屏幕截图和相关属性，是一大挑战。其次，数据集的构建过程中，如何保持数据的一致性和准确性，以及如何设计有效的文件夹结构和文件命名规则以方便数据的存储和检索，也是必须解决的问题。此外，数据集在解决界面元素识别问题的同时，还需面对如何提升数据标注质量、扩大数据覆盖范围以及确保数据隐私安全等挑战。

常用场景

经典使用场景

在自动化图形用户界面（GUI）测试领域，openuidataset数据集通过TESTAR工具的自动化GUI探索，提取屏幕截图及描述小部件位置与属性的JSON文件，被广泛用于机器学习算法的训练，以实现对屏幕截图中小部件的识别。

解决学术问题

openuidataset数据集解决了传统GUI测试中手动标注小部件位置及属性的低效问题，为机器学习算法提供大量标注数据，推动了自动化GUI识别与测试技术的发展，提高了软件质量保证的效率。

衍生相关工作

基于openuidataset数据集，研究者们已开展了众多相关工作，如开发更高效的GUI识别算法、构建端到端的自动化测试系统等，推动了软件工程领域的研究进展，并促进了相关技术的商业化应用。