WebUI

WebUI数据集是由卡内基梅隆大学人机交互研究所创建的大型数据集，包含400,000个网页，每个网页都配有自动提取的元数据。数据集通过自动化的网络爬虫技术收集，旨在支持视觉用户界面（UI）建模。WebUI数据集不仅规模庞大，而且提供了丰富的语义和样式信息，适用于多种UI理解任务，如元素检测、屏幕分类和屏幕相似性分析。该数据集的创建过程高度自动化，能够持续更新，以适应不断变化的网页设计和交互模式。WebUI数据集的应用领域广泛，包括提升移动应用的自动化测试、增强应用的可访问性以及支持设计分析等。The WebUI Dataset is a large-scale dataset created by the Human-Computer Interaction Institute at Carnegie Mellon University, comprising 400,000 web pages each paired with automatically extracted metadata. Collected via automated web crawling techniques, this dataset is developed to support visual user interface (UI) modeling. Featuring not only a large scale but also rich semantic and stylistic information, the WebUI Dataset is applicable to a variety of UI understanding tasks, such as element detection, screen classification, and screen similarity analysis. The dataset's creation process is highly automated, allowing for continuous updates to adapt to the ever-changing web design and interaction modes. The WebUI Dataset has broad application scenarios, including enhancing automated testing of mobile applications, improving application accessibility, and supporting design analysis, among others.

搜集汇总

数据集介绍

构建方式

WebUI数据集的构建采用了自动化网络爬虫技术，通过爬取约400,000个渲染后的网页并自动提取元数据来构建。爬虫使用不同的模拟设备访问网页，从而获取丰富的视觉、语义和风格数据。数据集的构建过程高度自动化，使得数据集的规模比现有的公开数据集大一个数量级，并且可以更容易地进行更新。

特点

WebUI数据集的特点在于其规模庞大，包含约400,000个网页，每个网页都使用多个模拟设备进行访问。数据集包含了丰富的语义和风格信息，这些信息可以作为UI元素语义的注释。数据集的构建过程高度自动化，使得数据集的规模比现有的公开数据集大一个数量级，并且可以更容易地进行更新。

使用方法

WebUI数据集的使用方法包括三种主要的视觉UI建模任务：元素检测、屏幕分类和屏幕相似性。对于元素检测任务，使用归纳迁移学习技术，首先在WebUI数据集上进行预训练，然后在目标数据集上进行微调。对于屏幕分类任务，使用半监督学习技术，利用WebUI数据集进行自训练。对于屏幕相似性任务，使用无监督域适应技术，通过学习网页之间的相似性来提高模型的泛化能力。

背景与挑战

背景概述

用户界面(UI)的视觉建模是计算机视觉和交互设计领域的重要研究方向，它允许系统从视觉信息中推断出用户界面的功能和语义，从而支持无障碍性、应用自动化和测试等用例。现有的训练机器学习模型的数据集由于手动收集和标注UI的昂贵且耗时的过程而规模有限。WebUI数据集的创建旨在解决这一挑战。该数据集由40万个渲染的网页组成，每个网页都自动提取了元数据。通过分析WebUI的组成，研究人员发现尽管自动提取的数据存在噪声，但大多数示例都符合视觉UI建模的基本标准。为了提高移动领域中视觉UI理解模型的性能，研究人员应用了几种策略来整合网页中发现的语义信息，包括元素检测、屏幕分类和屏幕相似性。

当前挑战

WebUI数据集面临的挑战主要包括：1)所解决的领域问题的挑战，例如如何有效地利用网页中的语义信息来提高移动应用中的UI理解；2)构建过程中所遇到的挑战，例如如何自动化地收集和标注大量的网页数据，以及如何确保数据的质量。此外，WebUI数据集还面临着如何更好地整合网页中的语义信息，以及如何进一步提高数据集的质量和规模的挑战。

常用场景

经典使用场景

WebUI 数据集广泛应用于视觉用户界面(UI)建模领域，特别是在移动应用和网页设计方面。它通过提供大量自动收集的网页截图及其相关语义和样式信息，支持计算机视觉模型进行元素检测、屏幕分类和屏幕相似度判断等任务。该数据集特别适用于训练那些在移动应用中缺乏元数据的情况下，能够从视觉外观中可靠地理解用户界面的模型。

衍生相关工作

WebUI 数据集的发布和研究成果，促进了视觉 UI 建模领域的研究进展。它不仅为 UI 建模提供了丰富的数据支持，还推动了转移学习技术在 UI 理解任务中的应用。此外，WebUI 数据集还启发了一系列相关工作，例如基于网页语义的 UI 元素检测、屏幕分类和屏幕相似度判断等，为视觉 UI 建模领域的发展提供了新的思路和方法。

数据集最近研究

最新研究方向

WebUI数据集旨在通过结合网络语义来增强视觉用户界面(UI)的理解。该数据集的构建利用了网络爬虫技术，自动收集了40万个网页及其相关的视觉、语义和样式数据。与现有的UI数据集相比，WebUI的规模更大，更新更及时，并且包含了支持常见视觉UI理解任务的语义信息。WebUI数据集通过三种策略提高了视觉UI理解模型在移动领域的性能：(i)元素检测，(ii)屏幕分类，和(iii)屏幕相似度。这些策略利用了网页中发现的语义，并通过迁移学习技术将知识从网页迁移到移动领域，从而提高了模型在目标领域上的性能。WebUI数据集的发布为UI建模研究提供了丰富的资源，并为未来的研究开辟了新的方向。

相关研究论文

• WebUI: A Dataset for Enhancing Visual UI Understanding with Web Semantics

  卡内基梅隆大学人机交互研究所 · 2023年