MobileViews

MobileViews是由北京邮电大学和清华大学人工智能产业研究院联合创建的大规模移动图形用户界面（GUI）数据集。该数据集包含超过60万张截图与视图层次结构（VH）对，来自超过2万款现代Android应用。数据集的创建过程利用了LLM增强的自动应用遍历工具，通过两个SoC集群提供的高保真移动环境进行数据收集，显著减少了人工干预。MobileViews旨在解决现有数据集在规模和多样性上的不足，为训练和增强移动屏幕助手提供高质量的数据支持，特别是在隐私保护和屏幕内容理解方面。

MobileViews is a large-scale mobile graphical user interface (GUI) dataset jointly created by Beijing University of Posts and Telecommunications and the Institute for Artificial Intelligence Industry Research of Tsinghua University. This dataset contains over 600,000 pairs of screenshots and view hierarchies (VH) sourced from more than 20,000 modern Android applications. The dataset construction process utilizes LLM-augmented automated application traversal tools, and collects data via high-fidelity mobile environments provided by two SoC clusters, which significantly reduces manual intervention. MobileViews aims to address the shortcomings of existing datasets in terms of scale and diversity, and provides high-quality data support for training and enhancing mobile screen assistants, especially in the aspects of privacy protection and screen content understanding.

搜集汇总

数据集介绍

构建方式

MobileViews数据集的构建采用了高度自动化的方法，通过利用大型语言模型（LLM）增强的自动应用遍历工具，最大限度地减少了人工干预。研究团队部署了两个SoC集群，提供了超过200个Android实例的高保真移动环境，以并行化应用交互。通过系统收集移动屏幕，历时81,600设备小时，构建了包含超过60万张截图-视图层次结构对的最大移动屏幕数据集，涵盖了超过20,000个现代Android应用。

使用方法

MobileViews数据集可用于训练和增强多模态大型语言模型（LLMs），以支持移动屏幕助手。研究团队通过在MobileViews和Rico数据集上训练最先进的LLMs，展示了数据集的有效性。评估结果表明，MobileViews在增强移动屏幕助手的能力方面具有显著优势。数据集的开放源代码性质使得研究人员和开发者可以自由访问和使用，进一步推动移动屏幕助手技术的发展。

背景与挑战

背景概述

MobileViews数据集由北京邮电大学和清华大学AI产业研究院的研究人员共同创建，旨在解决移动屏幕助手在处理大量私人信息时所需的设备上小型模型训练问题。该数据集通过利用大型语言模型（LLM）增强的自动应用遍历工具，最小化人工干预，收集了超过60万张截图和视图层次结构对，涵盖了超过2万款现代Android应用。MobileViews的创建不仅填补了现有数据集在规模和多样性上的不足，还显著提升了多模态大型语言模型在移动屏幕任务中的表现，推动了移动屏幕助手的发展。

当前挑战

MobileViews数据集在构建过程中面临多重挑战。首先，软件层面的挑战包括在众多移动应用中实现可扩展且高效的应用遍历，传统方法如简单屏幕导航规则和众包注释者收集的数据质量低且缺乏扩展性。其次，硬件层面的挑战涉及部署大量Android实例进行并行应用交互，同时确保高环境保真度，使用移动模拟器和物理设备农场存在兼容性问题和成本高昂的限制。此外，数据集在处理复杂UI状态和确保数据质量方面也面临显著挑战，需要通过LLM增强和人工干预相结合的方式来解决。

常用场景

经典使用场景

MobileViews数据集的经典使用场景主要集中在移动屏幕助手的开发与优化上。通过提供超过60万对截图与视图层次结构（VH）的配对，该数据集使研究人员能够训练和增强多模态大语言模型（LLMs），从而提升移动屏幕助手的性能。这些助手能够通过对话方式捕捉屏幕状态，并生成如摘要文本或提取答案等响应，特别适用于用户无法直接关注屏幕的场景，如驾驶时。

解决学术问题

MobileViews数据集解决了在移动屏幕助手领域缺乏大规模、多样化数据集的问题。传统的数据集如Rico规模较小，且数据多样性不足，难以支持复杂模型的训练。MobileViews通过提供大规模、高质量的移动屏幕数据，显著提升了多模态LLMs在移动屏幕任务中的表现，推动了该领域的学术研究进展。

实际应用

在实际应用中，MobileViews数据集被广泛用于开发和优化移动屏幕助手，这些助手能够帮助用户理解和管理移动设备上的屏幕内容。例如，在驾驶、视力障碍或忙碌时，用户可以通过语音指令获取屏幕内容的摘要或关键信息。此外，该数据集还支持开发隐私保护的本地模型，避免敏感信息上传至云端，增强了用户隐私保护。

数据集最近研究

最新研究方向

在移动用户界面（UI）领域，MobileViews数据集的最新研究方向主要集中在利用大规模、多样化的移动屏幕数据来训练和增强多模态大语言模型（LLMs）。这些模型旨在通过理解和响应用户请求，提升移动屏幕助手的性能。研究者们通过引入LLM增强的自动应用遍历工具，减少了人工干预，并利用两个SoC集群提供高保真移动环境，从而收集了超过600K的截图-视图层次结构对。这些研究不仅展示了MobileViews在增强移动屏幕助手方面的显著优势，还强调了其在保护用户隐私方面的潜力，推动了从云端模型向设备端模型的转变。

相关研究论文

• MobileViews: A Large-Scale Mobile GUI Dataset

  北京邮电大学, 清华大学人工智能产业研究院 · 2024年