MobileViews

MobileViews是一个大规模的移动用户界面（UI）数据集，旨在支持移动UI分析和移动代理的研究。该数据集的第一版——MobileViews-600K——包含超过60万个移动UI截图-视图层次结构（VH）对，从Google Play商店的大约2万个应用程序中收集。数据集由多个.tar.gz文件组成，每个文件包含截图-VH对和相应的CSV索引文件，这些文件将每个截图映射到其VH。此外，还有一个AppMetadata.csv文件，包含15,000个应用程序的详细信息。数据集适用于问答和图像到文本等任务。

MobileViews is a large-scale mobile user interface (UI) dataset designed to support mobile UI analysis and mobile agent research. Its first version, MobileViews-600K, contains over 600,000 pairs of mobile UI screenshots and their corresponding view hierarchy (VH) data, collected from approximately 20,000 applications on the Google Play Store. The dataset consists of multiple .tar.gz files, each containing screenshot-VH pairs and the corresponding CSV index file that maps each screenshot to its VH. Additionally, there is an AppMetadata.csv file that includes detailed information for 15,000 applications. This dataset is suitable for tasks such as question answering and image-to-text generation.

原始信息汇总

MobileViews: A Large-Scale Mobile GUI Dataset

概述

MobileViews 是一个大规模的移动用户界面（UI）分析和移动代理研究的数据集。其首个版本 MobileViews-600K 包含超过 600,000 个移动 UI 截图-视图层次结构（VH）对，从 Google Play 商店的约 20,000 个应用中收集。

数据集组成

数据集由多个 .tar.gz 文件组成，包含截图-VH 对及其对应的 CSV 索引文件，用于将每个截图映射到其 VH：

• MobileViews_0-291197.tar.gz 和 MobileViews_index_0-291197.csv：包含 ID 从 0 到 291197 的截图-VH 对。
• MobileViews_300000-522301.tar.gz 和 MobileViews_index_300000-522301.csv：包含 ID 从 300000 到 522301 的截图-VH 对。
• AppMetadata.csv：包含从 Google Play 商店获取的 15,000 个应用的元数据，获取时间为 2024年6月。

索引 CSV 文件列

每个索引 CSV 文件包含以下列，用于将每个截图映射到其对应的视图层次结构：

列名	描述
Image File	截图文件名（例如，0.jpg）
JSON File	视图层次结构文件名（例如，0.json）

AppMetadata.csv 列

AppMetadata.csv 文件包含每个应用的详细信息，列如下：

列名	描述
title	应用标题
installs	安装次数
minInstalls	最小安装次数
realInstalls	实际安装次数
score	应用评分
ratings	评分数量
reviews	评论数量
histogram	评分分布
price	应用价格
free	是否免费（True/False）
offersIAP	是否提供应用内购买（True/False）
inAppProductPrice	应用内产品价格
developer	开发者名称
developerId	开发者 ID
genre	应用类型
genreId	类型 ID
categories	应用类别
contentRating	内容评级（例如，Everyone, Teen）
adSupported	是否支持广告（True/False）
containsAds	是否包含广告（True/False）
released	应用发布日期
lastUpdatedOn	最新更新日期
appId	唯一应用标识符

使用方法

1. 克隆仓库： 使用 Git 和 Git LFS 克隆仓库，并确保大型文件（如 .tar.gz）从 Git LFS 正确拉取。

2. 下载并解压数据集文件： 使用以下命令解压 .tar.gz 文件： bash tar -xzvf MobileViews_0-291197.tar.gz tar -xzvf MobileViews_300000-522301.tar.gz

3. 使用 CSV 索引文件： 每个 .tar.gz 文件都有一个关联的 CSV 索引文件，用于将截图与其对应的视图层次结构文件（JSON）匹配。

引用

@misc{gao2024mobileviewslargescalemobilegui, title={MobileViews: A Large-Scale Mobile GUI Dataset}, author={Longxi Gao and Li Zhang and Shihe Wang and Shangguang Wang and Yuanchun Li and Mengwei Xu}, year={2024}, eprint={2409.14337}, archivePrefix={arXiv}, primaryClass={cs.HC}, url={https://arxiv.org/abs/2409.14337}, }

搜集汇总

数据集介绍

构建方式

MobileViews数据集的构建基于DroidBot工具，并对其进行了优化以支持大规模数据收集。该数据集从Google Play Store中超过20,000个应用程序中捕获了超过600,000个移动用户界面（UI）截图与视图层次结构（VH）对。通过DroidBot的内部逻辑和Android Accessibility Service，数据集不仅捕捉了丰富的交互细节，还保持了与DroidBot输出结构的一致性。数据集的构建过程确保了每个UI状态的唯一性，并通过图像哈希值进行全局去重。

特点

MobileViews数据集的核心特点在于其规模庞大且结构清晰。数据集包含600,000多个唯一的截图-VH对，涵盖了广泛的移动应用场景。每个截图与其对应的视图层次结构文件以.zip和.parquet格式存储，便于高效访问和处理。此外，数据集还提供了完整的应用交互轨迹，包括状态、动作和过渡信息，为研究移动UI分析和自动化任务提供了丰富的素材。数据集的组织结构清晰，分为截图-VH对和完整应用轨迹两个主要部分，便于用户按需使用。

使用方法

MobileViews数据集的使用方法灵活多样，用户可以通过Hugging Face的Python库或CLI工具进行下载。数据集以.zip和.parquet格式提供，用户可以根据需求选择下载特定文件或整个数据集。对于.zip文件，用户可以通过命令行工具验证文件完整性并解压使用；对于.parquet文件，用户可以使用Python脚本快速提取图像和视图层次结构数据。此外，数据集还提供了详细的元数据和索引文件，帮助用户快速定位所需数据。通过提供的脚本，用户可以轻松映射截图与状态，生成交互轨迹的CSV文件，便于进一步分析。

背景与挑战

背景概述

MobileViews数据集由Longxi Gao等人于2024年发布，旨在支持移动代理和移动用户界面（UI）分析的研究。该数据集的首个版本MobileViews-600K包含了超过60万对移动UI截图与视图层次结构（VH）的配对数据，这些数据来自Google Play商店中的2万多个应用程序。该数据集的构建基于DroidBot工具，并对其进行了优化，以支持大规模数据收集，同时保持了与DroidBot输出结构的一致性。MobileViews的发布为移动UI研究提供了丰富的资源，推动了移动应用交互设计和自动化测试领域的发展。

当前挑战

MobileViews数据集在解决移动UI分析问题时面临多重挑战。首先，移动UI的多样性和复杂性使得数据收集和标注变得极为困难，尤其是在确保视图层次结构的准确性和一致性方面。其次，数据集的构建过程中，如何高效处理和分析大规模截图与VH配对数据，同时避免数据冗余和重复，是一个技术难题。此外，移动应用的动态性和频繁更新也增加了数据采集的复杂性，如何在保证数据时效性的同时，确保数据的完整性和可用性，是数据集构建中的另一大挑战。

常用场景

经典使用场景

MobileViews数据集在移动用户界面（UI）分析领域具有广泛的应用。其核心用途在于为研究人员提供大规模的移动应用截图与视图层次结构（VH）对，支持从视觉到文本的多模态任务。通过结合截图和VH数据，研究者能够深入分析移动应用的UI设计模式，探索用户交互行为，并开发自动化工具以优化移动应用的可用性和可访问性。

衍生相关工作

MobileViews数据集已经催生了一系列相关研究工作。例如，基于该数据集的研究成果包括移动UI自动化测试工具的开发、多模态学习模型的训练以及用户行为分析算法的优化。这些工作不仅推动了移动UI领域的技术进步，还为未来的研究提供了丰富的参考和基础。

数据集最近研究

最新研究方向

近年来，随着移动应用的普及和用户界面（UI）复杂性的增加，MobileViews数据集在移动UI分析领域的研究中扮演了重要角色。该数据集通过提供超过60万张移动UI截图及其对应的视图层次结构（VH），为研究人员提供了丰富的资源，支持从视觉问答到任务规划等多种任务的研究。特别是在移动代理和自动化测试领域，MobileViews的扩展版本包含了超过2万个应用的完整交互轨迹，进一步推动了基于深度学习的UI理解与生成技术的发展。这一数据集不仅为学术界提供了标准化的基准，也为工业界在优化用户体验和提升应用性能方面提供了有力支持。