Papt

Papt数据集是由莫纳什大学墨尔本分校的研究团队创建的，专注于Android手机和平板电脑之间的配对图形用户界面（GUI）数据。该数据集包含10,035对手机-平板电脑GUI页面，来源于5,593个独特的应用程序对。数据集的创建过程涉及自动配对和手动验证，确保数据质量。Papt数据集主要用于支持深度学习在自动化GUI开发中的应用，解决跨平台GUI设计和转换的问题，提高开发效率和用户体验。The PAPT dataset was created by a research team from Monash University’s Melbourne campus, focusing on paired graphical user interface (GUI) data between Android smartphones and tablets. This dataset encompasses 10,035 pairs of smartphone-tablet GUI pages, sourced from 5,593 unique application pairs. The dataset’s creation process involved automated pairing and manual validation to ensure data quality. The PAPT dataset is primarily used to support the application of deep learning in automated GUI development, addressing challenges in cross-platform GUI design and conversion, and improving development efficiency and user experience.

搜集汇总

数据集介绍

构建方式

Papt数据集的构建源于对Android手机与平板之间GUI对应关系的系统性采集。研究团队首先从Google Play爬取6,456个平板应用，并通过应用名称与开发者信息匹配对应的手机应用，最终获得5,593对有效的手机-平板应用对作为数据源。数据采集分为两个阶段：自动配对与人工验证。自动配对采用两种策略：其一，针对使用响应式布局的应用，通过动态调整设备分辨率模拟手机与平板环境，自动捕获GUI页面；其二，对于独立应用文件的应用，利用BERT模型对活动名称进行语义编码以匹配活动层级的对应关系，再通过比较UI组件的类型与属性实现页面级别的配对。配对后，由具备至少一年GUI开发经验的志愿者进行人工审核，剔除元数据不准确或配对不合理的样本，最终获得10,035对高质量的GUI页面对。

特点

Papt数据集作为首个手机-平板GUI配对数据集，具有显著的结构性特点。其数据来源覆盖22个应用类别，分布均衡，确保了多样性与泛化能力。每对数据包含四要素：手机与平板的GUI截图及对应的XML元数据，元数据以DOM树形式记录UI组件的层级、属性与边界框。数据集中的UI视图类型以TextView和ImageView为主导，反映了文本与图像在GUI中的核心地位。GUI对相似性分析显示，多数配对相似度集中在0.5至0.7之间，揭示了屏幕尺寸差异导致的内容不对等性——平板GUI常包含手机所无的额外UI元素。相较于现有数据集，Papt通过优化采集工具与人工审核，有效减少了元数据与截图之间的视觉不匹配问题，数据精度更高。

使用方法

Papt数据集的使用遵循结构化路径。用户可通过公开的GitHub仓库获取数据，所有配对按应用名称分文件夹存储，每个文件夹内包含手机与平板的截图及XML元数据文件，文件名格式为“设备_时间戳_活动名称.xml/.png”。数据集支持多种下游任务：在GUI转换任务中，可基于配对数据训练布局生成模型，实现手机到平板的自动界面适配；在GUI检索任务中，可利用配对信息构建查询-示例搜索框架，推荐与手机GUI最匹配的平板设计；在GUI推荐任务中，可依据历史配对模式为开发者提供跨平台设计建议。此外，研究团队开源了数据采集工具，允许研究者根据需求定制化采集新的GUI配对数据，扩展数据集的应用边界。

背景与挑战

背景概述

随着智能手机与平板电脑的普及，用户已习惯于在不同设备上完成多样化任务，同一款应用往往需要同时适配手机与平板两种平台。尽管同一应用在手机和平板上的图形用户界面（GUI）具有相似的功能与设计，当前开发者通常从零开始为平板构建兼容版本，导致开发成本居高不下，且浪费了既有的设计资源。为提升开发效率，研究者尝试引入深度学习技术实现GUI自动化开发，然而，现有公开的GUI数据集（如Rico、ReDraw、Clay）均仅包含单一手机平台的GUI页面，缺乏手机与平板之间的配对数据，严重制约了深度学习在该领域的应用。在此背景下，2023年，Monash大学的研究团队构建并发布了Papt数据集，这是首个面向Android手机与平板间GUI转换与检索的配对数据集，旨在填补跨设备GUI数据空白，为自动化GUI开发提供有效的基准支持。

当前挑战

Papt数据集所解决的领域问题在于，当前缺乏手机与平板间的配对GUI数据，导致跨平台GUI转换、检索与推荐等自动化任务难以开展，深度学习模型因缺乏高质量配对样本而无法有效训练。在构建过程中，研究者面临两大挑战：其一，由于手机与平板屏幕尺寸、设计风格及布局差异显著，自动对齐两种设备上GUI页面内容极为困难，同一平板页面可能对应多个手机页面，且UI组件的位置、大小、类型乃至内容均可能发生变化；其二，现有自动采集工具（如ADB）无法获取WebView及部分自定义第三方UI组件的元数据，且可能捕获被遮挡的UI信息，导致数据噪声与视觉不匹配问题，需依赖人工验证与清洗以确保数据质量。

常用场景

经典使用场景

Papt数据集的核心应用在于支持Android手机与平板之间的图形用户界面（GUI）转换与检索任务。在移动应用开发领域，手机与平板设备因屏幕尺寸与交互模式的差异，其GUI设计往往需要分别适配。该数据集提供了10,035对手机-平板GUI页面配对，涵盖5,593个应用对，覆盖22个应用类别，为跨平台GUI的自动转换、相似性检索及布局推荐提供了标准化基准。研究者可基于此数据集训练深度学习模型，实现从手机GUI到平板GUI的自动化映射，从而显著降低开发者手动适配不同设备的工作量。

衍生相关工作

Papt数据集的发布催生了一系列相关研究工作。在布局生成领域，研究者借鉴LayoutGAN、LayoutTransformer等模型，利用该数据集探索手机到平板的GUI布局转换任务，发现现有模型在跨设备场景下性能有限，从而指明了自动GUI开发的新方向。在GUI检索方面，基于该数据集的工作如WAE和GUIFetch等被扩展至跨设备场景，用于搜索与手机GUI最匹配的平板设计。此外，该数据集还推动了自动化GUI配对工具的开发，如论文中公开的调整分辨率采集器和相似性匹配采集器，为后续构建更大规模、更多设备类型的配对数据集奠定了技术基础。

数据集最近研究

最新研究方向

在移动应用开发领域，跨设备图形用户界面（GUI）的自动转换与检索已成为前沿研究热点，尤其聚焦于智能手机与平板电脑之间的界面适配问题。Papt数据集作为首个成对收集Android手机与平板GUI页面的基准资源，填补了现有数据集（如Rico、Clay）缺乏跨设备配对样本的空白。该数据集包含10,035对经过人工验证的高质量GUI页面，覆盖5,593个应用对，支持GUI布局生成、相似性检索及自适应推荐等任务。当前研究趋势正从单一设备UI建模转向多设备一致性设计，借助深度生成模型（如LayoutTransformer）和对比学习技术，探索如何基于手机GUI自动生成平板适配布局。Papt的发布不仅降低了开发者手动适配成本，更推动了自动化GUI开发工具在跨平台场景中的突破，对提升用户跨设备交互体验具有重要实践意义。

相关研究论文

• A Pairwise Dataset for GUI Conversion and Retrieval between Android Phones and Tablets

  蒙纳士大学 · 2023年