Screen2Words

Screen2Words 是由人工注释的大规模屏幕摘要数据集。该数据集包含超过 112k 种语言摘要，跨越 22k 个独特的 UI 屏幕。该数据集可用于移动用户界面摘要，这是一项任务，其中模型生成移动屏幕的简洁语言描述，以传达屏幕的重要内容和功能。

Screen2Words is a large-scale screen summarization dataset manually annotated by humans. This dataset contains over 112k language summaries, spanning 22k unique UI screens. This dataset can be applied to mobile user interface summarization, a task where models generate concise natural language descriptions of mobile screens to convey the key content and functions of the screens.

搜集汇总

背景与挑战

背景概述

Screen2Words是一个大规模屏幕摘要数据集，包含超过112k种语言摘要和22k个独特的UI屏幕，专为移动用户界面摘要任务设计，旨在通过简洁语言描述传达屏幕内容和功能。该数据集由Google和多伦多大学于2021年发布，支持多模态学习，适用于自动UI摘要研究。