rootsautomation/RICO-ScreenQA

ScreenQA是一个大规模的问题-答案对数据集，基于移动应用截图。数据集包含screen_id、question、ground_truth（包含full_answer和ui_elements）、file_name和image等特征。数据集被分为train、validation和test三个部分，分别包含68980、8618和8427个示例。任务类别是问答，语言是英语。

ScreenQA is a large-scale question-answer pair dataset based on mobile application screenshots. The dataset includes features such as screen_id, question, ground_truth (containing full_answer and ui_elements), file_name, and image. It is divided into three subsets: train, validation, and test, which respectively contain 68980, 8618, and 8427 samples. The task category is question answering, and the language used is English.

原始信息汇总

数据集概述

基本信息

• 许可证: cc-by-4.0
• 数据集名称: ScreenQA
• 任务类别: 问答（question-answering）
• 语言: 英语（en）
• 大小类别: 10K<n<100K

数据集特征

• screen_id: 字符串（string）
• question: 字符串（string）
• ground_truth:
  • full_answer: 字符串（string）
  • ui_elements:
    • bounds: 序列（float64）
    • text: 字符串（string）
    • vh_index: 整数（int64）
• file_name: 字符串（string）
• image: 图像（image）

数据集划分

• 训练集（train）:
  • 示例数量: 68980
  • 数据大小: 8162486352.98字节
• 验证集（validation）:
  • 示例数量: 8618
  • 数据大小: 1057181449.778字节
• 测试集（test）:
  • 示例数量: 8427
  • 数据大小: 951399950.724字节

数据集大小

• 下载大小: 3324988803字节
• 数据集总大小: 10171067753.481998字节

配置文件

• 默认配置（default）:
  • 训练集路径: data/train-*
  • 验证集路径: data/validation-*
  • 测试集路径: data/test-*

搜集汇总

数据集介绍

构建方式

在移动应用界面理解领域，视觉问答任务对模型理解屏幕内容的能力提出了严峻挑战。RICO-ScreenQA数据集基于RICO屏幕数据集构建，通过众包方式为移动应用截图生成大规模问答对。具体而言，标注者被要求针对屏幕上的UI元素及其空间关系提出自然语言问题，并给出包含完整答案及关联UI元素边界框、文本和视觉层次索引的精准标注。数据集共包含约86,025个样本，划分为训练集（68,980例）、验证集（8,618例）和测试集（8,427例），确保了模型训练、调优与评估的完整流程。

特点

该数据集的核心特色在于其多模态与结构化标注的深度融合。每个样本不仅包含屏幕截图与自然语言问题，还提供了由full_answer、ui_elements构成的精细标注，其中ui_elements记录了每个相关元素的边界框坐标、文本内容及视觉层次索引，使得模型能够同时学习视觉定位与语义理解。此外，数据集覆盖了丰富的移动应用类型，问题设计涵盖元素识别、空间关系推理与功能描述等维度，为评估模型在真实移动界面场景下的问答能力提供了全面而严苛的基准。

使用方法

研究者可将RICO-ScreenQA直接用于视觉问答模型的训练与评估。使用时，通过HuggingFace数据集加载工具按split参数获取train、validation或test分割，每个样本包含image字段（PIL图像）、question字段（文本问题）及ground_truth字段（包含完整答案与UI元素列表）。推荐采用预训练的视觉-语言模型（如ViLT、LayoutLM等）作为基线，将屏幕截图与问题编码后，预测答案文本并定位相关UI元素，最终通过准确率与元素定位精度等指标衡量模型性能。

背景与挑战

背景概述

在移动端用户界面理解领域，如何从屏幕截图中自动解析视觉元素并回答相关问题，一直是人机交互与计算机视觉交叉研究的核心挑战。RICO-ScreenQA数据集由谷歌研究团队于2024年提出，主要研究人员包括Yu-Chung Hsiao、Fedir Zubach等人，旨在填补大规模移动屏幕问答数据的空白。该数据集基于RICO屏幕集合，构建了超过86000个高质量问答对，覆盖布局描述、元素定位与功能推断等复杂任务，为多模态推理与界面自动化测试提供了关键基准。其发布显著推动了屏幕语义理解的研究进展，成为评估视觉语言模型在移动界面领域表现的重要资源。

当前挑战

当前RICO-ScreenQA数据集面临的核心挑战在于领域问题的复杂性与构建过程的精细性。在领域层面，移动屏幕问答需同时处理视觉布局的多样性、文本元素的稀疏性以及用户意图的隐含性，例如区分相近元素的功能或回答涉及多步推理的问题，这对模型的细粒度感知与逻辑推理能力提出极高要求。在构建过程中，如何从海量屏幕截图中自动生成准确且语义丰富的问答对是一大难点，需要平衡人工标注的精确性与规模化扩展的效率，同时确保答案对UI元素的边界框、文本索引等结构化信息的严格匹配，避免引入噪声或歧义。

常用场景

经典使用场景

在移动界面理解与视觉问答的交叉领域中，RICO-ScreenQA数据集为研究者提供了一个极具价值的基准平台。该数据集以大规模移动应用截图为核心，通过构建精细的问答对，使得模型能够深入理解屏幕上的视觉元素及其语义关系。其经典应用场景在于训练和评估多模态模型，使其能够根据自然语言问题精准定位并回答关于屏幕内容的问题，例如识别按钮功能、查找文本信息或理解界面布局的逻辑。这一过程不仅考验了模型对视觉特征的提取能力，更检验了其将视觉信息与语言描述进行对齐的推理能力。

解决学术问题

该数据集直面了学术界在移动界面自动化理解中的关键难题，即如何弥合视觉感知与语言推理之间的鸿沟。传统方法往往依赖于固定的UI元素检测或简单的文本匹配，难以应对复杂多变的真实界面。RICO-ScreenQA通过提供涵盖广泛屏幕场景的问答数据，推动了从被动识别向主动推理的范式转变。它解决了模型在开放式问题下进行多粒度信息检索与逻辑组合的挑战，显著提升了跨模态理解的鲁棒性与泛化能力，为后续研究在界面无障碍访问、自动化测试与智能助手等领域奠定了坚实的理论基础。

衍生相关工作

围绕RICO-ScreenQA数据集，学术界已衍生出一系列富有影响力的研究工作。其中，基于视觉语言预训练模型的微调方法成为主流，研究者利用该数据集探索了对比学习与目标检测任务的融合策略，以增强对界面元素的细粒度感知。此外，有工作提出了层级化推理框架，将屏幕布局的树状结构融入问答过程，显著提高了复杂逻辑问题的回答准确率。另一些研究则侧重于数据增强与域适应技术，通过合成多样化的屏幕变体来提升模型在不同应用生态下的迁移能力，这些努力共同推动了移动界面理解领域的持续进步。