rootsautomation/RICO-SCA

这是一个部件描述（指代表达理解/生成）数据集，由Google Research和南京大学共同策划。数据集包含约170k个描述，覆盖70k个部件和18k个屏幕。数据集主要用于训练模型以理解屏幕、解释移动界面，并在自动化数字环境中进行操作。数据集的结构包括多个特征，如屏幕ID、图像、图标、语义图像、文件名、描述、边界框、应用包名、应用商店名称、类别、下载次数、评分次数、平均评分和语义注释等。数据集的创建目的是为了支持UI自动化，特别是为视觉障碍用户开发辅助技术。

This is a part description (referring expression understanding and generation) dataset jointly curated by Google Research and Nanjing University. The dataset contains approximately 170,000 descriptions, covering 70,000 parts and 18,000 screens. It is primarily designed for training models to understand mobile device screens, interpret mobile interfaces, and execute operations within automated digital environments. The dataset structure encompasses multiple features including screen ID, image, icon, semantic image, file name, description, bounding box, application package name, app store name, category, download count, rating count, average rating, and semantic annotation. The dataset was developed to support UI automation, particularly for building assistive technologies for visually impaired users.

原始信息汇总

数据集概述

数据集名称

• 名称: RICO SCA
• 别名: SeeClick cache

数据集描述

• 类型: 合成数据集
• 用途: 用于训练模型理解屏幕、解释移动界面及自动化数字环境中的行为
• 语言: 英语
• 许可: Apache-2.0

数据集特征

• 特征列表:
  • screenId: 整数类型，屏幕ID
  • bbox: 序列类型，浮点数，边界框
  • captions: 序列类型，字符串，标题
  • file_name: 字符串类型，文件名
  • view_hierarchy: 字符串类型，视图层次
  • file_name_semantic: 字符串类型，语义文件名
  • semantic_annotations: 字符串类型，语义注释
  • app_package_name: 字符串类型，应用包名
  • play_store_name: 字符串类型，Play商店名称
  • category: 字符串类型，应用类别
  • average_rating: 浮点数类型，平均评分
  • number_of_ratings: 字符串类型，评分数量
  • number_of_downloads: 字符串类型，下载数量
  • file_name_icon: 字符串类型，图标文件名
  • image: 图像类型
  • image_icon: 图像类型，应用图标
  • image_semantic: 图像类型，语义截图

数据集结构

• 分割:
  • train: 训练集，包含71350个样本，数据大小为17838159558.65字节

数据集大小

• 下载大小: 2142847271字节
• 数据集大小: 17838159558.65字节

任务类别

• 类别: 图像到文本

标签

• 标签: 合成, 屏幕

数据集创建

• 来源:
  • RICO: 移动应用截图，收集自Android设备
  • SCA: 由训练模型生成

引用信息

• RICO:

  • 作者: Deka, B. 等
  • 出版年份: 2017
  • 会议: 第30届ACM用户界面软件与技术研讨会
  • 标题: Rico: A mobile app dataset for building data-driven design applications

• RICO SCA:

  • 作者: Li, Y. 等
  • 出版年份: 2020
  • 会议: 第58届计算语言学年会
  • 标题: Mapping Natural Language Instructions to Mobile UI Action Sequences

• SeeClick:

  • 作者: Cheng, K. 等
  • 出版年份: 2024
  • 标题: SeeClick: Harnessing GUI Grounding for Advanced Visual GUI Agents

数据集维护者

• 作者: Hunter Heidenreich, Roots Automation
• 联系方式: hunter "DOT" heidenreich "AT" rootsautomation "DOT" com

搜集汇总

背景与挑战

背景概述

RICO-SCA是一个合成生成的移动界面数据集，包含约7.14万行数据，主要用于小部件标题生成任务，涉及图像和文本模态。该数据集旨在支持训练模型以理解屏幕内容、解释移动界面，并应用于自动化数字环境，例如辅助技术或UI自动化验证。