rootsautomation/RICO-SCA

这是一个部件描述（指代表达理解/生成）数据集，由Google Research和南京大学共同策划。数据集包含约170k个描述，覆盖70k个部件和18k个屏幕。数据集主要用于训练模型以理解屏幕、解释移动界面，并在自动化数字环境中进行操作。数据集的结构包括多个特征，如屏幕ID、图像、图标、语义图像、文件名、描述、边界框、应用包名、应用商店名称、类别、下载次数、评分次数、平均评分和语义注释等。数据集的创建目的是为了支持UI自动化，特别是为视觉障碍用户开发辅助技术。

原始信息汇总

数据集概述

数据集名称

• 名称: RICO SCA
• 别名: SeeClick cache

数据集描述

• 类型: 合成数据集
• 用途: 用于训练模型理解屏幕、解释移动界面及自动化数字环境中的行为
• 语言: 英语
• 许可: Apache-2.0

数据集特征

• 特征列表:
  • screenId: 整数类型，屏幕ID
  • bbox: 序列类型，浮点数，边界框
  • captions: 序列类型，字符串，标题
  • file_name: 字符串类型，文件名
  • view_hierarchy: 字符串类型，视图层次
  • file_name_semantic: 字符串类型，语义文件名
  • semantic_annotations: 字符串类型，语义注释
  • app_package_name: 字符串类型，应用包名
  • play_store_name: 字符串类型，Play商店名称
  • category: 字符串类型，应用类别
  • average_rating: 浮点数类型，平均评分
  • number_of_ratings: 字符串类型，评分数量
  • number_of_downloads: 字符串类型，下载数量
  • file_name_icon: 字符串类型，图标文件名
  • image: 图像类型
  • image_icon: 图像类型，应用图标
  • image_semantic: 图像类型，语义截图

数据集结构

• 分割:
  • train: 训练集，包含71350个样本，数据大小为17838159558.65字节

数据集大小

• 下载大小: 2142847271字节
• 数据集大小: 17838159558.65字节

任务类别

• 类别: 图像到文本

标签

• 标签: 合成, 屏幕

数据集创建

• 来源:
  • RICO: 移动应用截图，收集自Android设备
  • SCA: 由训练模型生成

引用信息

• RICO:

  • 作者: Deka, B. 等
  • 出版年份: 2017
  • 会议: 第30届ACM用户界面软件与技术研讨会
  • 标题: Rico: A mobile app dataset for building data-driven design applications

• RICO SCA:

  • 作者: Li, Y. 等
  • 出版年份: 2020
  • 会议: 第58届计算语言学年会
  • 标题: Mapping Natural Language Instructions to Mobile UI Action Sequences

• SeeClick:

  • 作者: Cheng, K. 等
  • 出版年份: 2024
  • 标题: SeeClick: Harnessing GUI Grounding for Advanced Visual GUI Agents

数据集维护者

• 作者: Hunter Heidenreich, Roots Automation
• 联系方式: hunter "DOT" heidenreich "AT" rootsautomation "DOT" com