ivelin/rico_sca_refexp_synthetic

该数据集是从Google Research在seq2act论文中提出的RICO SCA衍生而来，是一个为UI RefExp任务生成的合成数据集。数据集包含图像、图像ID和标签，标签包括提示和目标边界框的坐标。数据集分为训练集、验证集和测试集，分别包含不同数量的样本和字节大小。数据集的划分与UIBert RefExp数据集的划分一致，训练集中的图像不包含验证集或测试集中的图像。

原始信息汇总

数据集概述

基本信息

• 许可证: Apache 2.0
• 任务类别: 问答
• 语言: 英语
• 数据集名称: RICO SCA RefExp
• 数据集大小: 10K<n<100K

配置信息

• 配置名称: rico_sca_refexp

特征信息

• 图像: 数据类型为图像
• 图像ID: 数据类型为字符串
• 标签: 包含以下子特征
  • 提示: 数据类型为字符串
  • 目标边界框: 结构化数据，包含以下字段
    • xmin: 数据类型为float32
    • ymin: 数据类型为float32
    • xmax: 数据类型为float32
    • ymax: 数据类型为float32

数据集划分

• 训练集:
  • 字节数: 2605508469
  • 样本数: 24063
• 验证集:
  • 字节数: 21192787
  • 样本数: 160
• 测试集:
  • 字节数: 22057836
  • 样本数: 185

下载与数据集大小

• 下载大小: 6514703641
• 数据集大小: 2605508469

搜集汇总

数据集介绍

构建方式

该数据集源自Google Research在seq2act论文中提出的RICO SCA，专为UI引用表达理解任务而构建。通过合成数据生成技术，从原始RICO界面数据集派生而来，确保了大规模样本的自动生成。其划分策略与众包标注的UIBert RefExp数据集保持一致性，训练集、验证集和测试集分别与UIBert RefExp对应分片中的图像互斥或匹配，从而兼顾了数据规模与评估可靠性。

特点

数据集以图像和文本配对为核心，每张UI截图附带自然语言描述（prompt）及目标边界框（target_bounding_box），支持细粒度的界面元素定位。包含约24,063个训练样本、160个验证样本和185个测试样本，覆盖10K至100K规模范畴。采用Apache-2.0许可证开放，便于学术与工业研究中的复用与扩展。

使用方法

数据集以标准HuggingFace格式提供，可通过加载配置名'rico_sca_refexp'直接调用。图像与文本对适用于训练视觉语言模型执行引用表达任务。用户可使用内置的train、validation、test分片进行模型训练与评估，边界框坐标以归一化浮点数存储，便于与目标检测或区域识别架构集成。

背景与挑战

背景概述

移动界面理解是人工智能领域的重要研究方向，旨在通过自动化方式解析用户界面（UI）的语义与结构。在此背景下，ivelin/rico_sca_refexp_synthetic数据集由研究团队基于Google Research在seq2act论文中提出的RICO SCA数据集构建，创建时间可追溯至该合成数据生成技术的发布时期。该数据集聚焦于UI参考表达（RefExp）任务，即根据自然语言描述定位界面中的特定元素，核心研究问题在于利用合成数据弥补真实标注数据的稀缺性，推动界面理解模型在复杂移动应用场景中的泛化能力。通过提供超过24,000个训练样本，并与权威的UIBert RefExp数据集保持分割一致性，该数据集为多模态学习、人机交互及自动化测试等领域提供了关键基准，影响力逐步显现于相关学术研究与工业应用中。

当前挑战

当前数据集面临多重挑战。在领域问题层面，UI参考表达任务需应对界面元素布局的多样性与自然语言描述的歧义性，例如同一元素可能对应多种表述方式，而不同应用间的视觉风格差异加剧了模型泛化难度。构建过程中，合成数据虽能大规模生成，但引入的噪声与真实用户标注之间存在语义鸿沟，例如自动生成的边界框可能偏离实际交互区域，导致模型在真实场景中性能下降。此外，数据集仅覆盖英文描述，缺乏多语言支持，限制了其在国际化应用中的适用性。这些挑战要求后续研究在数据增强、跨域迁移及标注质量优化等方向进行突破，以提升数据集的实际效用与鲁棒性。

常用场景

经典使用场景

在移动用户界面（UI）理解与交互领域，ivelin/rico_sca_refexp_synthetic数据集被广泛用于训练和评估基于视觉与语言的多模态模型，特别是在指代表达理解（Referring Expression Comprehension, RefExp）任务中。该任务要求模型根据自然语言描述（如“点击右上角的搜索图标”）在UI截图中精准定位目标元素。数据集提供了超过2.4万张带有边界框标注的合成样本，覆盖了丰富多样的UI布局与交互组件，为模型学习从语言到视觉元素的映射提供了大规模、高质量的监督信号。其经典使用场景包括：作为基准数据集验证多模态预训练模型（如UIBert、Seq2Act）在UI定位任务上的性能，以及推动跨应用、跨平台的UI理解泛化能力研究。

解决学术问题

该数据集有效缓解了移动UI领域中标注数据稀缺且成本高昂的核心难题。传统的UI指代表达数据集依赖人工众包标注，不仅耗时费力，且难以覆盖长尾的UI组件和复杂布局。通过合成数据生成技术，ivelin/rico_sca_refexp_synthetic从RICO SCA结构化UI描述中自动构建指代表达与对应边界框，实现了大规模、低成本的数据扩充。这一方法为学术界提供了研究“合成数据与真实数据在UI理解任务中的迁移学习”的宝贵资源，使得探索数据增强策略、噪声鲁棒性训练以及零样本泛化成为可能。其意义在于推动了UI自动化测试、无障碍辅助技术以及智能交互系统等研究方向的数据基础设施建设，加速了从模型设计到实际部署的闭环验证。

衍生相关工作

该数据集衍生了一系列具有影响力的研究工作，推动了UI多模态理解领域的发展。最典型的代表是UIBert模型，其利用该数据集作为指代表达任务的训练与评估基准，首次将BERT架构迁移至UI领域，实现了对屏幕元素语义与空间关系的联合建模。此外，Seq2Act论文中提出的RICO SCA数据生成Pipeline成为后续合成UI数据集（如Screen2Words、VATEX-UI）的参考范式。后续工作如WidgetCaptioning、UI-Transformer等也基于该数据集验证了端到端UI理解与生成框架的有效性。这些衍生工作共同构建了从数据生成、模型预训练到任务微调的完整研究链条，为移动UI的自动化理解与交互提供了系统性的方法论支撑。