ivelin/ui_refexp

---
license: cc-by-4.0
task_categories:
- image-to-text
tags:
- ui-referring-expression
- ui-refexp
language:
- en
pretty_name: UI understanding
size_categories:
- 10K<n<100K
dataset_info:
features:
- name: screenshot
dtype: image
- name: prompt
dtype: string
- name: target_bounding_box
dtype: string
config_name: ui_refexp
splits:
- name: train
num_bytes: 562037265
num_examples: 15624
- name: validation
num_bytes: 60399225
num_examples: 471
- name: test
num_bytes: 69073969
num_examples: 565
download_size: 6515012176
dataset_size: 691510459
---

# Dataset Card for UIBert

## Dataset Description

- **Homepage:** https://github.com/google-research-datasets/uibert
- **Repository:** https://github.com/google-research-datasets/uibert
- **Paper:** https://arxiv.org/abs/2107.13731
- **Leaderboard:**
- UIBert: https://arxiv.org/abs/2107.13731
- Pix2Struct: https://arxiv.org/pdf/2210.03347

### Dataset Summary

This is a Hugging Face formatted dataset derived from the [Google UIBert dataset](https://github.com/google-research-datasets/uibert), which is in turn derived from the [RICO dataset](https://interactionmining.org/rico).

### Supported Tasks and Leaderboards

- UI Understanding
- UI Referring Expressions
- UI Action Automation

### Languages

- English

## Dataset Structure

- `screenshot`: blob of pixels.
- `prompt`: Prompt referring to a UI component with an optional action verb. For example "click on search button next to menu drawer."
- `target_bounding_box`: Bounding box of targeted UI components. `[xmin, ymin, xmax, ymax]`

### Data Splits

- train: 15K samples
- validation: 471 samples
- test: 565 samples

## Dataset Creation

### Curation Rationale

[More Information Needed]

### Source Data

#### Initial Data Collection and Normalization

[More Information Needed]

#### Who are the source language producers?

[More Information Needed]

### Annotations

#### Annotation process

[More Information Needed]

#### Who are the annotators?

[More Information Needed]

### Personal and Sensitive Information

[More Information Needed]

## Considerations for Using the Data

### Social Impact of Dataset

[More Information Needed]

### Discussion of Biases

[More Information Needed]

### Other Known Limitations

[More Information Needed]

## Additional Information

### Dataset Curators

[More Information Needed]

### Licensing Information

[More Information Needed]

### Citation Information

[More Information Needed]

### Contributions

[More Information Needed]

license: CC BY 4.0
任务类别：
- 图像到文本
标签：
- 面向UI的指代表达（ui-referring-expression）
- UI指代表达（ui-refexp）
语言：
- 英语
友好名称：UI理解
规模类别：1万 < 样本量 < 10万
数据集信息：
特征：
- 名称：截图（screenshot），数据类型：图像
- 名称：提示文本（prompt），数据类型：字符串
- 名称：目标边界框（target_bounding_box），数据类型：字符串
配置名称：ui_refexp
数据划分：
- 名称：训练集（train），字节数：562037265，样本数：15624
- 名称：验证集（validation），字节数：60399225，样本数：471
- 名称：测试集（test），字节数：69073969，样本数：565
下载大小：6515012176
数据集总大小：691510459

---

# UIBert 数据集卡片
## 数据集说明
- **主页**：https://github.com/google-research-datasets/uibert
- **代码仓库**：https://github.com/google-research-datasets/uibert
- **相关论文**：https://arxiv.org/abs/2107.13731
- **排行榜**：
- UIBert：https://arxiv.org/abs/2107.13731
- Pix2Struct：https://arxiv.org/pdf/2210.03347

### 数据集概述
本数据集为适配 Hugging Face 格式的数据集，源自[Google UIBert数据集（Google UIBert dataset）](https://github.com/google-research-datasets/uibert)，而该数据集本身则基于[RICO数据集（RICO dataset）](https://interactionmining.org/rico)构建。

### 支持任务与排行榜
- UI理解
- UI指代表达
- UI操作自动化

### 语言
- 英语

## 数据集结构
- `screenshot`：像素数据块，即截图图像。
- `prompt`：指向某一UI组件的提示文本，可附带动作动词。例如：“点击菜单抽屉旁的搜索按钮。”
- `target_bounding_box`：目标UI组件的边界框，格式为`[xmin, ymin, xmax, ymax]`。

### 数据划分
- 训练集：15624条样本
- 验证集：471条样本
- 测试集：565条样本

## 数据集创建
### 数据集构建依据
[需补充更多信息]

### 源数据
#### 初始数据收集与标准化处理
[需补充更多信息]

#### 源语言生成者是谁？
[需补充更多信息]

### 标注信息
#### 标注流程
[需补充更多信息]

#### 标注人员是谁？
[需补充更多信息]

### 个人与敏感信息
[需补充更多信息]

## 数据集使用注意事项
### 数据集的社会影响
[需补充更多信息]

### 偏差讨论
[需补充更多信息]

### 其他已知局限性
[需补充更多信息]

## 附加信息
### 数据集维护者
[需补充更多信息]

### 许可信息
[需补充更多信息]

### 引用信息
[需补充更多信息]

### 贡献信息
[需补充更多信息]

原始信息汇总

数据集概述

数据集名称

• Pretty Name: UI understanding

许可证

• License: cc-by-4.0

任务类别

• Task Categories: image-to-text

标签

• Tags:
  • ui-referring-expression
  • ui-refexp

语言

• Language: en

大小类别

• Size Categories: 10K<n<100K

数据集信息

• Features:
  • screenshot: image
  • prompt: string
  • target_bounding_box: string
• Config Name: ui_refexp
• Splits:
  • train: 15624 examples, 562037265 bytes
  • validation: 471 examples, 60399225 bytes
  • test: 565 examples, 69073969 bytes
• Download Size: 6515012176 bytes
• Dataset Size: 691510459 bytes

数据集结构

• screenshot: blob of pixels.
• prompt: Prompt referring to a UI component with an optional action verb.
• target_bounding_box: Bounding box of targeted UI components. [xmin, ymin, xmax, ymax]

数据分割

• train: 15K samples
• validation: 471 samples
• test: 565 samples

搜集汇总

数据集介绍

构建方式

该数据集源自Google发布的UIBert数据集，而UIBert又基于RICO数据集构建，专注于用户界面理解领域。数据集由屏幕截图、自然语言提示和对应的目标边界框组成，其中提示描述了UI组件及其可能伴随的操作动词。构建过程中，通过标注工具对RICO数据集中的UI屏幕截图进行精细化处理，生成指向特定UI组件的指代表达式，并记录其边界框坐标，最终形成结构化的三元组数据。

特点

数据集包含约1.6万个样本，划分为训练集（15,624个）、验证集（471个）和测试集（565个），规模适中且分布合理。每个样本由图像、文本提示和边界框三要素构成，支持多模态学习任务。提示语言为英文，内容涵盖从简单元素识别到复杂操作指令的多样化场景，边界框采用标准化的[xmin, ymin, xmax, ymax]格式，便于模型训练和评估。

使用方法

研究者可将其直接用于训练UI理解模型，如基于视觉-语言预训练的架构。使用时需加载图像和文本提示作为输入，以边界框作为监督信号进行回归或分类任务。数据集支持指代表达式解析、UI元素定位及动作自动化等下游任务，可通过HuggingFace的datasets库快速加载，并适配常见的深度学习框架进行模型开发与评测。

背景与挑战

背景概述

在图形用户界面（GUI）理解与自动化领域，如何使模型精准定位并操作界面中的特定元素，一直是人机交互与计算机视觉交叉研究中的核心难题。ivelin/ui_refexp数据集源自Google研究团队于2021年发布的UIBert项目，其构建基于RICO数据集，旨在推动界面指代表达（UI Referring Expression）任务的发展。该数据集由约1.6万张移动应用截图、对应的自然语言描述以及目标组件的边界框组成，为模型学习从语言指令到界面元素的空间映射提供了高质量训练资源。作为UIBert、Pix2Struct等代表性工作的重要基准，它深刻影响了UI理解与动作自动化领域的研究范式，成为评估多模态模型在真实界面场景中语义推理能力的关键标尺。

当前挑战

当前数据集面临的核心挑战集中于两大维度。在领域问题层面，界面指代表达任务要求模型同时理解自然语言的语义歧义与界面布局的视觉复杂性，例如同一组件可能被多种方式描述（如“搜索按钮”与“放大镜图标”），而不同屏幕尺寸与分辨率下的元素呈现差异进一步加剧了定位难度。在构建过程中，数据集的标注需要人工对每张截图中的目标组件进行精确边界框与语言描述的配对，这要求标注者具备对界面设计规范的深刻理解，且不同标注者之间的主观性可能导致描述风格与边界框精度的不一致。此外，数据规模相对有限（约1.6万样本），难以覆盖界面元素的全部变体与罕见交互模式，限制了模型在真实场景中的泛化能力。

常用场景

经典使用场景

在用户界面理解这一前沿领域，ivelin/ui_refexp数据集凭借其精细的指代表达标注，成为训练模型将自然语言指令与屏幕元素精准对齐的经典基准。该数据集包含超过1.5万张移动应用截图，每张截图均配有描述特定UI组件的自然语言提示及其对应的边界框坐标。研究者常将其用于训练多模态模型，使其能够理解诸如“点击菜单抽屉旁的搜索按钮”这类包含动作动词的复杂指代，从而在界面中准确定位目标元素。这一场景直接模拟了人类通过语言与图形用户界面交互的认知过程，为构建更智能的UI代理奠定了数据基础。

解决学术问题

该数据集的核心学术价值在于解决了UI指代表达理解这一长期困扰计算机视觉与自然语言处理交叉领域的关键问题。传统方法往往将屏幕元素识别与语言理解割裂处理，而ivelin/ui_refexp通过提供像素级截图与结构化描述的对齐数据，使得研究者能够探索视觉与文本语义的深度融合。它推动了多模态预训练模型在UI场景下的零样本泛化能力研究，并帮助量化评估模型在细粒度组件定位任务上的表现。其发布直接促进了UI自动化、无障碍交互等方向的理论突破，成为衡量视觉语言模型在移动界面理解能力上的重要标尺。

衍生相关工作

该数据集衍生了一系列里程碑式的经典工作，其中最著名的当属UIBert和Pix2Struct。UIBert首次提出将视觉语言预训练范式引入UI理解领域，利用ivelin/ui_refexp中的指代表达数据，在包含动作语义的跨模态对齐任务上取得了突破性进展。随后，Pix2Struct在此基础上进一步发展，提出了基于屏幕截图视觉表示的通用界面解析框架，在多个UI理解基准上刷新了纪录。这些工作不仅验证了数据集的有效性，还催生了诸如Screen2Words、WidgetCaptioning等更具挑战性的任务，形成了以指代表达为核心的UI理解研究生态，持续推动着智能人机交互技术的演进。