UI-TARS

UI-TARS是由字节跳动和清华大学联合开发的一个大规模GUI截图数据集，旨在提升GUI代理模型的感知和交互能力。该数据集包含从网站、应用程序和操作系统中收集的截图，并提取了元数据如元素类型、边界框和文本内容。数据集涵盖了元素描述、密集标注、状态转换标注、问答和标记提示等任务，支持模型在多平台上的精确交互。通过大规模动作轨迹和6M GUI教程的爬取，UI-TARS能够进行系统2推理和迭代训练，显著提升了其在动态环境中的适应性和决策能力。该数据集的应用领域包括任务自动化、工作流优化和GUI交互的智能化。UI-TARS is a large-scale GUI screenshot dataset jointly developed by ByteDance and Tsinghua University, which is designed to improve the perception and interaction capabilities of GUI agent models. This dataset collects screenshots from websites, applications and operating systems, and extracts metadata including element types, bounding boxes and textual contents. It covers various tasks such as element description, dense annotation, state transition annotation, question answering and prompt tagging, enabling models to perform precise interactions across multiple platforms. By crawling large-scale action trajectories and 6M GUI tutorials, UI-TARS supports System 2 reasoning and iterative training, greatly enhancing its adaptability and decision-making capabilities in dynamic environments. The application scenarios of this dataset include task automation, workflow optimization and intelligent GUI interaction.

搜集汇总

数据集介绍

构建方式

UI-TARS数据集的构建基于大规模GUI截图和元数据的收集与标注。通过自动化爬取工具和人工辅助探索，研究人员从网站、应用程序和操作系统中提取了丰富的元数据，如元素类型、边界框和文本内容。数据集涵盖了多种任务，包括元素描述、密集标注、状态转换标注、问答和标记集提示。这些任务旨在提升模型对GUI元素的精确识别和理解能力，为后续的推理和交互提供坚实基础。

特点

UI-TARS数据集的特点在于其高信息密度和复杂布局的GUI截图，涵盖了多种平台（如移动设备、桌面和网页）的交互场景。数据集不仅包含静态截图，还捕捉了动态状态转换，使得模型能够理解用户操作后的界面变化。此外，数据集通过统一的动作空间标准化了跨平台的操作，确保了模型在不同环境下的通用性和适应性。

使用方法

UI-TARS数据集的使用方法主要包括模型训练和评估。研究人员可以通过该数据集训练端到端的GUI代理模型，使其能够直接从截图输入中感知界面元素并执行人类般的交互操作。评估时，模型在多个基准测试中进行测试，包括感知能力、定位能力和任务执行能力。通过迭代训练和在线反馈，模型能够不断优化其性能，适应复杂多变的GUI环境。

背景与挑战

背景概述

UI-TARS是由字节跳动和清华大学的研究团队于2025年提出的一个原生GUI代理模型，旨在通过纯视觉输入（如屏幕截图）实现类似人类的GUI交互。与依赖复杂商业模型（如GPT-4o）的现有代理框架不同，UI-TARS是一个端到端模型，能够在感知、定位和GUI任务执行等多个基准测试中取得领先性能。该模型通过大规模GUI截图数据集进行上下文感知理解，并结合统一的动作建模和系统2推理，实现了跨平台的高精度交互。UI-TARS的提出标志着GUI代理从模块化框架向原生模型的转变，推动了自动化任务执行和用户体验的进一步提升。

当前挑战

UI-TARS面临的挑战主要包括两个方面：首先，GUI领域本身的高信息密度和动态变化使得代理在感知和推理方面面临巨大挑战。代理不仅需要准确识别界面元素，还需理解其功能并执行精确的低级操作（如点击、拖动等）。其次，构建端到端代理模型所需的大规模、高质量数据稀缺，尤其是在跨平台、多任务场景下，如何有效整合感知、推理和动作数据成为关键难题。此外，UI-TARS在训练过程中还需解决数据瓶颈问题，通过自动收集和过滤交互轨迹来提升模型的泛化能力和鲁棒性。

常用场景

经典使用场景

UI-TARS数据集在自动化GUI交互领域具有广泛的应用，尤其是在需要模拟人类操作的场景中。该数据集通过捕捉屏幕截图作为输入，能够执行键盘和鼠标操作，适用于各种操作系统和应用程序的自动化任务。其经典使用场景包括自动化测试、任务自动化以及辅助用户完成复杂的多步骤操作。

解决学术问题

UI-TARS数据集解决了GUI代理模型在感知、推理和执行任务中的多个学术问题。首先，它通过大规模屏幕截图数据集增强了模型的感知能力，使其能够准确理解复杂的用户界面元素。其次，通过统一动作建模，UI-TARS能够在不同平台上标准化操作，解决了跨平台兼容性问题。此外，系统2推理的引入使得模型能够进行多步骤决策，解决了复杂任务分解和执行的难题。

衍生相关工作

UI-TARS数据集衍生了许多相关的研究工作，尤其是在自动化GUI代理领域。基于UI-TARS的研究成果，许多工作进一步优化了模型的感知和推理能力。例如，一些研究专注于增强模型的视觉理解能力，通过引入更多的视觉标记和上下文信息来提升模型的交互精度。此外，UI-TARS的迭代训练框架也被广泛应用于其他自动化代理模型中，推动了自动化代理在复杂任务中的表现提升。