trace2action-10k

Trace2Action 是一个大规模计算机使用数据集，专为训练和评估多模态智能体而设计。该智能体的核心能力是通过生成基于界面的具体操作和进行程序性推理来操作图形用户界面。数据集包含 10,954 个样本（训练集 8,599 个，测试集 2,355 个），总计约 3.7 GB。每个样本代表一个交互轨迹中的一个步骤，包含以下字段：唯一轨迹标识符（task_id）、应用程序平台名称（platform）、用自然语言描述的任务目标（instruction）、该步骤在轨迹中的时序索引（step_index）、当前界面的屏幕截图（image）、真实可执行的用户界面操作代码（code）以及 JSON 格式的操作描述（action）。操作空间定义了智能体可以执行的基本动作类型，包括点击（CLICK）、右击（RIGHT_CLICK）、双击（DOUBLE_CLICK）、拖拽至（DRAG_TO）、滚动（SCROLL）、按键（PRESS）、快捷键（HOTKEY）和输入文本（TYPE）。数据集覆盖了 24 种不同的开源桌面应用程序，训练集涵盖了包括 7-Zip、Blender、Chromium、IntelliJ IDEA、LibreOffice 套件等在内的 20 个平台，测试集则包含了 Gedit、LibreOffice Impress 等 4 个未见过的平台，用于评估模型的泛化能力。该数据集适用于 GUI 操作智能体、多模态任务规划、人机交互模仿学习等研究领域。

Trace2Action is a large-scale computer usage dataset designed for training and evaluating multimodal agents. The core capabilities of these agents involve generating grounded actions based on interfaces and performing procedural reasoning to operate graphical user interfaces (GUIs). The dataset contains 10,954 samples (8,599 for training and 2,355 for testing), totaling approximately 3.7 GB. Each sample represents a step in an interaction trajectory and includes the following fields: unique trajectory identifier (task_id), application platform name (platform), task goal described in natural language (instruction), temporal index of the step in the trajectory (step_index), screenshot of the current interface (image), executable user interface operation code (code), and operation description in JSON format (action). The action space defines basic action types that the agent can perform, including CLICK, RIGHT_CLICK, DOUBLE_CLICK, DRAG_TO, SCROLL, PRESS, HOTKEY, and TYPE. The dataset covers 24 different open-source desktop applications, with the training set including 20 platforms such as 7-Zip, Blender, Chromium, IntelliJ IDEA, and the LibreOffice suite, while the test set includes 4 unseen platforms like Gedit and LibreOffice Impress to evaluate model generalization. This dataset is suitable for research areas such as GUI operation agents, multimodal task planning, and human-computer interaction imitation learning.

原始信息汇总

Trace2Action-10k 数据集概述

基本信息

• 数据集名称：Trace2Action
• 发布者：dyfang
• 规模：约 10,000 个样本（训练集 8,599 / 测试集 2,355）
• 数据集大小：约 3.72 GB（下载大小约 4.10 GB）
• 标签：computer-use-agent

数据集结构

字段	类型	描述
task_id	string	唯一轨迹标识符
platform	class_label	应用平台名称（共 24 个类别）
instruction	string	自然语言任务目标
step_index	int32	轨迹内的时间步索引
image	Image	当前状态的截图
code	string	真实可执行的 UI 操作代码
action	string	JSON 格式的动作描述

动作空间

支持 8 种基础 GUI 动作：

• CLICK：点击，坐标范围 [0, 100]
• RIGHT_CLICK：右键点击
• DOUBLE_CLICK：双击
• DRAG_TO：拖拽到指定坐标
• SCROLL：滚动，指定滚动量（整数）
• PRESS：按下指定按键
• HOTKEY：组合快捷键
• TYPE：输入文本

应用场景划分

训练集（20 个应用）： 7-Zip、Affine、Atom、Anki、Bash、Blender、Chromium、Element、Eclipse、FreeCAD、GIMP、Inkscape、IntelliJ IDEA、LibreOffice Calc、LibreOffice Draw、LibreOffice Writer、Mastodon、Nextcloud、OnlyOffice Calendar、OnlyOffice Presentation

测试集（4 个应用）： Gedit、LibreOffice Impress、Matrix、OBS Studio

下载方式

python from datasets import load_dataset ds = load_dataset("dyfang/trace2action-10k")

数据用途

Trace2Action 是一个大规模计算机使用数据集，旨在训练和评估通过基础动作生成和过程推理来操作图形用户界面的多模态智能体。

搜集汇总

数据集介绍

构建方式

Trace2Action-10k数据集面向计算机使用代理的细粒度行为建模需求，采集自24款跨领域桌面应用的交互轨迹。每一条轨迹由任务标识、平台名称、自然语言指令以及时序步骤索引构成，在每个步骤中记录当前界面的截图、可执行的动作代码与结构化的JSON动作描述。动作空间涵盖点击、右键、双击、拖拽、滚动、按键、热键与文本输入等八类原子操作，确保对图形用户界面操作的全面覆盖。数据集按平台分为训练集（20个应用）和测试集（4个未见于训练的应用），以验证模型的跨应用泛化能力。

特点

该数据集的核心特色在于其多层次的结构化表征与丰富的应用多样性。每条样本同时提供截图图像、底层代码指令与高层语义动作描述，形成视觉、符号与结构化三重表征的协同，适用于多模态感知与程序化推理任务。训练与测试集的应用不重叠，从而严格评估模型在未见界面上的适应能力。动作空间设计遵循真实用户操作的原子性，支持细粒度行为学习。此外，数据规模达10,954条步骤样本，为大规模训练与评估提供了坚实的基础。

使用方法

用户可通过HuggingFace Datasets库直接加载该数据集，使用命令`load_dataset('dyfang/trace2action-10k')`一键获取训练与测试划分。数据集以默认配置提供，其中训练集包含8,599个样本，测试集包含2,355个样本。每条样本的字段包括任务ID、平台、指令、步骤索引、图像、代码与动作，适合用于构建多模态界面操作代理的监督学习、序列决策或行为克隆等训练范式。研究者在评估模型时，可利用测试集中未见过的平台检验其在真实世界中的零样本迁移能力。

背景与挑战

背景概述

Trace2Action-10k数据集由研究团队于近期创建，专注于解决图形用户界面（GUI）操作中的多模态代理能力问题。该数据集覆盖24种主流桌面应用程序（如Blender、IntelliJ IDEA和LibreOffice系列），包含10,954条轨迹样本，每条轨迹记录了从自然语言指令到具体UI操作的完整步骤，如点击、拖拽和快捷键输入。其核心研究问题在于弥合高层任务描述与低层可执行动作之间的鸿沟，推动代理在复杂软件环境中进行程序化推理。通过提供精细化的动作标注和截图序列，Trace2Action-10k为评估多模态大模型在真实GUI操作场景中的表现奠定了坚实基础，对智能助手、自动化测试和人机交互等领域具有重要影响。

当前挑战

该数据集面临的核心挑战首先体现在领域问题层面：现有代理模型难以处理跨应用程序的通用操作泛化，尤其是在未见过的应用（如OBS Studio和Matrix）中实现零样本迁移。此外，GUI操作的时空依赖性要求模型同时理解视觉布局和动作序列逻辑，而自然语言指令的模糊性进一步增加了任务复杂度。在构建过程中，挑战包括对23种不同应用程序的动作空间进行标准化标注，确保多种操作类型（如CLICK和DRAG_TO）的一致性和精确性，同时解决跨平台截图和动作坐标映射的差异性问题，这对数据收集和标注一致性提出了极高要求。

常用场景

经典使用场景

Trace2Action-10k数据集专为训练和评估基于视觉的图形用户界面（GUI）操作代理而设计。其经典使用场景在于，研究者可以利用该数据集构建能够通过截图理解界面状态、根据自然语言指令生成具体操作序列的多模态模型。数据集中包含了跨越二十余种不同应用平台的轨迹数据，每个步骤都配有对应的界面截图、操作代码和结构化动作描述，这使得它成为开发端到端GUI自动化代理的理想训练资源。通过在该数据集上进行监督学习，模型可以学会在诸如文件管理、图像编辑、编程开发等复杂桌面应用中执行点击、拖拽、滚轮和键盘输入等精细化操作。

实际应用

在实际应用中，基于Trace2Action-10k训练的模型可被部署为智能桌面助手或自动化测试工具。例如，企业可以利用这类模型实现办公软件（如LibreOffice套件、文件管理工具）的批量操作自动化，显著提升文档处理和数据录入的效率。在软件开发领域，它可以协助进行IDE（如IntelliJ IDEA、Eclipse）的功能测试和回归测试，通过模拟人工操作发现潜在缺陷。此外，这些技术还可应用于辅助残障人士操作复杂的计算机界面，通过语音指令驱动图形界面交互，降低数字鸿沟。在远程运维和云计算管理中，该数据集训练的代理能够自动执行系统配置、软件安装等重复性任务。

衍生相关工作

Trace2Action-10k数据集的出现已催生了一系列相关研究工作的涌现。一方面，研究者基于该数据集开发了不同架构的多模态GUI代理，例如融合视觉语言模型与行动解码器的端到端系统，以及结合自监督预训练和图神经网络的动作规划模块。另一方面，该数据集被用作基准测试，比较不同动作空间表示（如坐标点击、语义操作）对代理性能的影响。此外，衍生工作还包括探索从单一操作到复杂多步任务的组合泛化能力、引入强化学习进行在线优化，以及构建跨应用的任务迁移学习框架。这些工作共同推动了GUI自动化领域从简单脚本执行向智能化、通用化方向的演进。