trace2action-10k-ground-cot

Trace2Action 10K是一个用于微调和评估直接通过动作操作图形用户界面（GUI）的多模态智能体的大规模计算机使用数据集。该数据集通过真实的桌面交互记录收集而成，包含同步的屏幕视频、点击活动和键盘事件，为研究计算机使用智能体提供了基于真实人类行为的直接动作监督机会。数据集包含13个结构化字段，如任务唯一标识符、应用程序平台名称、自然语言任务目标等，并支持8种动作类型，包括点击、右键点击、双击、拖拽、滚动、按键、热键和输入文本。数据规模方面，训练集有8599个样本，测试集有2355个样本，总数据量约2.86GB，涵盖多个应用程序平台。该数据集适用于训练和评估能够理解自然语言指令、观察屏幕状态并执行具体GUI操作的多模态智能体，在自动化办公、软件操作辅助等场景具有应用价值。Trace2Action 10K is a large-scale computer usage dataset for fine-tuning and evaluating multimodal agents that directly operate graphical user interfaces (GUIs) through actions. The dataset is collected from real desktop interaction recordings, including synchronized screen videos, click activities, and keyboard events, providing direct action supervision opportunities based on real human behavior for researching computer usage agents. It contains 13 structured fields, such as task unique identifier, application platform name, natural language task objective, etc., and supports 8 action types, including CLICK, RIGHT_CLICK, DOUBLE_CLICK, DRAG_TO, SCROLL, PRESS, HOTKEY, and TYPE. In terms of data scale, the training set includes 8599 samples, the test set includes 2355 samples, with a total data volume of approximately 2.86GB, covering multiple application platforms. The dataset is suitable for training and evaluating multimodal agents that can understand natural language instructions, observe screen states, and perform specific GUI operations, with application value in scenarios such as automated office work and software operation assistance.

原始信息汇总

数据集概述：Trace2Action 10K Dataset

Trace2Action 是一个大规模计算机操作数据集，用于微调和评估直接通过动作操作图形用户界面（GUI）的多模态代理。该数据集基于真实的桌面交互记录，同步录制了屏幕视频、点击活动和键盘事件，为研究基于真实人类行为的直接动作监督的计算机操作代理提供了机会。

数据集结构

数据集包含以下字段，每个字段对应一个轨迹（trajectory）中的单一步骤：

字段	类型	描述
task_id	string	唯一的轨迹标识符
platform	string	应用平台名称
instruction	string	自然语言的任务目标
step_index	int32	轨迹内的时间步索引
image	Image	当前状态对应的屏幕截图
code	string	可执行的地面真实UI动作代码
action	string	JSON格式的动作描述
groundcua	json	JSON格式的边界框列表
action_history	json	JSON格式的动作历史
observation	string	结构化状态解释
thought	string	中间推理过程
action_description	string	自然语言动作描述
reflection	string	回顾性程序反思

动作空间

动作以 JSON 格式定义，支持以下类型：

• {"type": "CLICK", "x": [0, 100], "y": [0, 100] }：单击
• {"type": "RIGHT_CLICK", "x": [0, 100], "y": [0, 100]}：右击
• {"type": "DOUBLE_CLICK", "x": [0, 100], "y": [0, 100]}：双击
• {"type": "DRAG_TO", "x": [0, 100], "y": [0, 100]}：拖动到指定位置
• {"type": "SCROLL", "amount": <int>}：滚动
• {"type": "PRESS", "key": "<str>"}：按键
• {"type": "HOTKEY", "keys": ["<str>", "<str>"]}：快捷键组合
• {"type": "TYPE", "text": "<str>"}：输入文本

数据集划分与规模

划分	样本数	字节数
训练集	8,599	2,270,463,289
测试集	2,355	590,129,663
总计	10,954	2,860,592,952

应用覆盖

数据集涵盖多个桌面应用程序，按用途分为训练集和测试集：

• 训练集（20个应用）：7-Zip、Affine、Atom、Anki、Bash、Blender、Chromium、Element、Eclipse、FreeCAD、GIMP、Inkscape、IntelliJ IDEA、LibreOffice Calc、LibreOffice Draw、LibreOffice Writer、Mastodon、Nextcloud、OnlyOffice Calendar、OnlyOffice Presentation。
• 测试集（4个应用）：Gedit、LibreOffice Impress、Matrix、OBS Studio。

加载方式

可使用 Hugging Face datasets 库加载：

python from datasets import load_dataset ds = load_dataset("dyfang/trace2action-10k-ground-cot")

搜集汇总

数据集介绍

构建方式

Trace2Action 10K数据集是一个大规模计算机操作数据集，专为微调与评估能够直接操作图形用户界面的多模态智能体而构建。其数据来源于真实的桌面交互记录，通过同步捕获屏幕视频、点击活动和键盘事件，捕捉人类操作计算机时的完整行为轨迹。每个样本均包含从任务指令到逐步操作动作的完整链条，并在此基础上通过精细标注生成了可执行的动作代码、结构化状态观察、中间推理过程以及事后反思等多元信息，为模拟人类操作逻辑提供了坚实的数据基础。

特点

该数据集最显著的特点在于其丰富的层次化标注结构。每条轨迹不仅包含任务ID、平台类型和自然语言指令，还细致记录了每个时间步的截图图像、多种格式的动作描述（包括精确坐标的点击、拖动、滚动及键盘操作）、历史动作序列以及基于视觉的边界框定位信息。更特别的是，数据集中融入了thinking与reflection字段，使得模型能够学习从观察到推理再到动作执行的完整认知过程，极大增强了智能体在复杂界面任务中的泛化与适应能力。

使用方法

用户可以通过HuggingFace的datasets库轻松加载该数据集，仅需一行代码即可获得训练集与测试集划分，其中训练集包含8599个样本，测试集包含2355个样本。数据集支持多种应用场景，如多模态智能体的行为克隆训练、基于思维链的决策推理、以及将视觉状态映射为结构化操作动作的端到端学习。开发者可根据自身任务需求，灵活选取不同字段组合进行模型训练或评估，从而在真实桌面环境中提升智能体执行多步骤任务的能力。

背景与挑战

背景概述

Trace2Action-10K-Ground-CoT数据集由研究者构建，旨在推动基于图形用户界面（GUI）的多模态智能体研究。该数据集于近期发布，核心研究问题是如何从真实人类操作历程中学习可执行的界面动作，以提升智能体在复杂桌面应用环境中的自动化能力。通过收集同步的屏幕视频、点击活动与键盘事件，数据集提供了超过10,000条精细化的交互轨迹，覆盖20种训练应用与4种测试应用。这一资源填补了现有数据集在真实动作监督与多步推理标注方面的空白，为计算机使用智能体的训练与评估奠定了重要基础，推动了人机交互与人工智能交叉领域的发展。

当前挑战

该数据集所解决的领域问题在于多模态智能体面临的动作空间稀疏性与推理链条不完整挑战。真实GUI环境中的操作涉及鼠标点击、键盘输入及拖拽等多种动作，现有数据集往往缺乏同步的细粒度动作标注，导致模型难以复现人类操作模式。构建过程中，研究者需应对跨平台应用交互时序的精确对齐、高分辨率屏幕截图的自动分割与编码，以及操作历史与中间推理过程的联合标注等困难。此外，从异构应用（如Blender、GIMP）中统一动作表示格式，并保持数据规模与质量的平衡，亦构成了数据集构建的核心技术挑战。

常用场景

经典使用场景

Trace2Action-10K-Ground-CoT数据集为多模态GUI智能体的训练与评估提供了大规模、高质量的真实人机交互轨迹。该数据集通过同步记录真实的桌面屏幕视频、点击活动与键盘事件，构建了包含指令、截图、动作序列及结构化推理链的完整交互样本。其经典用法在于作为监督学习的基准语料，直接以人类行为中的动作标签（如点击、拖拽、键盘输入）作为监督信号，驱动模型学习从视觉状态到可执行UI动作的映射关系，尤其适用于训练具备逐步推理与可解释性的图形用户界面操作智能体。

解决学术问题

该数据集核心回应了GUI自主操作领域中长期存在的两大难题：真实场景监督信号的稀缺性与动作细粒度的建模不足。既有数据集多依赖模拟环境或简化的网页交互，难以覆盖复杂桌面应用的多样操作模式。Trace2Action不仅提供了包含20种专业软件（如Blender、IntelliJ IDEA、LibreOffice系列）的大规模交互轨迹，更创新性地纳入了思维链（Chain-of-Thought）推理过程，包括观察、思考、动作描述与反思等结构化信息。这使得研究者可深入探索智能体在连续操作中的规划能力、错误恢复机制以及跨步骤上下文依赖，显著推动了大语言模型在具身智能与计算代理领域的学术进展。

衍生相关工作

基于该数据集，学界与工业界可衍生出多项关键研究。首先，利用其精细的 bounding box 标注（Field: groundcua）与动作空间定义，可推动面向像素级UI元素定位与动作预测的视觉-语言模型开发。其次，数据集内含的action_history与reflection字段为模拟人类操作中的自我纠正机制提供了天然训练素材，启发基于强化学习的策略优化工作。此外，研究者可借鉴其多步骤推理链结构，设计具备可解释性的决策树或大模型指令微调方法，进一步催生如SeeClick、CogAgent等第三代GUI智能体的性能评估基准与对比体系，促进自主计算机使用范式从学术探索迈向工程落地。