jacob-valdez/synthux-economy-r2-w003

SynthUX计算机使用数据集（经济模拟r2）是一个由SynthUX生成的基于视觉的计算机使用轨迹数据集，专注于经济模拟场景。每个记录代表一个工人在模拟公司内的设备会话：目标扩展为节点树，终端节点通过低级鼠标/键盘输入驱动真实的桌面模拟器应用（包括终端、笔记、VS Code、浏览器、Slack/Teams、邮件、Sheets、Slides等），观察轨迹被记录为屏幕视频和每个节点的帧。数据集支持应用原生的多应用程序执行（无工作台覆盖）、每个参与者的内容多样性、跨操作系统消息传递以及大型多公司经济模拟。每个经济模拟作为独立的数据集仓库发布。内容包括data.jsonl（每个渲染轨迹一个记录）、screenshots文件夹（每个终端节点的帧，在节点最后一个输入事件时捕获）和videos文件夹（完整屏幕录制）。记录模式包括轨迹ID、参与者信息、环境、自然语言目标、节点树、输入事件、观察结果、对齐信息以及媒体引用。统计信息显示本构建包含36个轨迹、1146帧、6个公司，环境分布为browser-os（12）、macos-web-next（15）和windows-web-next（9）。数据来源为SynthUX生成，观察结果是因果性的（突变通道为低级输入），捕获过程中未使用高级应用程序突变。The SynthUX Computer-Use Dataset — economy sim r2 is a grounded visual computer-use trajectories dataset generated by SynthUX, focusing on economy simulations. Each record represents one workers device session inside a simulated company: a goal expands into a node tree, terminal nodes drive real desktop-simulator apps (such as Terminal, Notes, VS Code, Browser, Slack/Teams, Mail, Sheets, Slides, etc.) through low-level mouse/keyboard input, and the observed trajectory is recorded as a screen video plus per-node frames. It features app-native multi-application execution (no workbench overlay), per-actor content diversity, cross-OS messaging, and large multi-company economies. Each economy simulation is published as its own dataset repo. Contents include data.jsonl (one record per rendered trajectory), screenshots folder (a frame per terminal node taken at that nodes last input event), and videos folder (the full screen recording). The record schema covers trajectory_id, actor details, environment, natural-language goal, tree nodes, input events, observations, alignment, and media references. Stats for this build include 36 trajectories, 1146 frames, 6 companies, with environment distribution: browser-os (12), macos-web-next (15), windows-web-next (9). Provenance indicates generation with SynthUX, where observations are causal (mutation channel = low_level_input) without high-level app mutation during capture.

搜集汇总

数据集介绍

构建方式

该数据集来源于SynthUX系统，专注于计算机使用场景中的图形化桌面代理行为模拟。构建方式基于模拟公司内部员工的工作会话：每个自然语言目标被逐层分解为节点树，终端节点通过低层级的鼠标与键盘指令驱动真实桌面模拟器应用（如终端、记事本、VS Code、浏览器、Slack/Teams、邮件、表格处理及幻灯片等），完整记录观察到的操作轨迹，并以屏幕视频与逐节点帧图像的形式存储。每个经济模拟场景独立发布为一个数据集仓库，确保数据组织的模块化与可追溯性。

特点

该数据集的核心特点在于其原生的多应用执行环境，无工作台覆盖层干扰，保证了视觉观察的真实性。每个参与者拥有独立内容多样性，支持跨操作系统消息传递，并涵盖大规模多公司经济体模拟。本版本包含36条操作轨迹、1146帧图像及6家模拟公司，覆盖macOS、Windows及浏览器三种桌面环境。观测过程遵循因果性原则，仅通过低层级输入通道进行突变，不采用高层应用层面的直接干预，确保了数据的生态效度。

使用方法

使用该数据集时，可直接加载`data.jsonl`文件读取每条轨迹的完整元数据，包括参与者身份、公司归属、目标描述及节点树结构。通过`screenshots`目录按轨迹ID获取每终端节点的PNG帧图像，用于视觉特征分析；`videos`目录提供全屏录制视频，可用于时序行为建模。轨迹中的`input_events`字段记录了带时间戳的密集低层鼠标与键盘事件，`alignment`字段建立了观测状态与输入事件至节点ID的映射关系，便于进行细粒度的动作定位与行为解析。

背景与挑战

背景概述

SynthUX-Economy-R2-W003数据集于近年由SynthUX团队构建，专注于图形用户界面（GUI）代理的视觉计算机使用轨迹生成。该数据集模拟了多公司经济环境中的设备会话，每个记录包含一个工作者在模拟公司内的完整操作轨迹，涵盖终端、记事本、代码编辑器、浏览器、即时通讯、邮件及办公套件等多应用场景。通过将自然语言目标分解为节点树，并驱动底层鼠标/键盘操作，数据集记录了丰富的屏幕视频与逐帧截图。其核心研究问题在于推动GUI代理在复杂、多应用、跨平台环境中的自主交互能力，为计算机使用领域的智能体研究提供了高保真、多角色、多组织的合成数据基础，对自动化办公与经济模拟等研究方向具有显著影响力。

当前挑战

该数据集面临的挑战主要体现在两个方面：首先，在所解决的领域问题层面，GUI代理面临的核心挑战是如何在高度动态、多窗口、跨操作系统的真实桌面环境中，实现从自然语言目标到精确底层操作的可靠映射，避免因界面变化、应用状态耦合或操作序列错误导致的失败，同时需保证跨应用的数据一致性与任务连贯性。其次，在构建过程中，挑战在于如何通过纯底层输入（鼠标/键盘事件）驱动模拟器，并确保观测状态的因果一致性，避免使用高级应用接口导致的抽象偏差；此外，多公司经济场景下的角色多样性、内容生成的可扩展性以及轨迹数据的标准化标注，也构成了数据生成与质量控制的难点。

常用场景

经典使用场景

在人工智能与图形用户界面（GUI）智能体研究的交汇处，SynthUX Economy R2 W003数据集提供了极具价值的细粒度轨迹数据。该数据集适用于训练与评估能够在跨应用程序环境中执行多步操作的计算机关怀智能体。每个样本记录了一名模拟工作者在虚拟公司生态中的完整操作序列，包括通过终端、浏览器、邮件、即时通讯、代码编辑器和办公套件等真实桌面应用进行的鼠标与键盘交互。研究者可利用其密集的低层级输入事件、因果状态快照及视频录像，构建能够感知界面状态、理解自然语言目标并执行精准操作的智能体模型。由于其特有的多公司、多角色结构，该数据集在高保真度的模拟环境中实现了高度多样化的企业任务场景，是开展GUI智能体行为学习、策略迁移和界面理解研究的理想数据来源。

解决学术问题

长期以来，学术界在构建能够自主操作真实桌面应用程序的GUI智能体方面面临两大挑战：一是缺乏覆盖完整商业流程且具有低层级操作细节的大规模数据集，二是难以在可控条件下研究智能体在不同指令、角色与平台间的泛化能力。SynthUX Economy R2 W003的发布开辟了新的研究路径。该数据集通过引入多公司经济模拟框架，将自然语言目标展开为树状节点结构，并驱动实际应用执行，有效解决了缺乏真实多应用操作轨迹的瓶颈。它使得研究者可以系统性地探究智能体在跨OS通信、多应用协同及大规模企业事务中的决策机制。该数据集的因果仿真设计，还让观察到的屏幕状态变化完全源于低层级输入，消除了高层级应用状态的干扰，从而为探索可回溯、可解释的智能体动作序列提供了方法论基础，深刻推动了电脑使用智能体的理论建设与实证研究。

衍生相关工作

SynthUX Economy R2 W003的独特结构催生了一系列衍生的研究工作。在智能体行为建模方向，研究者利用其带有对齐信息的密集事件序列，开发了基于注意力机制的轨迹编码器，以期捕捉长跨步动作间的依赖关系。在界面理解方向，该数据集提供的每节点屏幕截图被用于训练视觉语言模型，使其能够精准定位目标控件并预测下一步交互。另一个突出的工作集中在因果推断与动作分解领域：学者们借助数据集的因果状态快照和底层输入事件的对应关系，构建了可解释的智能体推理框架，使复杂任务被自动拆解为更小、更可信的子步骤。此外，多公司多角色的数据属性支持了跨组织策略迁移的研究，催生了若干关于个性化和领域自适应智能体训练的新范式，对GUI智能体的发展产生了深远影响。