jacob-valdez/synthux-economy-r4-w023

SynthUX计算机使用数据集——经济模拟r4是一个基于视觉的计算机使用轨迹数据集，由SynthUX生成。每个记录代表一个工作者在模拟公司设备会话中的轨迹：目标扩展为节点树，终端节点通过低级鼠标/键盘输入驱动真实桌面模拟器应用（如终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等），观察到的轨迹被记录为屏幕视频和每个节点的帧。该数据集支持应用原生多应用程序执行（无工作台覆盖）、每个参与者内容多样性、跨操作系统消息传递和大规模多公司经济模拟。每个经济模拟作为一个独立的数据集仓库发布。SynthUX Computer Usage Dataset – Economic Simulation r4 is a vision-based computer usage trajectory dataset generated by SynthUX. Each record represents the trajectory of a worker during a simulated corporate device session: Goals are expanded into node trees, and terminal nodes drive real desktop simulator applications (such as Terminal, Notes, VS Code, browsers, Slack/Teams, Email, Spreadsheets, Slides, etc.) via low-level mouse/keyboard inputs. The observed trajectories are recorded as screen videos and frames for each node. This dataset supports native multi-application execution (no desktop overlay), content diversity per participant, cross-operating system messaging, and large-scale multi-corporate economic simulations. Each economic simulation is released as an independent dataset repository.

搜集汇总

数据集介绍

构建方式

本数据集源于SynthUX框架，通过模拟多公司经济生态，生成基于计算机视觉的GUI代理操作轨迹。每个记录对应一家模拟公司中某位员工的设备会话，其中自然语言目标被展开为节点树，终端节点通过底层鼠标与键盘输入驱动真实桌面模拟应用（如终端、笔记、代码编辑器、浏览器、即时通讯、邮件、电子表格与演示文稿等），从而记录完整的操作轨迹。数据集以屏幕视频和逐节点帧的形式存储，每一轮经济模拟独立发布为一个数据集仓库。

特点

该数据集的核心特色在于其原生的多应用执行环境，摒弃了工作台覆盖层，直接使用应用原生界面，保证了视觉真实性与操作多样性。每个经济模拟包含多个公司角色、跨操作系统的消息传递以及大规模的多公司经济网络。本次构建版本包含36条轨迹、987帧图像，覆盖macOS、Windows及纯浏览器三种操作系统环境，并确保所有观测结果具有因果一致性，仅通过底层输入通道引发状态变化。

使用方法

数据集以JSONL格式提供，每条记录包含轨迹唯一标识、参与者信息、所属公司、角色与目标描述。节点树详细记录了每个终端节点的操作类型、目标与参数，而轨迹部分则存储了密集的底层事件序列（含时间戳）及因果模拟状态。用户可通过加载`data.jsonl`快速获取结构化数据，结合`screenshots/`目录下的逐节点PNG帧与`videos/`目录中的全屏录制视频，对GUI代理的行为进行复现与分析。

背景与挑战

背景概述

SynthUX Computer-Use (economy sim r4)数据集由SynthUX团队于近期创建，专注于模拟多公司经济体系中的桌面图形用户界面操作轨迹。该数据集通过模拟公司内部员工的真实设备会话，将自然语言目标逐步分解为节点树，最终由终端节点驱动低层鼠标与键盘操作，在原生桌面应用（如终端、浏览器、邮件、电子表格等）中执行跨应用任务。其核心研究问题在于如何生成高保真、多应用交互的计算机使用数据，以支撑GUI代理的自主操控能力。该数据集采用无合成工作台覆盖的“应用原生”执行方式，显著提升了轨迹的真实性与多样性，为多公司经济模拟中的人机交互研究提供了宝贵资源。

当前挑战

该数据集面临的核心领域挑战在于，如何从低层输入事件中准确解析出高层用户意图，并确保GUI代理能在多应用、跨操作系统（macOS/Windows/浏览器）的复杂环境中泛化执行任务。具体而言，构建过程中需解决以下挑战：其一，同步采集36条轨迹、987帧屏幕截图及完整视频的标注对齐，涉及时间戳、输入事件与节点ID的精确映射；其二，模拟6家公司的经济生态时，需为每位演员生成差异化内容及跨OS消息交互，避免任务同质化；其三，在无高层应用状态突变的前提下，仅通过低层输入实现因果观察，对模拟器的实时一致性提出严苛要求。

常用场景

经典使用场景

在GUI智能体与计算机使用自动化这一前沿领域，SynthUX Economy模拟数据集（synthux-economy-r4-w023）为研究者提供了一个结构化的、多应用交互的基准测试平台。其经典使用场景聚焦于复杂跨应用工作流的端到端轨迹生成与评估，涵盖从自然语言目标到底层鼠标键盘操作的完整映射。研究人员可借助该数据集训练和验证能够模拟员工在公司环境中执行多步骤任务（如结合终端、浏览器、协作工具与邮件客户端开展商业分析）的视觉语言模型，从而推动计算机使用智能体从单一步骤指令向多应用协同、跨平台执行的范式演进。

衍生相关工作

围绕SynthUX Economy模拟数据集，国际上已衍生出多项具有学科影响的创新工作。一方面，研究人员基于其多节点任务树结构与对齐标注，提出了面向层级目标分解的智能体规划算法，将宏观商业目标自动拆解为可执行的原子操作序列，显著提升了复杂指令的成功率。另一方面，该数据集的因果观察机制启发了新一代可解释性GUI智能框架，通过反向追踪输入事件与屏幕状态变化的因果链，研究者得以更清晰地诊断智能体任务失败的根本原因。此外，基于该数据集的多公司经济模拟范式，已催生出面向供应链管理、跨部门预算协调等垂直场景的领域特化智能体评测基准，持续推动着计算机使用自动化从概念验证向工业级应用迈进。

数据集最近研究

最新研究方向

SynthUX Economy R4 W023数据集聚焦于模拟企业环境中的多应用图形用户界面（GUI）代理行为，代表了计算机使用领域的前沿研究方向。该数据集通过构建包含6家公司的经济模拟场景，生成36条完整的视觉化计算机操作轨迹，涵盖macOS、Windows及浏览器三大操作系统环境。研究热点集中在跨应用、跨平台的GUI任务自动化，特别是在终端、代码编辑器、通信工具等真实商业软件间的协同操作。此类研究对推动通用GUI智能体在复杂企业工作流中的自主执行能力具有关键意义，为构建能够理解并完成多步骤、多应用交互的AI系统提供了标准化基准，同时为评估智能体在真实经济模拟环境中的适应性和鲁棒性开辟了新路径。