jacob-valdez/synthux-economy-r4-w041

SynthUX计算机使用数据集——经济模拟r4，是一个由SynthUX生成的基于视觉的计算机使用轨迹数据集。它模拟了公司内部员工在设备上的会话：目标通过节点树展开，终端节点通过低级别鼠标/键盘输入驱动真实的桌面模拟器应用程序（如终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等），观察到的轨迹被记录为屏幕视频和每个节点的帧。数据集支持应用程序原生多应用程序执行（无工作台覆盖）、每个参与者的内容多样性、跨操作系统消息传递以及大型多公司经济模拟。每个经济模拟作为独立的数据集仓库发布。SynthUX Computer-Use Dataset — economy sim r4. Grounded visual computer-use trajectories generated by SynthUX. Each record is one workers device session inside a simulated company: a goal expands into a node tree, terminal nodes drive real desktop-simulator apps (Terminal, Notes, VS Code, Browser, Slack/Teams, Mail, Sheets, Slides, …) through low-level mouse/keyboard input, and the observed trajectory is recorded as a screen video plus per-node frames. App-native multi-application execution (no workbench overlay), per-actor content diversity, cross-OS messaging, and large multi-company economies. Each economy simulation is published as its own dataset repo.

搜集汇总

数据集介绍

构建方式

该数据集由SynthUX系统生成，聚焦于计算机使用场景下的视觉化轨迹。每个数据记录对应于模拟公司中一位员工的设备会话：一个自然语言目标被展开为节点树，终端节点通过低层级鼠标和键盘输入驱动真实桌面模拟器应用（如终端、笔记、VS代码、浏览器、Slack/Teams、邮件、表格、幻灯片等），并记录观察到的轨迹，保存为屏幕视频及各节点的帧图像。采用了应用本地的多应用执行方式（无工作台覆盖），确保内容的多样性、跨操作系统消息传递及多公司经济系统模拟，每个经济模拟作为独立的数据集仓库发布。

特点

数据集具备应用原生多应用执行、每参与者内容多样性、跨操作系统消息传递及大型多公司经济系统等特性。包含36条轨迹、871个帧、6个模拟公司，覆盖三种环境：browser-os（15条）、macos-web-next（9条）和windows-web-next（12条）。轨迹记录了密集的低层级鼠标/键盘/脚本事件（含时间戳）、节点后因果模拟器状态、以及与节点ID对齐的观察和输入事件范围。所有观察均为因果关系，突变通道仅限低层级输入，未使用高层应用突变进行捕获。

使用方法

数据集以data.jsonl格式提供，每条记录包含轨迹ID、参与者、公司、角色、目标、节点树、输入事件、观察状态及媒体链接。帧图像存储于screenshots/<trajectory>/<node_id>.png路径，全屏视频保存为videos/<trajectory>.webm文件。用户可通过加载JSONL文件解析轨迹结构，利用帧图像和视频进行视觉分析，或依据输入事件和状态变化开展GUI代理、多应用协作及经济模拟相关研究。采用Apache-2.0许可证，适用于学术与工业研究。

背景与挑战

背景概述

SynthUX Computer-Use (economy sim) 数据集由 SynthUX 团队于近年创建，聚焦于模拟经济环境下的图形用户界面（GUI）代理研究。该数据集以模拟公司中员工的桌面设备会话为基本单元，通过将自然语言目标转化为节点树，并驱动终端、代码编辑器、浏览器等真实桌面应用的底层鼠标与键盘操作，生成丰富的视觉计算机使用轨迹。每个轨迹均包含完整的屏幕视频与逐节点帧图像，为多应用协同、跨操作系统通信及多公司经济体的研究提供了高保真数据。这一数据集填补了现有GUI代理研究中缺乏大规模、多应用、真实情境下轨迹数据的空白，对智能代理在复杂数字工作环境中的行为理解与自动化具有重要推动作用，成为该领域极具影响力的基准资源。

当前挑战

该数据集致力于解决两大核心挑战。在领域问题层面，现有GUI代理研究多局限于单一应用或简单任务，缺乏对跨应用、多角色协同及动态经济环境的模拟能力，SynthUX通过构建包含六家公司、多种角色和操作系统的仿真经济体系，推动代理在真实复杂场景中的规划与执行能力研究。在数据构建层面，面对多应用并发、底层输入事件的高频采集与因果状态对齐的困难，数据集采用低层级输入作为唯一突变通道，排除高层应用干预，确保轨迹的因果一致性；同时需处理不同操作系统（macOS、Windows、浏览器）间的差异，生成多样化的跨平台数据，并通过大规模多公司模拟保证场景丰富性与统计可靠性，这对数据生成系统的稳定性与可扩展性提出了极高要求。

常用场景

经典使用场景

在计算机图形界面智能体研究领域，该数据集为训练和评估能够操作多应用环境的视觉语言模型提供了基础。每个轨迹记录了模拟公司中员工通过鼠标和键盘与终端、笔记、代码编辑器、浏览器、即时通讯、邮件、表格和幻灯片等多款桌面应用交互的全过程，附带屏幕视频和逐帧截图。经典使用方式是将视频或帧序列作为输入，训练模型预测下一步操作，或基于自然语言目标评估智能体在复杂多应用场景下的任务完成能力。

衍生相关工作

该数据集的出现催生了若干具有影响力的衍生工作，包括基于因果对齐的轨迹分割方法、多模态操作预测模型以及跨平台迁移学习框架。其中较有代表性的工作包括利用节点树结构进行任务分解的分层强化学习算法、结合帧级视觉特征与键盘事件流的动作序列解码器，以及面向不同桌面操作系统（macOS、Windows、浏览器环境）的域适应技术，这些工作进一步验证了SynthUX在通用计算机操作智能体研究中的基准价值。

数据集最近研究

最新研究方向

该数据集聚焦于计算机使用智能体的多应用协作与仿真经济系统，追踪了合成多公司经济中模拟工作者在真实桌面环境下的完整视觉操作轨迹。前沿研究正围绕GUI Agent的泛化能力与跨平台迁移展开，通过复杂多应用交互与低层级鼠标键盘事件序列，推动智能体从单一任务执行向企业级工作流自动化演进。结合合成数据生成与因果观察记录，该资源为构建可靠、可复现的计算机使用模型提供了结构性基础，对自动办公助手、企业流程模拟等热点方向具有重要基准意义。