jacob-valdez/synthux-economy-r2-w024

SynthUX计算机使用数据集——经济模拟r2，是由SynthUX生成的基于视觉的计算机使用轨迹数据。每条记录代表一个工作者在模拟公司环境中的设备会话：一个目标扩展为节点树，终端节点通过低级别鼠标/键盘输入驱动真实的桌面模拟器应用程序（如终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等），观察到的轨迹被记录为屏幕视频和每节点帧。支持应用程序原生多应用程序执行（无工作台覆盖）、每个参与者内容多样性、跨操作系统消息传递和大型多公司经济模拟。每个经济模拟作为独立的数据集仓库发布。Grounded visual computer-use trajectories generated by SynthUX. Each record is one workers device session inside a simulated company: a goal expands into a node tree, terminal nodes drive real desktop-simulator apps (Terminal, Notes, VS Code, Browser, Slack/Teams, Mail, Sheets, Slides, …) through low-level mouse/keyboard input, and the observed trajectory is recorded as a screen video plus per-node frames. App-native multi-application execution (no workbench overlay), per-actor content diversity, cross-OS messaging, and large multi-company economies. Each economy simulation is published as its own dataset repo.

搜集汇总

数据集介绍

构建方式

该数据集源自SynthUX框架，旨在模拟企业内部多角色、多应用的图形用户界面操作轨迹。每个数据记录对应一名模拟员工在虚拟公司中的设备会话。构建过程从一条自然语言目标开始，该目标被分解为节点树，终端节点通过底层鼠标与键盘输入驱动桌面模拟器中的原生应用程序（如终端、笔记、代码编辑器、浏览器、即时通讯、邮件、电子表格及演示文稿等），从而生成完整的操作轨迹。整个执行过程不依赖工作台覆盖层，轨迹以屏幕视频及逐节点截图的形式被完整记录。

特点

数据集的核心特点在于其原生多应用执行环境与跨操作系统的通信能力，支持macOS与Windows桌面模拟器及浏览器环境。每个轨迹均包含密集的低级输入事件、因果模拟器状态、节点对齐信息以及高清屏幕录像。数据生成强调内容多样性，同一模拟经济体中包含多个公司、不同角色与职位，共计36条轨迹、1171帧截图，覆盖6个虚拟公司，实现了高度结构化的多企业经济模拟场景。

使用方法

数据集以标准格式发布，核心文件为data.jsonl，其中每条记录包含轨迹标识符、参与者信息、模拟环境、自然语言目标、节点树、输入事件序列及对齐元数据。视觉数据存储于screenshots及videos目录，分别提供逐节点PNG帧与全屏WEBM录像。用户可通过加载JSONL文件解析结构化轨迹，并结合同步的视觉帧与事件时间戳进行交互式分析或模型训练，适用于GUI代理、工作流自动化及多应用操作理解等研究任务。

背景与挑战

背景概述

SynthUX Economy R2 W024数据集由SynthUX团队于近期构建，专注于模拟企业环境中的图形用户界面（GUI）智能体行为。该数据集旨在解决真实世界计算机使用场景中多应用协同操作的数据匮乏问题，通过合成手段生成包含终端、代码编辑器、浏览器、通讯工具及办公套件在内的跨应用交互轨迹。其核心研究问题聚焦于如何利用低层级鼠标与键盘指令驱动多步骤任务，并记录完整的屏幕视频与逐帧快照。作为计算机使用领域的前沿资源，该数据集为GUI智能体在复杂企业经济模拟中的泛化能力提供了重要基准，推动了从单一应用操作向多应用、多用户协作的范式转变。

当前挑战

该数据集面临的核心挑战在于领域问题的复杂性：模拟真实企业环境中多应用并行操作与跨平台消息传递的协同逻辑，要求智能体具备动态目标分解与低层指令推理能力，远超传统图片分类或单应用任务范畴。构建过程中，SynthUX需解决合成数据的因果一致性难题——确保观察到的状态仅由低层输入事件驱动，避免高层应用直接突变带来的伪因果关联。此外，覆盖macOS、Windows及浏览器三种操作系统形态，需精心设计模拟器的环境适配与交互多样性，以维持36条轨迹、6家公司场景的可扩展性与内容真实性，这在计算资源与标签质量上构成显著挑战。

常用场景

经典使用场景

SynthUX Computer-Use经济模拟数据集为训练和评估图形用户界面智能体（GUI Agent）提供了高度真实的交互环境。该数据集记录了来自六家虚拟公司、36个完整轨迹的员工桌面操作行为，涵盖终端、浏览器、邮件、即时通讯（Slack/Teams）、文本编辑器（VS Code、Notes）及办公套件（Sheets、Slides）等多应用协同场景。每一条轨迹均以自然语言目标任务为驱动，经由节点树分解为终端动作，通过低层级鼠标与键盘输入直接驱动真实模拟器应用，最终生成全屏视频与帧级截图。研究者可基于该数据构建能够理解复杂多步骤工作流、跨应用信息联动及长视域规划的智能体模型，在保持对底层操作完全可控的前提下，模拟企业员工在标准化业务流程中的动态决策过程。

解决学术问题

该数据集聚焦于解决当前图形用户界面智能体研究中普遍存在的挑战：缺乏具备多应用交互、跨组织协作及因果状态可追溯性的高质量轨迹数据。既有工作多局限于单一应用或简化虚拟环境，难以真实反映企业级软件生态中的长尾操作与上下文依赖性。SynthUX通过模拟完整的经济体运行环境，引入多公司、多角色、异构操作系统（macOS、Windows、浏览器）的真实交互，使研究人员得以探究智能体在动态工作流中的任务分解能力、低层级动作与高层级意图的对齐机制，以及因果推理在复杂用户界面导航中的作用。这些问题的突破将推动人工智能从静态任务执行迈向主动、灵活、自适应的工作自动化。

衍生相关工作

SynthUX经济模拟数据集的发布催生了一系列关于GUI智能体鲁棒性与泛化能力的研究工作。基于该数据，研究者提出了层级化动作规划方法（如节点树分解与低层级事件对齐），开发了能够跨应用、跨操作系统迁移的智能体架构。围绕因果状态追踪的设计理念，衍生出用于评估智能体在长期任务中因果推理能力的基准测试框架。此外，数据集中蕴含的多公司、多角色交互模式，激发了针对企业级协作智能体的研究，包括但不限于基于角色的策略学习、多智能体协同调度以及意外事件（如应用崩溃、网络延迟）下的容错机制设计。这些工作共同推动了GUI智能体从模拟环境向真实企业场景的过渡，为构建真正可用的数字员工与智能办公系统奠定了方法论与数据基础。