jacob-valdez/synthux-economy-r4-w035

SynthUX计算机使用数据集是一个基于经济模拟的合成数据集，包含由SynthUX生成的基础视觉计算机使用轨迹。每个记录代表一个工人在模拟公司内的设备会话：一个目标扩展为节点树，终端节点通过低级鼠标/键盘输入驱动真实的桌面模拟器应用程序（如Terminal、Notes、VS Code、Browser、Slack/Teams、Mail、Sheets、Slides等），观察到的轨迹被记录为屏幕视频加上每节点帧。该数据集支持应用原生多应用执行（无工作台覆盖）、每参与者内容多样性、跨操作系统消息传递以及大规模多公司经济模拟。每个经济模拟都作为独立的数据集存储库发布。Grounded visual computer-use trajectories generated by SynthUX. Each record is one workers device session inside a simulated company: a goal expands into a node tree, terminal nodes drive real desktop-simulator apps (Terminal, Notes, VS Code, Browser, Slack/Teams, Mail, Sheets, Slides, …) through low-level mouse/keyboard input, and the observed trajectory is recorded as a screen video plus per-node frames. App-native multi-application execution (no workbench overlay), per-actor content diversity, cross-OS messaging, and large multi-company economies. Each economy simulation is published as its own dataset repo.

搜集汇总

数据集介绍

构建方式

本数据集构建于SynthUX框架之上，模拟了一个包含多家公司的经济体系，旨在生成接地气的视觉计算机使用轨迹。每条记录对应一名员工在模拟公司内的设备会话，其自然语言目标被逐步分解为节点树，终端节点通过低层级鼠标与键盘输入驱动真实桌面模拟器应用，涵盖终端、笔记、代码编辑器、浏览器、即时通讯、邮件、电子表格与演示文稿等多种工具。整个过程在原生应用环境中执行，无需叠加工作台，确保轨迹的真实性与多样性。每条轨迹均以屏幕视频与逐节点帧形式完整记录，并随附因果模拟器状态及输入事件的时间戳对齐信息。

使用方法

用户可通过加载data.jsonl文件获取每条轨迹的完整结构化数据，包括演员身份、目标描述、节点树与输入事件。屏幕截图与视频分别存放于screenshots/与videos/目录下，便于进行视觉分析或行为建模。研究者可将输入事件序列与观察状态结合，用于训练或评估GUI代理模型；也可利用节点对齐信息分析任务分解与执行效率。数据集采用Apache-2.0许可协议，支持自由使用与修改，适用于计算机使用行为理解、仿真环境构建及多应用操作智能体的研究领域。

背景与挑战

背景概述

SynthUX Computer-Use（economy sim r4）数据集于2024年由研究团队基于SynthUX框架构建，旨在模拟多公司经济环境中工作者通过图形用户界面（GUI）执行复杂计算机任务的场景。该数据集聚焦于“计算机使用”（computer-use）领域，核心研究问题是如何在真实桌面模拟器中生成并记录跨应用程序、多操作系统（macOS、Windows、浏览器）的精细操作轨迹。通过引入多公司经济模拟，数据集为GUI代理（GUI agents）的研究提供了大规模、多样化的训练与评估基准，显著推动了自动化桌面任务规划与执行领域的发展。其在多应用协作、跨平台交互及因果观测记录方面的创新，为未来智能助手和机器人流程自动化（RPA）的研究奠定了重要基础。

当前挑战

该数据集主要面临两大挑战。首先，在领域问题层面，现有GUI代理研究多局限于单应用或简单任务，难以应对真实世界中跨应用程序、多操作系统及动态经济环境的复杂性，数据集的构建需模拟工人角色、公司层级与通信协议，以生成高度真实的操作序列。其次，在构建过程中，数据集的生成依赖低层级鼠标/键盘事件输入与因果状态观测，这要求在高保真模拟器中实现无应用层干预的原始操作记录，同时确保跨36条轨迹、988帧画面的视频与图像数据一致性，并应对多公司经济模拟中角色多样性（6家公司）与任务目标个性化带来的内容覆盖挑战。

常用场景

经典使用场景

在计算机图形界面智能体（GUI Agent）的研究领域中，SynthUX经济模拟数据集（economy r4）为多应用协同操作场景提供了高保真的训练与评估基准。该数据集记录了六家模拟公司内不同角色员工的完整设备操作轨迹，包含36条跨平台（macOS、Windows、浏览器）的端到端工作流，每条轨迹均以自然语言目标为起点，通过终端节点驱动终端、网页浏览器、邮件客户端、即时通讯工具及办公套件等多应用的真实底层操作。研究者可利用此数据集训练GUI智能体理解复杂的业务流程，例如跨应用的数据传递、多窗口切换与基于上下文的任务规划，从而推动从单一应用操作向企业级多应用协同的智能体能力跨越。

解决学术问题

该数据集聚焦于解决当前GUI智能体研究中的两大瓶颈：一是多应用协同操作的真实性不足，二是评估场景的规模化与多样性匮乏。传统数据集多局限于单一应用或模拟环境，无法反映企业级工作流中跨应用、跨平台的任务复杂性。SynthUX通过引入多公司经济模拟架构，生成了包含角色身份、组织层级和异步通讯的丰富上下文，使得研究者能够系统性地评估智能体在目标分解、动态环境反馈与底层输入控制等方面的鲁棒性。这一设计填补了从孤立GUI操作到组织化业务流程模拟的学术空白，为探索可泛化的计算机使用智能体提供了关键数据支撑，其因果对齐的观测数据更助力于可解释性与轨迹溯因分析的前沿探索。

实际应用

在实际部署中，SynthUX数据集所代表的场景直接映射到企业数字化转型的痛点：自动化日常办公流程以减少人力开销。例如，智能体需要模拟一名员工从电子邮件中提取任务，在日历中安排会议，再通过即时通讯工具通知相关人员，同时更新项目管理表格——这一系列操作在数据集中均有对应的多应用轨迹。此类能力可集成到企业级RPA（机器人流程自动化）系统中，赋能非技术用户通过自然语言指令驱动复杂的跨软件工作流，从而降低自动化门槛。同时，该数据集的多平台特性使其能够指导跨操作系统、跨设备GUI智能体的开发，为智能助手在个人计算环境中的无缝落地奠定实践基础。

数据集最近研究

最新研究方向

SynthUX Economy R4 W035数据集聚焦于多企业经济模拟环境下的GUI智能体视觉轨迹生成，代表了计算机使用智能体（Computer-Use Agents）领域的前沿研究方向。该数据集通过模拟真实企业场景中多应用协同操作（如终端、笔记、代码编辑器、浏览器、通信工具、办公套件等），记录低层级鼠标键盘输入轨迹与屏幕视频，为研究跨应用GUI智能体的泛化能力提供了宝贵资源。当前热点事件包括大型语言模型驱动的GUI智能体在自动化办公、企业流程管理中的落地应用，该数据集通过引入多公司经济模拟和异构操作系统环境，显著提升了智能体在复杂多任务场景下的评估真实性。其意义在于推动从单应用脚本执行向多应用、多角色、多策略协同的范式转变，为构建更具通用性和鲁棒性的数字助理设定了新的基准。