jacob-valdez/synthux-economy-r3-w020

SynthUX计算机使用数据集（经济模拟r3）是一个由SynthUX生成的基于视觉的计算机使用轨迹数据集。每个记录代表一个工作人员在模拟公司内的设备会话：一个目标被扩展为节点树，终端节点通过低级别鼠标/键盘输入驱动真实的桌面模拟器应用程序（如终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等），观察到的轨迹被记录为屏幕视频加上每个节点的帧。该数据集具有应用程序原生多应用程序执行（无工作台覆盖）、每个参与者内容多样性、跨操作系统消息传递以及大型多公司经济模拟的特点。每个经济模拟作为独立的数据集仓库发布。The SynthUX Computer-Use Dataset (economy sim r3) consists of grounded visual computer-use trajectories generated by SynthUX. Each record is one workers device session inside a simulated company: a goal expands into a node tree, terminal nodes drive real desktop-simulator apps (Terminal, Notes, VS Code, Browser, Slack/Teams, Mail, Sheets, Slides, …) through low-level mouse/keyboard input, and the observed trajectory is recorded as a screen video plus per-node frames. It features app-native multi-application execution (no workbench overlay), per-actor content diversity, cross-OS messaging, and large multi-company economies. Each economy simulation is published as its own dataset repo.

搜集汇总

数据集介绍

构建方式

SynthUX Computer-Use Economy Sim数据集通过模拟多公司经济体系中的桌面工作流程构建而成。每个数据记录对应一名员工在模拟公司内部的设备会话：从自然语言目标出发，系统逐步展开为节点树，终端节点通过低层级的鼠标与键盘输入驱动真实桌面模拟器应用程序（包括终端、笔记、代码编辑器、浏览器、即时通讯工具、邮件、电子表格、演示文稿等），完整记录观察到的操作轨迹，并以屏幕视频及逐节点帧图像的形式保存。所有经济模拟均以独立数据集仓库发布，确保数据结构的清晰与可复用性。

使用方法

用户可通过加载`data.jsonl`文件获取每条轨迹的结构化记录，其中包含轨迹ID、参与者信息、环境类型、自然语言目标、节点树及完整的输入事件与状态观察序列。辅助媒体文件存储于`screenshots/`和`videos/`目录下，分别提供逐节点截图与全屏录像。研究者可利用其多应用、多平台、多公司的丰富属性，训练图形用户界面智能体、评估跨应用任务执行能力，或开展基于合成数据的计算机使用行为基准测试与模型微调。

背景与挑战

背景概述

SynthUX Computer-Use (economy sim) 数据集诞生于大语言模型驱动的GUI智能体研究浪潮之中，由研究团队于2024年创建，聚焦于多应用协同操作的真实桌面场景模拟。该数据集以“模拟公司经济”为背景，通过SynthUX系统生成每个员工设备会话的底层视觉轨迹，涵盖终端、笔记、代码编辑器、浏览器、邮件及即时通讯等跨应用操作。其核心创新在于摒弃了常见的浅层工作台叠加模式，采用真实桌面模拟器执行多应用交互，并记录完整的屏幕视频与逐节点帧序列。该数据集的发布为计算机使用智能体的训练与评估提供了高度逼真、内容多样且因果可追溯的基准资源，显著推动了GUI代理在复杂多任务场景中的研究进展。

当前挑战

该数据集面临的核心挑战体现在两大层面。其一，当前GUI智能体研究普遍受限于单应用或预定义工作流，难以应对真实世界中多应用交织、跨操作系统消息传递及公司级别的经济协同任务，SynthUX通过模拟多公司经济体系填补了这一领域空白。其二，构建过程中需攻克合成数据生成的真实性与多样性矛盾，既要通过自动化叙事扩增保证每个actor内容的差异化，又要在排除高级API作弊的前提下，以低层鼠标键盘事件实现完全因果的轨迹记录。此外，跨操作系统模拟器（macOS、Windows、浏览器）的适配、每节点帧的高效抽取以及36条轨迹中1028帧画面的精细标注，均对数据质量与扩展性构成了严苛考验。

常用场景

经典使用场景

SynthUX Economy R3 W020数据集以多公司经济模拟为背景，提供了由SynthUX系统生成的图形化计算机使用轨迹。每条记录包含一名员工在模拟公司设备上的完整操作流程，目标自然语言描述被展开为节点树，终端节点驱动终端、笔记、VS Code、浏览器、即时通讯、邮件、电子表格、演示文稿等桌面应用程序，通过低层级鼠标与键盘输入实现真实操作。该数据集最经典的使用场景在于训练和评估能够跨多应用完成复杂业务任务的图形用户界面（GUI）智能代理，例如代理需同时查阅邮件、更新电子表格并通过通讯工具汇报进度，数据集中同步记录的全屏视频与逐节点截图使其成为桌面自动化与智能交互研究的理想基准。

解决学术问题

该数据集有效解决了当前GUI代理研究领域数据来源单一、操作环境过度简化以及缺乏真实多应用协同验证等核心问题。通过将密集的低层级输入事件、因果模拟状态与自由形式自然语言目标对齐，SynthUX Economy R3 W020为从文本指令到多步桌面操作的全流程推理提供高质量标注。学术研究可基于该数据集探索如何将高层任务目标自动分解为有序的原子操作序列，并研究代理在跨应用切换、管道信息传递以及异常恢复中的鲁棒性。该数据集的出现为构建更接近人类行为模式的通用计算机操作助手奠定了数据基础，推动了人机协作与自主化办公系统的发展。

实际应用

实际应用中，SynthUX Economy R3 W020数据集可用于开发智能自动化助手，助力企业员工快速完成跨应用的数据录入、报告生成与业务沟通等重复性操作。例如，在财务对账场景下，代理可自动读取邮件中的账目附件，打开电子表格进行比对分析，并将异常记录整理后通过通讯工具分发给相关人员；在客户支持流程中，代理能够同时管理客户关系管理系统、查找知识库文档并回复工单。此外，该数据集对于构建无障碍人机交互系统同样具有重要价值，为肢体不便或视觉受限的用户提供通过简单指令完成复杂桌面操作的能力，从而提升工作效率与数字包容性。

数据集最近研究

最新研究方向

SynthUX-economy-r3-w020数据集聚焦于多应用、跨平台的GUI智能体在复杂企业经济模拟场景中的视觉计算机交互行为研究。该数据集通过模拟真实公司环境中的多角色设备会话，捕获终端用户从自然语言目标到低层级鼠标/键盘操作的完整轨迹，并记录屏幕视频与逐节点帧，为前沿的计算机视觉与自主GUI代理研究提供了细粒度、多模态的训练与评估资源。近期研究热点围绕如何利用此类合成数据提升GUI智能体在跨应用协调、动态环境适应及复杂任务规划中的鲁棒性，其构建的大规模多公司经济仿真生态，显著推动了将自主代理从孤立应用操作扩展至真实企业协作与决策支持领域的进程，对发展更通用、更贴近实际业务场景的人机协同系统具有里程碑式的意义。