jacob-valdez/synthux-economy-r4-w053

SynthUX计算机使用数据集——经济模拟r4，是一个基于SynthUX生成的视觉计算机使用轨迹数据集。每个记录代表一个模拟公司内员工的设备会话：目标扩展为节点树，终端节点通过低级鼠标/键盘输入驱动真实桌面模拟器应用（如终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等），观察到的轨迹被记录为屏幕视频和每节点帧。数据集支持应用原生多应用程序执行（无工作台覆盖）、每参与者内容多样性、跨操作系统消息传递和大规模多公司经济模拟。每个经济模拟作为独立的数据集仓库发布。SynthUX Computer Usage Dataset – Economic Simulation r4 is a visual computer interaction trajectory dataset generated using SynthUX. Each record corresponds to a device session of an employee in a simulated company, where task objectives are structured into a node tree, and terminal nodes drive real desktop emulator applications (such as terminals, note-taking tools, VS Code, browsers, Slack/Teams, email clients, spreadsheets, slides, etc.) via low-level mouse and keyboard inputs. The recorded interaction trajectories are saved as screen videos and per-node frames. This dataset supports native multi-application execution (without workspace overlay), content diversity across individual participants, cross-operating system messaging, and large-scale multi-company economic simulations. Each economic simulation is released as a standalone dataset repository.

搜集汇总

数据集介绍

构建方式

本数据集基于SynthUX框架在模拟经济环境中生成，每条记录对应一位员工在虚拟公司内的设备会话。设计上，系统将一个自然语言目标展开为节点树，终端节点通过低层级鼠标与键盘输入驱动真实的桌面模拟器应用（包括终端、笔记、代码编辑器、浏览器、即时通讯、邮件、电子表格与幻灯片等），完整记录观察到的操作轨迹。每个经济模拟版本均作为独立的数据集仓库发布，确保了数据生成的系统性与可复现性。

特点

数据集突出原生多应用执行能力，无工作台覆盖层，且具备每个参与者的内容多样性与跨操作系统消息交互。本版本涵盖36条完整轨迹、954帧画面和6家虚拟公司，横跨macOS、Windows及纯浏览器三种模拟环境。每条轨迹均包含从高层目标到底层键盘鼠标事件的因果对齐信息，以及全屏录制视频与节点快照，为细粒度图形用户界面代理研究提供了丰富的多模态观测数据。

使用方法

用户可通过加载数据目录下的data.jsonl文件获取每条轨迹的完整结构，包括参与者身份、所属组织、任务目标、节点树以及输入事件序列。截图与视频分别存放于screenshots和videos子目录中，支持基于轨迹ID的快速索引。研究人员可利用轨迹中的alignment字段实现观察状态、输入事件时间戳与具体节点之间的精确映射，适用于训练或评估基于视觉的计算机操作代理模型。

背景与挑战

背景概述

随着大型语言模型与图形用户界面（GUI）代理的深度融合，如何构建具备多应用协同操作能力的智能体成为人机交互领域的核心议题。SynthUX Computer-Use数据集（economy sim r4）由SynthUX团队于2024年创建，专注于模拟多公司经济体中的真实桌面设备操作轨迹。该数据集通过生成式方法，在模拟公司内为每位员工（actor）赋予自然语言目标，并驱动其通过低层鼠标/键盘操作在原生桌面应用（如终端、浏览器、办公软件等）间执行复杂任务，最终记录为含每节点帧的屏幕视频。数据集涵盖6家虚拟公司、36条完整轨迹，跨越macOS、Windows及浏览器环境，为评估GUI代理在跨应用、多角色场景下的自主操作能力提供了稀缺的基准资源，对推进计算机使用代理的泛化性与鲁棒性研究具有重要影响。

当前挑战

该数据集面对的核心领域挑战在于：真实GUI交互场景中，智能体需应对应用原生环境（非工作台叠加）、跨操作系统消息传递、以及多公司经济体下的海量个性化内容多样性，这远超出传统单一应用或固定模板任务的复杂度。构建过程中，SynthUX需解决模拟环境与真实设备操作间的因果一致性——观测状态仅依赖于低层输入事件（low-level_input），避免高层API突变干扰，同时确保每节点生成高密度鼠标/键盘事件流与对应的视觉帧（954帧/36轨迹），这要求精准的时序对齐与渲染同步。此外，不同操作系统（macOS/Windows）的模拟器差异及跨应用数据流动（如邮件至表格）的自动化生成，对轨迹的可靠性与可复现性构成严峻挑战。

常用场景

经典使用场景

SynthUX Economy模拟数据集为计算机视觉与图形用户界面智能体研究提供了多视角、全链条的轨迹数据资源。其设计模拟了真实企业环境下多角色、多应用的协同工作场景，涵盖终端、笔记、代码编辑器、浏览器、即时通讯、邮件及办公套件等桌面应用。每个轨迹详细记录了从自然语言目标分解为可执行节点树、再通过底层鼠标与键盘操作驱动模拟器的完整过程，辅以屏幕视频与逐帧截图。该数据集经典用途在于训练和评估GUI智能体在复杂的多步任务中的规划、执行与鲁棒性表现，尤其适用于跨应用协作、长链路操作及多模态感知融合的研究场景。

衍生相关工作

该数据集的启发下，学术界与工业界涌现出一系列衍生工作。一方面，研究者基于其多模态结构（视频、帧图、事件流）开发了更高效的视觉Transformer架构，用于从屏幕视频中直接预测操作意图与坐标。另一方面，该数据集促进了跨平台GUI基础模型的构建，如将macOS与Windows下的操作模式统一编码为动作基元，进而提升模型在新操作系统上的零样本适应能力。此外，数据集中包含的企业层级信息（角色、公司、权限）催生了关于智能体社会性协作与任务优先级调度的新课题。这些衍生工作共同推动了从单一UI理解向组织级工作流程自动化的研究演进。

数据集最近研究

最新研究方向

该数据集聚焦于图形用户界面（GUI）代理在跨应用、多平台模拟企业经济环境中的计算机使用轨迹生成与建模，代表了合成数据在自动化人机交互研究中的前沿应用。结合近期AI代理（如AutoGPT、GUI agent）的爆发式发展，SynthUX通过模拟多公司经济体系、异质角色任务及真实桌面应用操作（如终端、浏览器、办公软件等），为开发能够理解并自主执行复杂工作流的多模态代理提供了高保真度的训练与评估基准。其独特之处在于跨越操作系统（macOS/Windows/浏览器）的本地原生交互记录，以及将高层自然语言目标降维为底层鼠标键盘事件的因果对齐方法，这为研究代理的泛化能力、环境鲁棒性及多步骤规划能力奠定了关键数据基础，对推动企业级自动化与数字员工技术具有重要价值。