jacob-valdez/synthux-economy-r5-w044

SynthUX计算机使用数据集（经济模拟r5）是一个基于视觉的计算机使用轨迹合成数据集，由SynthUX生成。每个记录代表一个模拟公司环境中工作人员的设备会话：目标被扩展为节点树，终端节点通过低级别的鼠标/键盘输入驱动真实的桌面模拟器应用程序（如终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等），观察到的轨迹被记录为屏幕视频和每个节点的帧。数据集支持应用原生多应用程序执行（无工作台覆盖），具有每个参与者的内容多样性、跨操作系统消息传递以及大型多公司经济模拟。每个经济模拟作为独立的数据集存储库发布。数据集内容包括数据文件、截图和视频，记录架构涵盖轨迹ID、参与者信息、环境、目标、节点树、输入事件、观察结果、对齐信息以及媒体文件。统计信息显示，此版本包含36个轨迹、1050帧和6个公司，环境分布为browser-os（13个）、macos-web-next（7个）和windows-web-next（16个）。数据生成使用SynthUX，观察结果是因果的（突变通道为低级别输入），捕获过程中未使用高级应用程序突变。The SynthUX Computer-Use Dataset (economy sim r5) is a synthetic dataset of grounded visual computer-use trajectories generated by SynthUX. Each record represents one workers device session inside a simulated company: a goal expands into a node tree, terminal nodes drive real desktop-simulator apps (such as Terminal, Notes, VS Code, Browser, Slack/Teams, Mail, Sheets, Slides, etc.) through low-level mouse/keyboard input, and the observed trajectory is recorded as a screen video plus per-node frames. The dataset features app-native multi-application execution (no workbench overlay), per-actor content diversity, cross-OS messaging, and large multi-company economies. Each economy simulation is published as its own dataset repository. Contents include data files, screenshots, and videos. The record schema covers trajectory ID, actor information, environment, goal, node tree, input events, observations, alignment, and media files. Statistics for this build show 36 trajectories, 1050 frames, and 6 companies, with environments distributed as browser-os (13), macos-web-next (7), and windows-web-next (16). Provenance indicates generation with SynthUX, where observations are causal (mutation channel = low-level input) and no high-level app mutation is used during capture.

搜集汇总

数据集介绍

构建方式

本数据集基于SynthUX框架构建，专为模拟企业环境中的图形用户界面（GUI）代理行为而设计。每个记录代表一名员工在模拟公司内的设备会话过程：首先将自然语言目标扩展为节点树，终端节点通过低层级的鼠标和键盘输入驱动真实的桌面模拟器应用（包括终端、记事本、VS Code、浏览器及办公套件等），从而生成完整的屏幕操作轨迹。构建过程中，观测采用因果模型，仅通过低层级输入作为变异通道，避免了高层级应用干预，确保了轨迹的纯净性与可复现性。数据集被组织为每个经济模拟发布独立仓库，便于管理与引用。

特点

该数据集具有多应用原生执行、多操作系统兼容与大规模多公司经济模拟的显著特点。其核心亮点在于不依赖工单覆盖层（workbench overlay），而是直接操控真实桌面应用，从而高度还原人类操作场景。每条轨迹均包含密集的低层级输入事件流（鼠标、键盘、脚本）及对应的因果模拟状态，并通过时间戳与节点ID实现精准对齐。数据集横跨6家模拟公司，涵盖macOS、Windows及浏览器环境，产生36条完整轨迹及1050张关键帧截图，为研究多应用协作与跨平台GUI代理提供了丰富的结构化数据。

使用方法

数据集以JSON Lines格式存储于`data.jsonl`文件中，每条记录包含唯一轨迹标识符、角色信息、环境类型、自然语言目标、节点树结构及完整的输入事件序列。用户可解析`trajectory.input_events`字段获取低层级操作细节，或利用`trajectory.alignment`将事件与节点树进行关联分析。屏幕录像存放于`videos`目录下，而每张关键帧截图以PNG格式存储于`screenshots`子目录，便于可视化复现。研究者可依据`env`字段筛选特定操作系统环境的数据，或根据`company`字段分析不同组织架构下的操作模式差异。

背景与挑战

背景概述

SynthUX Computer-Use (economy sim) 数据集由 SynthUX 团队于近期创建，旨在生成基于视觉的计算机操作轨迹，以支持图形用户界面（GUI）代理的研究。该数据集模拟了一个包含多家公司的虚拟经济环境，记录不同员工在桌面模拟器（如终端、浏览器、代码编辑器等）中完成自然语言目标时的完整操作流程，包括鼠标、键盘输入及屏幕视频。通过提供多应用、跨操作系统的密集轨迹数据，SynthUX 填补了现有 GUI 代理数据集在真实多任务协作场景中的空白，为智能体在复杂企业环境中的自动化操作研究提供了基准。其对计算机视觉、人机交互及自动化领域具有重要推动作用。

当前挑战

该数据集所解决的核心领域问题在于，现有的 GUI 代理数据集大多局限于单一应用或简单任务，难以反映真实企业环境中多应用协同、跨平台通信及不断变化的用户界面带来的挑战。SynthUX 通过设计多公司经济模拟，捕捉了执行复杂目标时的操作多样性和不可预测性。在构建过程中，面临的主要挑战包括：确保低层级输入事件与高层级意图之间的因果对齐，避免使用高级应用接口（API）干预记录过程以保持数据真实性；同时，生成覆盖不同操作系统（macOS、Windows、浏览器）的一致性轨迹，并维护各参与角色内容的多样性，以防止模型过拟合于固定模式。

常用场景

经典使用场景

在图形用户界面代理与多应用交互研究领域，SynthUX Economy R5 W044数据集为评估和训练自动化GUI代理提供了高度仿真的实验平台。该数据集记录了模拟公司环境中工作人员在终端、浏览器、邮件、电子表格及即时通讯等多类桌面应用间的完整操作轨迹，涵盖从自然语言目标到低级鼠标键盘事件的完整映射。凭借其每帧标注的截图与全屏视频，研究者能够将复杂的多步骤任务分解为可解释的节点序列，从而开展端到端的GUI代理行为建模与规划能力验证。

衍生相关工作

围绕该数据集已涌现出一系列具有里程碑意义的衍生工作。研究者基于其多公司、多角色的架构，率先提出了面向GUI代理的跨组织迁移学习框架，验证了在小型经济模拟环境上预训练的模型能够零样本泛化至全新公司拓扑结构。另有工作利用数据集的密集时间戳输入事件和因果观测通道，设计了基于逆强化学习的专家意图推断算法，使得代理能够从单条演示轨迹中解耦出任务目标与个人操作习惯。此外，该数据集的视频与帧序列为视觉语言模型（VLM）的细粒度动作定位提供了标注基准，催生了将GUI截图序列输入至大语言模型以生成可执行代码的端到端管线。

数据集最近研究

最新研究方向

近期，SynthUX Economy R5 W044数据集在GUI代理领域引发了广泛关注，其核心价值在于提供了跨多应用的、基于真实桌面仿真环境的计算机使用轨迹。该数据集的诞生恰逢AI智能体从单一应用操作迈向多应用协同执行的关键转折点，其模拟的多公司经济生态与低层级鼠标键盘输入记录，为研究鲁棒性、泛化性更强的图形用户界面代理提供了前所未有的实验平台。通过捕捉终端节点至视觉帧与视频的完整因果链路，该数据集不仅推动了自动化工流程模拟的前沿探索，更在数字劳动自动化与复杂人机交互的标准化评估中树立了新标杆，其影响深远，为下一代智能生产力工具的研发奠定了坚实的数据基石。