jacob-valdez/synthux-economy-r5-w064

SynthUX计算机使用数据集（经济模拟r5）是一个基于SynthUX生成的视觉计算机使用轨迹数据集。每个记录代表一个工作者在模拟公司内的设备会话：目标扩展为节点树，终端节点通过低级别的鼠标/键盘输入驱动真实的桌面模拟器应用程序（包括终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等），观察到的轨迹被记录为屏幕视频和每个节点的帧。数据集支持应用原生多应用程序执行（无工作台覆盖），具有每个参与者内容多样性、跨操作系统消息传递以及大型多公司经济模拟。每个经济仿真作为独立的数据集存储库发布。数据集包含数据文件（data.jsonl）、截图（每个轨迹的节点帧）和视频（完整屏幕录制）。记录模式包括轨迹ID、参与者信息、环境、目标、节点树、输入事件、观察结果、对齐信息以及媒体引用。统计信息显示本版本包含36个轨迹、990帧、6个公司，环境分布为browser-os（8个）、macos-web-next（9个）、windows-web-next（19个）。数据来源为SynthUX生成，观察基于因果模拟（突变通道为低级别输入），捕获过程中未使用高级别应用程序突变。The SynthUX Computer Usage Dataset (Economic Simulation r5) is a visual computer interaction trajectory dataset generated via SynthUX. Each record corresponds to a worker's device session within a simulated corporate environment: the task target is expanded into a node tree, and terminal nodes drive real desktop simulator applications (including terminals, note-taking tools, VS Code, web browsers, Slack/Teams, email clients, spreadsheets, slide editors, etc.) through low-level mouse and keyboard inputs. Observed interaction trajectories are recorded as full-screen videos and per-node frame snapshots. This dataset supports native multi-application execution (without workspace overlay), and boasts characteristics including per-participant content diversity, cross-operating system messaging, and large-scale multi-company economic simulations. Each individual economic simulation is released as an independent dataset repository. The dataset comprises three core components: data files (stored as data.jsonl), node frame screenshots for each trajectory, and full-screen recording videos. The recorded metadata includes trajectory ID, participant information, environment configuration, task targets, node trees, input event logs, observation data, alignment information, and media references. Statistical summary for this release includes 36 total trajectories, 990 frame samples, and 6 simulated companies. The environment distribution is as follows: browser-os (8 instances), macos-web-next (9 instances), and windows-web-next (19 instances). All data is generated by SynthUX, with observations derived from causal simulation where low-level inputs serve as the mutation channel. No high-level application state mutations were utilized during the data capture process.

搜集汇总

数据集介绍

构建方式

SynthUX-Economy-R5-W064数据集基于SynthUX框架生成，聚焦于模拟公司环境中的多应用图形用户界面操作轨迹。每条记录代表一个工作人员在模拟公司内的设备会话：自然语言目标被展开为节点树，终端节点通过低层鼠标/键盘输入驱动真实桌面模拟器应用（如终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等）。整个轨迹以屏幕视频和逐节点帧的形式被记录，且每个经济模拟作为独立的数据集仓库发布。

特点

该数据集具备原生多应用执行能力，无工作台覆盖层，确保操作的真实性。每角色内容多样性、跨操作系统消息传递以及大规模多公司经济模拟是其显著特点。本次构建包含36条轨迹、990帧图像和6个公司场景，覆盖macos-web-next、windows-web-next及browser-os三种环境，轨迹输入事件密集且包含因果模拟器状态。

使用方法

数据集以data.jsonl文件存储每条轨迹的元数据与事件序列，screenshots目录存放每终端节点的PNG帧，videos目录提供完整屏幕录制（webm格式）。用户可通过轨迹ID、公司、角色等字段进行筛选，利用输入事件的时间戳与节点对齐信息进行细粒度分析，适用于GUI代理训练、多应用交互建模及人机协作研究。

背景与挑战

背景概述

SynthUX Computer-Use (economy sim) 数据集诞生于2024年，由研究团队基于SynthUX框架构建，专注于多应用、多操作系统环境下的图形用户界面代理研究。该数据集旨在模拟企业内部经济生态，通过生成涵盖终端、笔记、代码编辑器、浏览器、即时通讯及办公套件等多应用的计算机操作轨迹，推动GUI代理在复杂真实任务中的泛化能力。作为首个融合跨OS消息传递、多公司经济模拟与原生应用执行的合成数据集，它为评估和训练基于低层级鼠标键盘交互的视觉代理提供了标准化基准，在智能自动化与人机协同领域具有重要影响。

当前挑战

数据集的核心挑战在于解决GUI代理在真实多应用场景中的鲁棒性问题，包括跨平台（macOS、Windows、浏览器）的布局差异、应用间状态同步与依赖任务编排的复杂性。构建过程中面临两大难点：一是如何通过低层级输入事件（非高层API）忠实模拟原生应用交互，避免观察信息的因果泄漏；二是为36条轨迹生成覆盖6家公司、多样角色与目标的个性化内容，同时确保动作序列的经济逻辑自洽性与视觉帧的时空一致性。

常用场景

经典使用场景

该数据集为金融经济学场景下的图形用户界面智能体（GUI Agent）研究提供了模拟公司运营的视觉计算机使用轨迹。每个记录对应一名虚拟员工在模拟公司设备上的完整操作会话，涵盖终端、笔记、代码编辑器、浏览器、即时通讯、邮件、电子表格和幻灯片等多应用程序协同操作，通过低层级鼠标和键盘输入生成自然语言目标驱动的操作节点树。这一设计使得研究者能够深入探索多步骤、多应用程序交互下的任务规划与执行模式。

衍生相关工作

该数据集衍生出多个关键研究方向：基于SynthUX合成框架可扩展至不同规模的经济模拟（如r5版本针对多公司场景优化），其因果观测设计与低层级输入通道分离机制催生了GUI智能体可解释性分析的工作；轨迹对齐字段（将观察结果与输入事件范围关联至节点ID）为动作步骤分割与层级归纳提供了基准，启发了基于节点树可解释性的指令跟随智能体评估方法学。

数据集最近研究

最新研究方向

在图形用户界面（GUI）代理与多应用协同操作的研究前沿，SynthUX经济模拟数据集（synthux-economy-r5-w064）凭借其独特的跨平台、多公司经济仿真框架，为智能体在真实桌面环境中的细粒度操作轨迹研究提供了宝贵资源。该数据集涵盖macOS、Windows及浏览器操作系统，通过模拟6家公司的36条完整操作轨迹，记录了从自然语言目标到低级鼠标/键盘事件的完整转换过程。这一设计紧密贴合当前AI领域对“计算机使用”（computer-use）能力的热点追求，尤其在多应用无叠加执行、跨OS消息传递及大范围经济体系模拟方面开辟了新的评测维度。其每节点帧与全屏视频的同步记录方式，不仅支持对GUI代理因果推理能力的深度分析，也为实现从观察到交互的端到端学习范式提供了实证基础，对推动智能体在复杂企业环境中的部署具有标杆意义。