jacob-valdez/synthux-economy-r5-w023

SynthUX计算机使用数据集（经济模拟r5版）是一个基于视觉的计算机使用轨迹数据集，由SynthUX生成。每个记录模拟了一个公司内一个工作者的设备会话：目标扩展为节点树，终端节点通过低级别鼠标/键盘输入驱动真实桌面模拟器应用程序（包括终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等），观察到的轨迹被记录为屏幕视频和每个节点的帧。该数据集支持应用原生多应用程序执行（无工作台覆盖），具有每个参与者的内容多样性、跨操作系统消息传递和大型多公司经济模拟功能。每个经济模拟都作为独立的数据集仓库发布。数据内容包括JSONL格式的记录文件、每个轨迹的截图（按节点存储为PNG格式）和完整屏幕录制视频（WebM格式）。记录模式涵盖轨迹ID、参与者信息、环境、自然语言目标、节点树、输入事件、观察结果、对齐和媒体文件。统计信息显示本版本包含36个轨迹、955个帧、6家公司，环境分布为browser-os（8个）、macos-web-next（19个）和windows-web-next（9个）。数据由SynthUX生成，观察结果是因果的（突变通道为低级别输入），在捕获过程中未使用高级别应用程序突变。SynthUX Computer Usage Dataset (Economic Simulation r5 Version) is a vision-based computer interaction trajectory dataset generated by SynthUX. Each record simulates a device session of a worker within a company: the task goal is expanded into a node tree, and terminal nodes drive real desktop simulator applications (including terminals, note-taking tools, VS Code, web browsers, Slack/Teams, email clients, spreadsheets, presentation software, etc.) via low-level mouse and keyboard inputs. The observed interaction trajectories are recorded as screen videos and per-node frame sequences. This dataset supports native multi-application execution (without workspace overlay), and features content diversity per participant, cross-operating system messaging functionality, and large-scale multi-company economic simulation capabilities. Each economic simulation is released as an independent dataset repository. The dataset content includes JSONL-formatted record files, per-trajectory screenshots stored as PNG files organized by node, and full-screen recording videos in WebM format. The record schema covers trajectory ID, participant information, environment configuration, natural language task goals, node trees, input events, observation data, alignment annotations, and media files. Statistical summaries show that this version contains 36 trajectories, 955 frames, across 6 companies, with the environment distribution being browser-os (8 instances), macos-web-next (19 instances), and windows-web-next (9 instances). The dataset is generated by SynthUX, where the observational data is causal (the mutation channel utilizes low-level inputs), and no high-level application-level mutations were used during the data capture process.

搜集汇总

数据集介绍

构建方式

该数据集的构建根植于SynthUX框架的多公司经济模拟场景。每个记录代表一位虚拟职员在模拟公司中的设备会话：首先，将自然语言目标扩展为一棵节点树，终端节点通过底层鼠标与键盘输入驱动桌面模拟器应用（包括终端、笔记、代码编辑器、浏览器、即时通讯、邮件、表格与演示文稿等）。执行过程严格遵循原生多应用交互模式，不依赖工作台覆盖层，轨迹以屏幕视频与每节点帧形式被完整捕获，从而形成从高层意图到低层操作的因果链。

特点

数据集的核心特点在于其真实性与多样性。它涵盖了6家不同公司共36条轨迹，每条轨迹包含完整的低层输入事件与因果状态观测，共计955帧图像。跨操作系统消息传递、多公司经济生态以及每个虚拟角色独立的内容生成机制，使其能够模拟复杂的企业信息环境。此外，基于严格因果建模的观测方式（仅通过低层输入变化驱动状态更新）确保了数据的内在一致性与可复现性。

使用方法

数据集以标准格式存储，便于直接加载使用。主文件data.jsonl中包含每条轨迹的元数据与结构化的输入事件序列；对应的屏幕录像以webm格式存放于videos目录，每节点快照以PNG格式保存于screenshots目录。研究人员可通过轨迹ID关联视频、帧图像与事件记录，用于训练视觉语言模型、评估GUI代理的行为一致性或开发跨应用操作的理解系统。数据采用Apache 2.0许可协议，支持学术与商业用途。

背景与挑战

背景概述

SynthUX Computer-Use数据集（economy sim r5）由SynthUX研究团队于2025年创建，旨在解决图形用户界面（GUI）代理在多应用、多任务环境中的自主操作问题。该数据集通过模拟虚拟公司内的员工会话，生成包括屏幕视频和逐节点帧的完整操作轨迹，覆盖Terminal、VS Code、Slack/Teams等桌面应用程序。其核心研究问题聚焦于如何基于低层级鼠标键盘输入生成因果一致的操作序列，以推动GUI代理在真实办公场景中的应用。数据集采用Apache-2.0许可证发布，为多应用交互研究和代理行为建模提供了稀缺的细粒度、多粒度结构化数据，对计算机使用自动化领域具有重要影响。

当前挑战

该数据集面临的挑战包括：1）领域问题层面，GUI代理需在复杂多应用环境中执行精准操作，现有模型常因缺乏对跨应用状态流转和界面变异的感知能力而导致任务失败，SynthUX通过模拟多公司经济体系中的动态交互场景，试图克服这一障碍。2）构建过程中，需保证每个轨迹内操作序列的因果一致性，即仅通过低层级输入改变应用状态（避免高级变异），同时确保不同角色、公司和操作系统环境下的内容多样性（如6家公司、36条轨迹、955帧样本），这对模拟器的稳定性、事件捕获的完整性以及多OS（macOS、Windows、浏览器）适配提出了严苛要求。

常用场景

经典使用场景

SynthUX Economy R5 W023 数据集专为多应用图形用户界面（GUI）代理的研究与开发而设计，其核心应用场景聚焦于模拟企业环境中由自然语言目标驱动的、跨应用程序的计算机操作轨迹。研究人员可利用该数据集训练和评估能够理解复杂指令、规划操作序列并执行诸如终端命令、代码编辑、表格处理、邮件通信及即时消息发送等桌面级任务的智能代理系统。数据集通过记录细粒度的鼠标与键盘输入事件、屏幕录像及对应节点的观察状态，为构建具备多步推理与跨应用协调能力的自主GUI代理提供了高保真的训练与基准测试平台。

衍生相关工作

基于该数据集框架，研究者已衍生出多项具有影响力的工作。其中，SynthUX生成管线本身作为合成轨迹的高效生产方案，启发了后续关于数据增强与课程学习的研究；部分团队利用其多公司经济模拟背景，探索了基于角色（如会计、项目经理）的代理专业化训练策略，并发布了配套的角色自适应权重微调方法。此外，依赖该数据集的因果对齐特性，学术界初步形成了衡量GUI代理“规划-执行-感知”闭环一致性的评估指标，催生了如AgentBench、OSWorld等基准测试在跨应用场景下的扩展版本，进一步推动了通用计算机使用代理领域的数据与评估标准化进程。

数据集最近研究

最新研究方向

SynthUX Economy R5 W023数据集聚焦于多应用桌面模拟环境下的GUI代理行为轨迹生成，通过模拟跨公司经济体系中的设备会话，记录从自然语言目标到低层级鼠标键盘操作的完整轨迹，包含屏幕视频与逐节点帧。当前前沿方向集中于利用此类细粒度、多平台（macOS/Windows/浏览器）的合成数据训练能够自主完成复合办公任务的GUI代理，尤其在多应用协作（如终端、代码编辑器、通信工具、电子表格）与跨组织角色对齐方面。该数据集呼应了近期AI代理在自动化企业工作流、数字孪生经济模拟中的热点，其因果观测范式与节点树驱动执行机制为可解释的决策追踪提供了基准，推动了从单应用操作到全栈桌面生态的智能体能力跃迁。这一资源对研究现实世界人机协作的高保真模拟与泛化性具有里程碑意义。