jacob-valdez/synthux-economy-r1-w007

SynthUX计算机使用数据集—经济模拟版本r1，由SynthUX生成的基于视觉的计算机使用轨迹数据。每个记录代表一个模拟公司内工作者的设备会话：一个目标被扩展为节点树，终端节点通过低级鼠标/键盘输入驱动真实的桌面模拟器应用（包括Terminal、Notes、VS Code、Browser、Slack/Teams、Mail、Sheets、Slides等），观察到的轨迹以屏幕视频和每个节点的帧形式记录。该数据集支持应用原生多应用执行（无工作台覆盖）、每个演员的内容多样性、跨操作系统消息传递以及大型多公司经济模拟。每个经济模拟作为独立的数据集仓库发布。Grounded visual computer-use trajectories generated by SynthUX. Each record is one workers device session inside a simulated company: a goal expands into a node tree, terminal nodes drive real desktop-simulator apps (Terminal, Notes, VS Code, Browser, Slack/Teams, Mail, Sheets, Slides, …) through low-level mouse/keyboard input, and the observed trajectory is recorded as a screen video plus per-node frames. App-native multi-application execution (no workbench overlay), per-actor content diversity, cross-OS messaging, and large multi-company economies. Each economy simulation is published as its own dataset repo.

搜集汇总

数据集介绍

构建方式

该数据集SynthUX Economic Sim R1由SynthUX生成，模拟了一家虚拟公司内多位员工的设备会话过程。每个会话从一条自然语言目标出发，扩展为一棵节点树，终端节点驱动真实的桌面模拟器应用（包括终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等）执行底层鼠标与键盘输入。整个操作轨迹以屏幕视频和每个节点的帧图像进行记录，采用应用原生的多应用执行方式，而非工作台叠加层，确保了场景的真实性。

特点

数据集的核心特色在于其高度拟真的多公司经济模拟环境，涵盖了macOS、Windows及浏览器三大操作系统，包含来自6家公司的36条轨迹与877个帧图像。数据具备每参与者内容多样性、跨操作系统消息交互以及多应用协同操作等属性，每个轨迹均记录了密集的底层输入事件与因果性的模拟器状态变化，为研究图形用户界面代理提供了丰富而真实的训练素材。

使用方法

数据集以标准结构存储，主文件data.jsonl包含每条轨迹的结构化元数据，包括目标、节点树、输入事件序列及状态观察，并附有对齐信息将观察与输入事件范围映射至节点ID。媒体资源分别存放于screenshots/<trajectory>/<node_id>.png和videos/<trajectory>.webm中。研究人员可直接加载JSON Lines文件解析轨迹，结合对应帧图像与视频进行多模态理解与GUI代理行为分析。

背景与挑战

背景概述

SynthUX Economy R1 W007 数据集由 SynthUX 团队于近期创建，专注于生成真实的计算机使用轨迹，旨在推动图形用户界面智能体（GUI Agent）在复杂多应用环境中的研究。该数据集通过模拟一个包含多个公司、角色和跨操作系统通信的经济体系，生成了每个员工在虚拟公司中的桌面会话记录，涵盖从自然语言目标到低层级鼠标/键盘输入的完整序列。研究人员利用该数据集探索如何让智能体在真实的多应用、多用户场景中执行任务，从而弥补了现有合成数据集在跨应用协调和生态多样性方面的不足，对推动自主人机交互系统的发展具有重要意义。

当前挑战

该数据集面临的挑战包括：1) 领域问题方面，GUI 智能体需要在无统一工作台的情况下，原生操作多个应用程序（如终端、浏览器、邮件、协作工具等），并应对不同操作系统（macOS、Windows、浏览器）的界面差异，实现跨应用的任务协调；2) 构建过程中，如何确保每个演员（员工）生成多样化的内容、模拟真实的公司经济互动并记录完整的低层级输入事件与因果观察状态，同时避免高层次的干预，这对数据生成管道的保真度和可扩展性提出了高要求。

常用场景

经典使用场景

SynthUX Economy R1 W007数据集专为多应用、跨平台的计算机使用行为建模而设计，其核心应用场景在于训练和评估能够自主执行复杂工作流的图形用户界面代理。该数据集收录了36条完整轨迹，涵盖6家虚构公司中不同角色的工作人员在macOS、Windows及浏览器操作系统上的真实操作序列，包括终端命令、文本编辑、代码编写、网页浏览、即时通讯、邮件处理及办公套件使用等任务。通过低层级鼠标、键盘与脚本事件的密集记录，以及每节点对应的屏幕帧与完整视频回放，研究者能够利用该数据集构建能够理解界面状态、规划多步操作并适应动态变化的通用型GUI智能体。

解决学术问题

该数据集着力缓解当前计算机使用智能体研究中两大核心瓶颈：缺乏跨应用、跨操作系统的多步骤轨迹数据，以及真实环境中动作空间与视觉状态的高维复杂性问题。通过提供因果对齐的观察序列与输入事件，SynthUX Economy R1 W007支持学者探索指令理解、子目标分解、失误恢复及环境反馈等关键议题，尤其助力于解决智能体在非结构化数字工作空间中的泛化能力不足问题。其多公司、多角色的内容多样性设计，也为研究社会计算中的组织行为差异与角色特异性动作策略提供了珍贵的实验材料。

衍生相关工作

该数据集的出现推动了基于视觉观察的GUI智能体建模方法学发展，衍生出多项开创性工作。研究者借鉴其因果对齐框架，提出了能够从屏幕录像中自动解析原子操作序列的反向强化学习模型；基于该数据集的多公司经济模拟设定，催生了跨组织工作流迁移学习算法，使智能体能够将在一个企业环境中习得的操作知识快速适配至逻辑相似但界面布局迥异的新场景。同时，数据集中高密度的输入事件记录方式，启发了将鼠标轨迹与键盘时序作为隐式行为特征进行用户身份识别与意图预测的研究分支，拓展了人机交互分析的传统边界。