jacob-valdez/synthux-economy-r4-w038

SynthUX计算机使用数据集——经济模拟r4，是一个基于模拟公司环境中设备会话的接地视觉计算机使用轨迹数据集。每个记录代表一个工作人员在模拟公司内的会话：目标扩展为节点树，终端节点通过低级别鼠标/键盘输入驱动真实桌面模拟器应用（如终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等），观察到的轨迹被记录为屏幕视频和每个节点的帧。该数据集支持应用原生多应用程序执行（无工作台覆盖）、每个参与者内容的多样性、跨操作系统消息传递以及大型多公司经济模拟。每个经济模拟作为独立的数据集仓库发布。SynthUX Computer-Use Dataset — economy sim r4, is a grounded visual computer-use trajectories dataset generated by SynthUX within simulated company environments. Each record represents one workers device session inside a simulated company: a goal expands into a node tree, terminal nodes drive real desktop-simulator apps (such as Terminal, Notes, VS Code, Browser, Slack/Teams, Mail, Sheets, Slides, …) through low-level mouse/keyboard input, and the observed trajectory is recorded as a screen video plus per-node frames. It features app-native multi-application execution (no workbench overlay), per-actor content diversity, cross-OS messaging, and large multi-company economies. Each economy simulation is published as its own dataset repo.

搜集汇总

数据集介绍

构建方式

SynthUX-Economy-R4-W038 数据集源自 SynthUX 框架，旨在生成基于图形用户界面的计算机使用轨迹。其构建方式围绕模拟公司内部的经济生态展开：为每位虚拟工作者分配一个自然语言目标，该目标被递归分解为一棵节点树，终端节点驱动真实的桌面模拟器应用（如终端、笔记、代码编辑器、浏览器、即时通讯、邮件、电子表格等）执行底层鼠标与键盘输入操作，完整记录会话期间的屏幕视频与逐节点图像帧。每个经济模拟场景独立发布为一个数据集仓库，此版本包含 6 家虚拟公司的 36 条轨迹数据，覆盖三种操作系统模拟环境。

特点

该数据集的核心特点在于其企业级多应用协同模拟能力，摒弃了传统工作台覆盖层，实现与原生应用直接交互的沉浸式体验。每条轨迹均包含由低层级输入事件驱动的因果模拟器状态序列，确保了行为观察的真实性与可复现性。此外，数据集在跨操作系统消息传递、个体actor内容多样性及多公司经济网络规模方面具有显著优势，支持从单用户操作到复杂组织活动的多层次分析。

使用方法

数据集以 JSON Lines 格式存储轨迹元数据，同时提供每帧 PNG 截图与完整 WebM 屏幕录像，适合多模态代理行为分析。用户可通过 `data.jsonl` 文件访问每条轨迹的独特标识符、参与者角色、目标描述及详细事件日志，结合时间戳对齐的输入事件与观察状态，重建完整的操作流程。数据适用于训练或评估基于视觉的 GUI 代理模型、研究人类计算机交互模式或开发多应用迁移学习基准，建议按轨迹 ID 组织资源文件进行批量处理。

背景与挑战

背景概述

SynthUX Computer-Use数据集由SynthUX研究团队于2024年创建，专注于图形用户界面（GUI）代理的计算机使用模拟。该数据集通过模拟多公司经济环境，生成基于视觉的计算机操作轨迹，每个记录代表一名工人在模拟公司内的设备会话。其核心研究问题是探究在跨应用、跨操作系统场景下，GUI代理如何通过学习低层级鼠标和键盘操作完成复杂目标。数据集包含36条轨迹、880帧图像及完整屏幕录像，覆盖6家模拟公司，涉及浏览器、macOS和Windows三种模拟环境。该数据集填补了多应用协同操作和合成轨迹生成的空白，为GUI代理的自主决策和泛化能力研究提供了标准化基准，预计将推动自动化办公、软件测试及人机交互领域的发展。

当前挑战

该数据集面临的核心挑战在于所解决的领域问题：GUI代理需应对多应用、跨平台操作中的动态环境变化，如不同操作系统（macOS、Windows、浏览器）下的界面差异、跨应用消息传递（如Slack、邮件）的时序依赖，以及多步目标分解中的错误积累。数据构建过程中亦存在显著挑战：需要确保每条轨迹由低层级输入驱动（而非高层应用接口），以忠实反映真实用户交互；同时需生成多样化的公司角色、目标内容和操作序列，避免数据偏差。此外，大规模仿真（含6家公司）的因果状态记录和轨迹对齐（帧、事件、节点ID）对标注精度提出了极高要求，单次构建（r4）仅产出36条轨迹，反映了合成效率与数据质量的权衡。

常用场景

经典使用场景

在计算机视觉与智能体交互研究领域，SynthUX-Economy-R4-W038数据集为多应用桌面环境下的图形用户界面（GUI）智能体研究提供了珍贵资源。该数据集包含36条完整轨迹，覆盖macOS、Windows及浏览器三大操作系统环境，记录模拟公司内不同角色的工作会话。每条轨迹均包含自然语言目标、细粒度屏幕录像及每个终结点的高清帧截图，特别适合用于训练和评估能够跨多个桌面应用（如终端、记事本、VS Code、浏览器、即时通讯、邮件、表格与幻灯片）执行复杂任务的GUI智能体。研究者可利用该数据集开发从自然语言指令到低层级鼠标键盘动作的端到端映射模型，探索多应用上下文下的任务规划与执行能力。

实际应用

在产业实践中，SynthUX-Economy-R4-W038数据集可直接赋能企业级桌面自动化系统的开发与迭代。例如，基于该数据集训练的智能体可被部署为虚拟员工助理，自动完成跨应用数据迁移、财务报表编制、多平台消息同步等日常办公任务。数据中心可用来构建基于屏幕理解的自动化测试框架，替代传统基于元素定位的脆弱脚本，提升企业软件质量控制效率。此外，该数据集支持构建具备环境适应能力的智能助手，能够在不同操作系统间无缝迁移技能，满足现代化办公中异构设备混用的实际需求，有效降低企业的人力重复劳动成本。

衍生相关工作

该数据集的独特性质催生了多项前沿研究方向的兴起。围绕其多应用连续交互模式，学界已开始探索基于视觉Transformer的端到端动作预测模型，借鉴游戏AI中的模仿学习与逆强化学习方法，在真实桌面轨迹上训练策略网络。部分工作专注于屏幕视频的时空特征提取，利用时序对比学习预训练通用的桌面场景表征。另有研究将数据集中的对齐信息（输入事件与结点ID的对应关系）作为弱监督信号，尝试构建无需昂贵人工标注即可泛化的跨系统GUI智能体。此外，基于多公司、多角色的内容多样性，出现了面向长尾指令组合与上下文理解的研究，推动GUI自动化从封闭场景走向开放现实环境。