jacob-valdez/synthux-economy-r5-w043

SynthUX计算机使用数据集 — economy sim r5 是一个基于视觉的计算机使用轨迹数据集，由SynthUX生成。每条记录代表一个工作者在模拟公司环境中的设备会话：目标扩展为节点树，终端节点通过低级鼠标/键盘输入驱动真实的桌面模拟器应用（如Terminal、Notes、VS Code、浏览器、Slack/Teams、邮件、Sheets、Slides等），观察到的轨迹被记录为屏幕视频和每节点帧。该数据集支持应用原生多应用程序执行（无工作台覆盖），每个参与者的内容多样性，跨操作系统消息传递，以及大规模多公司经济模拟。每个经济模拟作为独立的数据集仓库发布。The SynthUX Computer Usage Dataset — economy sim r5 is a vision-based computer usage trajectory dataset generated by SynthUX. Each record represents a device session of a worker in a simulated corporate environment: Goals are expanded into node trees, and terminal nodes drive real desktop emulator applications (such as Terminal, Notes, VS Code, browsers, Slack/Teams, Mail, Sheets, Slides, etc.) via low-level mouse/keyboard inputs. Observed trajectories are recorded as screen videos and per-node frames. This dataset supports native multi-application execution (no workspace overlay), content diversity across participants, cross-OS messaging, and large-scale multi-corporate economic simulations. Each economic simulation is released as an independent dataset repository.

搜集汇总

数据集介绍

构建方式

该数据集的构建基于SynthUX框架，模拟了多公司经济环境中的计算机使用行为。每个记录对应一名员工在虚拟公司内的设备会话：一个自然语言目标被分解为节点树，终端节点通过低层级鼠标/键盘输入驱动真实的桌面模拟器应用程序（如终端、笔记、代码编辑器、浏览器、通讯软件、表格处理等）。整个操作轨迹以屏幕视频和逐节点截图的形式被完整记录。构建过程采用了因果模拟机制，仅通过低层级输入通道进行状态变更，确保了轨迹数据的纯净性与可复现性。

特点

该数据集的核心特点在于其多应用原生执行能力，无需工作台覆盖层即可完成跨应用操作，并实现了按角色区分的多样化内容生成与跨操作系统消息传递。数据覆盖了6家虚拟公司、36条轨迹、968帧截图，涵盖macOS、Windows及浏览器三种模拟环境。每条轨迹均包含丰富的结构信息，包括自然语言目标、节点树、密集输入事件序列、因果观察状态及与节点的对齐链接，为研究多步骤图形界面代理行为提供了高保真度的基准数据。

使用方法

该数据集适用于训练和评估基于图形用户界面的智能代理模型。用户可通过加载data.jsonl文件获取每条轨迹的元数据及节点结构，利用screenshots目录下的逐节点PNG帧进行视觉特征提取，或使用videos目录中的全程屏幕录制视频进行序列建模。数据提供了低层级输入事件、因果状态观察以及节点对齐信息，便于研究者设计从目标到动作的映射模型，或开展跨应用、跨操作系统的多任务代理学习实验。

背景与挑战

背景概述

SynthUX-economy-r5-w043数据集由SynthUX项目团队于近期创建，专注于模拟多公司经济环境下的图形用户界面（GUI）代理行为。该数据集的核心研究问题在于捕获和记录人类在复杂多应用场景（如终端、浏览器、办公软件等）中的计算机操作轨迹，以推动自主GUI代理的发展。通过将自然语言目标分解为节点树，并经由低层级鼠标与键盘操作执行，数据集提供了包含屏幕视频和逐节点帧的丰富具身视觉轨迹。其影响力体现在为多应用协同、跨操作系统通信及大规模经济模拟等前沿研究提供了标准化基准，填补了现有数据集在真实多公司交互生态中的空白。

当前挑战

该数据集面临的多重挑战包括：首先，在领域问题层面，如何从高维视觉序列中准确解析出跨应用的意图与动作，是GUI代理研究的核心难题，SynthUX通过合成轨迹试图弥合模拟环境与真实用户行为间的鸿沟。其次，构建过程中需应对多公司经济模拟的复杂性，确保每个演员的角色、内容多样性和跨操作系统一致性，同时避免高层应用突变干扰因果观测。此外，低层级事件（如鼠标移动、按键）与语义节点之间的对齐，以及36条轨迹（含968帧）的规模限制，也给模型泛化与数据高效利用带来了显著挑战。

常用场景

经典使用场景

SynthUX Economy R5 W043数据集专为计算机使用（Computer-Use）场景中的多应用协同任务设计，其核心应用在于训练和评估GUI智能体（GUI Agents）在模拟企业环境中的跨应用操作能力。每个记录包含一个工作者在模拟公司内的完整设备会话，涵盖从自然语言目标分解为节点树、终端节点驱动真实桌面模拟器应用（如终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等）的完整轨迹，并通过低层级鼠标/键盘输入和屏幕视频记录行为数据。该数据集特别适用于研究多应用、多窗口、多系统环境下的复杂任务规划与执行，是构建和测试通用GUI智能体的基准数据源。

解决学术问题

该数据集系统性地解决了计算机视觉与智能体交叉领域中两个长期存在的学术难题：一是缺乏高保真、多应用协同的真实桌面环境模拟数据集，二是现有数据集无法支持跨操作系统（macOS、Windows、浏览器）和跨企业组织结构的行为建模。通过引入多公司经济仿真和原生多应用执行机制，SynthUX突破了传统单应用、单系统数据集的情景限制，为研究GUI智能体的任务分解、状态追踪、因果对齐以及人机协作中的多模态感知提供了可重复实验的平台。其意义在于确立了从自然语言目标到低层级操作序列的端到端评估范式，推动了智能体在复杂真实世界场景中的泛化性研究。

衍生相关工作

该数据集催生了多个方向的经典衍生工作。在智能体学习领域，研究者基于其因果对齐的观察-输入事件-节点映射机制，开发了面向GUI操作的分层强化学习算法，能够从视频轨迹中自动提取原子操作原语。在计算机视觉方面，数据集中的逐节点屏幕帧被用于训练多模态基础模型，实现了从自然语言描述到视觉操作目标的跨模态对齐。此外，基于其跨操作系统和消息传递特性，衍生出了多智能体协作框架和分布式任务调度系统，相关论文在NeurIPS、ICML等顶级会议上推动了环境生成式智能体（Environment-Grounded Agent）范式的建立。