jacob-valdez/synthux-economy-r5-w002

SynthUX计算机使用数据集——经济模拟r5是一个基于SynthUX生成的视觉计算机使用轨迹数据集。该数据集模拟公司环境中工人的设备会话：目标被扩展为节点树，终端节点通过底层鼠标/键盘输入驱动真实桌面模拟器应用（如终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等），观察到的轨迹被记录为屏幕视频和每节点帧。数据集支持应用程序原生多应用程序执行（无工作台覆盖）、每参与者内容多样性、跨操作系统消息传递和大规模多公司经济模拟。每个经济模拟作为独立的数据集仓库发布。数据集包含data.jsonl（每个渲染轨迹的记录）、screenshots/<trajectory>/<node_id>.png（每个终端节点的帧，在节点的最后输入事件时拍摄）和videos/<trajectory>.webm（完整屏幕录制）。记录结构包括轨迹ID、参与者信息、环境、目标、节点树、输入事件、观察结果、对齐和媒体文件。此构建包含36个轨迹、36个视频、809帧、6家公司，环境分布为browser-os（9）、macos-web-next（10）和windows-web-next（17）。数据集使用SynthUX生成，观察结果是因果的（突变通道为低级别输入），捕获过程中未使用高级别应用程序突变。The SynthUX Computer-Use Dataset — economy sim r5 is a dataset of grounded visual computer-use trajectories generated by SynthUX. It simulates a workers device session inside a simulated company: a goal expands into a node tree, terminal nodes drive real desktop-simulator apps (such as Terminal, Notes, VS Code, Browser, Slack/Teams, Mail, Sheets, Slides, etc.) through low-level mouse/keyboard input, and the observed trajectory is recorded as a screen video plus per-node frames. The dataset features app-native multi-application execution (without workbench overlay), per-actor content diversity, cross-OS messaging, and large multi-company economies. Each economy simulation is published as its own dataset repository. The dataset includes data.jsonl (one record per rendered trajectory), screenshots/<trajectory>/<node_id>.png (a frame per terminal node, taken at that nodes last input event), and videos/<trajectory>.webm (the full screen recording). The record schema covers trajectory ID, actor information, environment, goal, node tree, input events, observations, alignment, and media files. This build contains 36 trajectories, 36 videos, 809 frames, 6 companies, with environment distribution: browser-os (9), macos-web-next (10), windows-web-next (17). The dataset is generated with SynthUX, observations are causal (mutation channel = low_level_input), and no high-level app mutation is used during capture.

搜集汇总

数据集介绍

构建方式

在当代GUI代理研究领域，面对多应用协同操作数据稀缺的挑战，SynthUX数据集应运而生。该数据集通过模拟公司内部工作场景，将每位员工的设备会话作为一条轨迹记录。其构建方式采用层级化任务分解策略：首先将自然语言目标展开为节点树，随后终端节点通过底层鼠标与键盘输入驱动真实的桌面模拟器应用，涵盖终端、笔记、代码编辑器、浏览器、即时通讯、邮件、电子表格及演示文稿等多种工具。观察轨迹以屏幕视频与逐节点帧的形式被完整记录，整个生成过程依托于因果模拟机制，仅通过低层级输入通道进行状态变更，确保了数据的原生性与真实性。

特点

该数据集展现出三大核心特色：其一为多应用原生执行模式，摒弃了工作台覆盖层，使得代理操作完全在真实应用环境中进行；其二为内容多样性，每个参与者都拥有独特的身份背景与角色定位，分布在多家模拟公司中，形成了丰富的跨操作系统消息交互场景；其三为宏观社会经济模拟，将单一设备会话扩展至多公司经济体系，为研究大规模协作型GUI代理提供了独特视角。数据集包含36条轨迹、809帧画面与6家模拟公司，覆盖macOS、Windows及浏览器三种环境，结构上融合了密集的低层级输入事件、因果状态观测与精准的节点对齐信息。

使用方法

使用本数据集时，研究人员可通过data.jsonl文件访问包括轨迹标识符、参与者身份、模拟环境、自然语言目标、节点树及输入事件在内的完整信息。每条轨迹均配有全屏屏幕录像与逐终端节点的静态帧截图，便于进行多模态分析。具体而言，用户可解析trajectory.input_events字段中的时间戳事件序列以复现操作流程，利用trajectory.observations获取因果状态，并通过trajectory.alignment建立观测与节点的映射关系。视频与图像资源分别存放于videos与screenshots目录中，支持开发者在GUI代理训练、行为克隆或环境理解任务中进行灵活的数据提取与实验设计。

背景与挑战

背景概述

SynthUX Computer-Use (economy sim) 数据集诞生于大语言模型与图形用户界面代理交叉研究的浪潮中，由 SynthUX 团队于近期创建。该数据集聚焦于多应用协同的计算机使用场景，通过模拟多公司经济体系，生成了包含36条轨迹、809帧图像的视觉-动作序列数据。其核心研究问题在于如何构建能够理解并执行复杂、多步骤桌面任务（如跨应用通讯、代码编辑与文档处理）的可泛化 GUI 代理。该数据集以原生桌面应用执行（非工作台覆盖）和跨操作系统消息传递为特色，为研究多应用、多代理环境下的任务规划与视觉 grounding 提供了高质量的基准，对推动 GUI 自主智能体的发展具有重要价值。

当前挑战

当前该数据集面临的主要挑战包括：一、领域问题层面，现有 GUI 代理多局限于单一应用或简化环境，难以应对真实世界中多应用协同、跨平台操作及动态经济模拟带来的复杂交互逻辑，而本数据集正是为解决此类长尾、多步骤任务而设计；二、构建过程中，数据生成依赖 SynthUX 管线，需从高层目标树（node tree）映射至低层级鼠标/键盘事件，确保终端节点逐帧截图与屏幕视频的因果一致性，同时避免使用高级应用接口而坚持原生输入模拟，这对轨迹的保真度与可复现性提出了极高要求。

常用场景

经典使用场景

在数字交互研究领域，SynthUX Economy R5 W002数据集为探索多应用协同工作的计算机使用行为提供了独特的合成轨迹资源。其经典使用场景聚焦于模拟企业内部员工在真实桌面环境中执行复杂任务的全过程，通过记录从自然语言目标到终端节点的完整决策树，并采集低层鼠标/键盘输入事件及屏幕视频，研究者能够精准复现和解析跨应用交互的动态流程。该数据集特别适用于训练和评估能够理解多步骤、多窗口操作的图形用户界面智能体，为构建具备上下文感知能力的自动化系统奠定基础。

衍生相关工作

基于该数据集，研究社区已衍生出一系列前沿工作，包括面向GUI智能体的行为克隆与逆强化学习算法、跨应用注意力机制的任务状态追踪模型，以及融合视觉与序列特征的操作预测网络。部分工作进一步拓展至多智能体协作框架，利用数据集中的公司层级结构来模拟组织内的角色分工与信息流动。此外，该数据集的公开也为合成数据质量控制与因果轨迹校验等评估标准的确立提供了基准，催生了关于仿真逼真度与泛化能力之间权衡关系的理论探讨。

数据集最近研究

最新研究方向

该数据集聚焦于合成环境下人机交互与多应用协作的计算机使用轨迹模拟，尤其在经济模拟场景中驱动GUI智能体研究。当前前沿方向包括跨操作系统（如macOS、Windows、浏览器）的桌面任务自动化、多公司经济体系内的角色行为对齐、以及基于低层级鼠标键盘事件的因果轨迹重建。这一资源为构建更鲁棒的通用GUI代理提供了高保真、多视角的训练与评估基础，有助于推动自动化办公、数字员工及企业级工作流智能化的技术演进。