jacob-valdez/synthux-economy-r3-w031

SynthUX计算机使用数据集（经济模拟r3）是一个基于视觉的计算机使用轨迹数据集，通过SynthUX生成。每个记录模拟了一个工作者在模拟公司设备上的会话：一个目标扩展为节点树，终端节点通过低级别鼠标/键盘输入驱动真实的桌面模拟器应用程序（包括终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等），观察到的轨迹被记录为屏幕视频加上每个节点的帧。数据集支持应用原生多应用程序执行（无工作台覆盖），每个演员的内容多样性，跨操作系统消息传递，以及大型多公司经济模拟。每个经济模拟作为独立的数据集仓库发布。内容包括data.jsonl文件（每个渲染轨迹一个记录）、截图（每个终端节点的帧，在节点的最后一个输入事件时拍摄）和视频（完整的屏幕录制）。记录模式包括轨迹ID、演员ID、公司、角色、环境、目标、节点树、输入事件、观察结果、对齐和媒体字段。统计显示有36个轨迹、964帧、6个公司，环境分布为browser-os（7个）、macos-web-next（11个）和windows-web-next（18个）。数据集使用SynthUX生成，观察结果是因果的，基于低级别输入，未使用高级别应用程序突变。The SynthUX Computer-Use Dataset (economy sim r3) consists of grounded visual computer-use trajectories generated by SynthUX. Each record represents one workers device session inside a simulated company: a goal expands into a node tree, terminal nodes drive real desktop-simulator apps (such as Terminal, Notes, VS Code, Browser, Slack/Teams, Mail, Sheets, Slides, etc.) through low-level mouse/keyboard input, and the observed trajectory is recorded as a screen video plus per-node frames. It features app-native multi-application execution (without workbench overlay), per-actor content diversity, cross-OS messaging, and large multi-company economies. Each economy simulation is published as its own dataset repository. Contents include data.jsonl (one record per rendered trajectory), screenshots (a frame per terminal node taken at that nodes last input event), and videos (full screen recordings). The record schema includes fields like trajectory_id, actor_id, company, role_id, title, env, goal, tree.nodes, trajectory.input_events, trajectory.observations, trajectory.alignment, media.video, and media.frames. Statistics for this build show 36 trajectories, 964 frames, 6 companies, with environment distribution: browser-os (7), macos-web-next (11), windows-web-next (18). Provenance indicates generation with SynthUX, with causal observations (mutation channel = low_level_input) and no high-level app mutation used during capture.

搜集汇总

数据集介绍

构建方式

SynthUX Computer-Use数据集——economy simulation r3版本，专注于模拟企业环境中的图形用户界面操作轨迹。其构建方式独具匠心：每个记录对应一名员工在模拟公司内的设备会话，一个自然语言目标被分解为节点树，终端节点通过低层级鼠标与键盘输入驱动真实的桌面模拟器应用程序（包括终端、笔记、代码编辑器、浏览器、即时通讯、邮件、电子表格及演示文稿等），并记录完整的操作路径。整个执行过程完全基于应用程序原生界面，无需工作台叠加层，确保操作环境的真实性与多样性。每个经济模拟场景均独立发布为数据集仓库，本版本包含6家公司、36条轨迹及964帧画面，涵盖macOS、Windows及浏览器三种操作系统环境。

特点

本数据集的核心特点在于其多应用协同与多公司经济模拟的复杂性。各轨迹不仅记录了单一应用的操作，更展现了跨操作系统的消息传递与多应用程序间的无缝切换，如从代码编辑器跳转至即时通讯软件进行协作。每个参与者的操作内容经过精心设计以保持多样性，避免重复模式。此外，数据集提供了丰富的粒度信息：包括完整的屏幕录像（WebM格式）、每终端节点的独立帧截图（PNG格式）以及详细的低层级输入事件序列，时间戳精确至毫秒级。因果观测状态仅由真实输入触发，杜绝了高级应用层干预，确保了数据的纯净与可复现性。

使用方法

该数据集可通过HuggingFace平台直接获取，主要包含三个组成部分：核心数据文件data.jsonl存储每条轨迹的结构化元数据与事件序列；screenshots目录按轨迹ID组织，存放各节点对应的界面截图；videos目录则提供完整的屏幕录制视频。使用者可依据trajectory_id字段进行数据检索，结合goal字段理解任务背景，通过input_events与observations字段分析底层交互模式，并利用alignment字段将观测与输入事件精确关联至具体节点。适用于训练GUI代理模型、多应用工作流分析、以及跨平台操作行为的模拟研究，亦可用于开发基于视觉的桌面自动化系统。

背景与挑战

背景概述

SynthUX Economy Simulator R3数据集由SynthUX团队于近期创建，旨在推动图形用户界面（GUI）代理领域的研究。该数据集围绕模拟企业生态中的多应用计算机使用场景构建，记录了36条完整的桌面操作轨迹，涵盖6家仿真公司、3种操作系统环境（macOS、Windows、浏览器）。其核心研究问题是如何在复杂、多应用、跨平台的经济模拟环境中，生成真实且可复现的GUI代理行为数据。该数据集通过引入多企业协作、角色多样性及跨操作系统通信等特性，为GUI代理的安全性、鲁棒性和泛化能力评估提供了标准化基准，对自动化办公、数字助理等领域具有重要影响。

当前挑战

当前数据集面临的核心挑战包括：首先，在领域问题层面，现有GUI代理数据集多局限于单一应用或简单任务，难以覆盖真实企业场景中的多应用协作、角色权限差异及跨平台交互，而SynthUX试图填补这一空白，但如何在有限轨迹数量（36条）下保证场景的多样性和代表性成为难题。其次，在构建过程中，需要克服低层级鼠标/键盘事件与高层级用户目标之间的语义对齐困难，同时确保模拟环境中的因果关系（如仅依赖低层输入驱动状态变更）以维持数据真实性；此外，跨公司、跨角色的内容生成需兼顾隐私与多样性，防止数据泄露或模式固化。

常用场景

经典使用场景

SynthUX Economy R3 W031数据集旨在为基于图形用户界面的智能体（GUI Agent）研究提供高保真、多应用协同的计算机使用轨迹。其经典使用场景聚焦于模拟企业环境中工作者在多个原生桌面应用（如终端、笔记、代码编辑器、浏览器、即时通讯、邮件、电子表格等）之间切换与操作的过程。每条样本记录了一个完整的工作会话，包含自然语言描述的目标、展开的节点树、底层鼠标和键盘事件序列以及对应的屏幕视频和逐节点截图。研究者可利用该数据集训练或评估能够理解复杂多步骤任务、跨应用执行操作的智能体模型，尤其是在模拟真实企业经济运转情境下，检验智能体对多应用生态的适应能力与规划执行精度。

衍生相关工作

围绕SynthUX数据集，学术界已涌现出一系列衍生工作。其中，基于其层次化节点树结构，研究者开发了任务规划与动作对齐模型，将长周期的计算机操作拆解为可执行的子目标序列。利用数据集中低层输入事件与观察帧的配对，多项工作探索了视觉感知驱动的界面理解与键鼠控制策略。此外，SynthUX催生了针对多应用会话中意图推理与异常检测的研究，例如分析智能体在遇到弹窗或加载延迟时的调整策略。另有团队基于该数据集构建了经济学仿真环境中的多智能体协作基准，评估多个代理在同一企业网络内协同完成任务的能力。这些衍生工作充分展现了SynthUX在推动计算机使用智能体从单应用走向多应用协同方面的重要催化作用。

数据集最近研究

最新研究方向

聚焦于多应用协同的图形用户界面（GUI）智能体研究，该数据集通过模拟企业级多角色、跨平台的桌面操作场景，生成包含屏幕视频与节点帧的细粒度操作轨迹。其前沿方向体现在将计算机使用交互从单应用扩展至多公司经济模拟，结合低层级鼠标键盘事件与高层级语义目标，为GUI智能体的自主规划、跨应用任务执行及环境反馈学习提供了高保真训练与评估基准。此举紧密关联当前AI智能体在办公自动化、企业流程模拟等热点事件中的应用，推动了从静态界面理解到动态多步骤任务完成的范式跃迁，对构建更鲁棒、可泛化的通用计算机操控智能体具有深远意义。