jacob-valdez/synthux-economy-r4-w043

SynthUX计算机使用数据集——经济模拟r4是一个基于视觉的计算机使用轨迹数据集，由SynthUX生成。每条记录代表一个工人在模拟公司内的设备会话：一个目标扩展为节点树，终端节点通过低级别鼠标/键盘输入驱动真实的桌面模拟器应用（如终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等），观察到的轨迹被记录为屏幕视频和每个节点的帧。该数据集支持应用原生多应用程序执行（无工作台覆盖）、每个参与者内容多样性、跨操作系统消息传递以及大型多公司经济模拟。每个经济模拟作为独立的数据集仓库发布。SynthUX Computer-Use Dataset — economy sim r4 is a grounded visual computer-use trajectories generated by SynthUX. Each record is one workers device session inside a simulated company: a goal expands into a node tree, terminal nodes drive real desktop-simulator apps (Terminal, Notes, VS Code, Browser, Slack/Teams, Mail, Sheets, Slides, …) through low-level mouse/keyboard input, and the observed trajectory is recorded as a screen video plus per-node frames. App-native multi-application execution (no workbench overlay), per-actor content diversity, cross-OS messaging, and large multi-company economies. Each economy simulation is published as its own dataset repo.

搜集汇总

数据集介绍

构建方式

SynthUX-Economy-r4-w043数据集构建于模拟企业经济体系之中，核心逻辑在于将代理（Worker）的自然语言目标逐层分解为节点树，其终端节点通过低层级鼠标与键盘指令驱动桌面模拟器中的原生应用程序——涵盖终端、笔记、代码编辑器、浏览器、即时通讯、邮件及办公套件等。整个交互过程被完整录制为屏幕视频与逐节点截图。该数据集严格遵循因果捕获原则，仅依赖低级输入事件变更观察状态，不引入任何高级应用层面的操控，确保了轨迹的真实性与可复现性。每一条轨迹对应一个独立设备会话，并按照多公司经济仿真场景组织发布。

特点

该数据集最显著的特征在于其原生多应用执行机制：所有操作均在真实桌面模拟器内完成，摒弃了常见的遮罩式工作台，从而保留了原始操作系统的交互复杂度。内容多样性体现为跨角色、跨组织的个性化操作路径，并支持macOS、Windows及浏览器三种桌面环境的轨迹记录。每条轨迹除了包含密集的低级输入事件（含精确时间戳）与因果观察状态外，还提供了节点级别的对齐链接，将观察结果与输入事件范围映射至对应节点标识符，极大便利了细粒度的行为分析。本版本涵盖6家企业、36条轨迹，共计874帧画面。

使用方法

使用者可直接加载data.jsonl文件，每条记录包含轨迹唯一标识符、所属企业与角色身份、自然语言目标、完整的节点树与低级输入事件序列。配套的screenshots目录按轨迹与节点组织PNG格式帧画面，videos目录提供WebM格式全屏录屏，便于视觉回溯与多模态建模。在模型训练或评估中，可依据'env'字段筛选特定桌面环境的数据，或借助'trajectory.alignment'字段实现输入事件、观测状态与节点之间的精确对应，从而灵活支持GUI代理的规划、执行与错误恢复等下游任务。

背景与挑战

背景概述

SynthUX Computer-Use Dataset (economy sim r4) 诞生于多智能体系统与图形用户界面（GUI）自动化研究的交叉前沿，由相关研究团队于近期构建，旨在模拟真实企业环境中多用户同时操作桌面应用程序的复杂场景。该数据集创立的契机源于当前GUI代理研究大多局限于单任务或单应用环境，缺乏对跨应用、多角色协同及企业级经济生态的建模能力。SynthUX通过模拟包含多个公司、角色与应用的合成经济体系，生成接地气的计算机使用轨迹，每个记录涵盖从自然语言目标到低层级鼠标键盘操作的完整执行链条。这一设计不仅为训练和评估具备多应用协调能力的GUI代理提供了高保真基准，还推动了人机交互、自动化测试和数字孪生等领域的发展，对理解人类在复杂工作环境中的行为模式具有深远影响。

当前挑战

该数据集面临的核心挑战包括：第一，解决领域内多应用长链任务执行中的可控性与可复现性问题——真实企业场景中的操作序列常因上下文依赖和界面动态变化而难以建模，SynthUX需在仿真环境中生成既符合逻辑又具有多样性的轨迹，避免陷入简化的单应用套路化反应。第二，构建过程中为维持跨OS（macOS、Windows、浏览器）一致的仿真保真度，需精确捕捉每个终端节点的屏幕状态、输入事件及因果对齐信息，同时通过每参与者内容多样化和跨平台消息机制防止数据同质化。此外，如何高效渲染36条轨迹、874帧图像及同步录制的视频，并在保证数据隐私与无重叠的前提下实现多公司经济模拟的可扩展性，亦是工程层面的重要技术壁垒。

常用场景

经典使用场景

在计算机图形用户界面智能体研究领域，SynthUX Economy模拟数据集提供了一个多企业、跨操作系统的真实桌面环境轨迹资源。经典使用场景包括训练GUI智能体执行多步骤办公任务，如通过终端、浏览器、邮件和即时通讯等应用的协同操作，完成财务报表整理、跨部门信息汇总等复杂工作流。该数据集以自然语言目标驱动，记录每个工作者的屏幕操作视频和逐节点截图，为构建和评估具备多应用操作能力的视觉语言模型提供了高质量的仿真数据基础。

解决学术问题

该数据集有效解决了当前GUI智能体研究中缺乏多应用、多企业协同操作场景的学术难题。传统数据集多局限于单一应用内的简单交互，难以支撑对智能体在真实办公环境中的规划能力、跨应用任务迁移能力以及多步骤长链操作的评估。SynthUX通过模拟包含多家公司和多种角色的经济体系，使得研究者能够系统性地考察智能体在复杂目标分解、实时界面状态理解以及对不同操作系统环境适应能力等方面的表现，从而推动人机协同决策和自动化办公领域的理论进展。

衍生相关工作

围绕该数据集已衍生出多项经典研究工作，包括基于视觉语言模型的GUI任务规划器、跨应用操作步骤感知的帧预测网络，以及面向长链交互的可解释性轨迹分析框架。研究者利用其多公司经济模拟特性，开发了角色感知的智能体记忆模块和动态目标重规划算法，以提升智能体在多轮交互中的鲁棒性。此外，该数据集催生了多操作系统环境下的交互抽象层设计，推动了从单应用到多应用、从单用户到组织级协作的智能体研究范式转变。