jacob-valdez/synthux-economy-r5-w041

SynthUX计算机使用数据集 — 经济模拟r5：这是一个基于SynthUX生成的视觉计算机使用轨迹数据集。每个记录代表一个工人在模拟公司中的设备会话：一个目标扩展为节点树，终端节点通过低级鼠标/键盘输入驱动真实桌面模拟器应用程序（如终端、笔记、VS代码、浏览器、Slack/Teams、邮件、表格、幻灯片等），观察到的轨迹被记录为屏幕视频加上每节点帧。数据集支持应用原生多应用程序执行（无工作台覆盖）、每参与者内容多样性、跨操作系统消息传递和大规模多公司经济模拟。每个经济模拟作为独立的数据集仓库发布。SynthUX Computer-Use Dataset — economy sim r5: Grounded visual computer-use trajectories generated by SynthUX. Each record is one workers device session inside a simulated company: a goal expands into a node tree, terminal nodes drive real desktop-simulator apps (Terminal, Notes, VS Code, Browser, Slack/Teams, Mail, Sheets, Slides, …) through low-level mouse/keyboard input, and the observed trajectory is recorded as a screen video plus per-node frames. App-native multi-application execution (no workbench overlay), per-actor content diversity, cross-OS messaging, and large multi-company economies. Each economy simulation is published as its own dataset repo.

搜集汇总

数据集介绍

构建方式

本数据集源自SynthUX框架，旨在模拟企业环境中多应用协作的计算机操作轨迹。每条记录对应一名虚拟员工在模拟公司内的设备会话，通过将自然语言目标分解为节点树，终端节点驱动底层鼠标、键盘输入以操作真实桌面模拟器应用（如终端、笔记、VS Code、浏览器、即时通讯、表格处理等）。轨迹被完整记录为屏幕视频及每节点关键帧，确保数据完全基于因果模拟状态生成，未使用任何高层应用变异，从而保持操作过程的真实性与可追溯性。

特点

该数据集的核心特色在于其原生多应用执行环境（无杂乱工作台覆盖）、基于角色的内容多样性以及跨操作系统的消息交互能力，支持macOS、Windows与浏览器三种模拟环境。本次发布包含36条完整轨迹、939帧图像与6个模拟公司角色，覆盖经济模拟场景下的多公司规模交互。每条记录均提供密集的底层输入事件时间序列、因果状态观察及节点对齐信息，为研究图形用户界面代理的泛化与鲁棒性提供了高保真度的基准数据。

使用方法

使用时可通过解析`data.jsonl`文件获取每条轨迹的元数据与事件流，结合`screenshots`目录下的PNG帧序列或`videos`目录中的完整屏幕录制进行可视化分析。研究人员可依据`trajectory.input_events`字段复现底层操作细节，利用`tree.nodes`结构理解任务分解逻辑，或通过`media.frames`与`trajectory.alignment`对齐观察状态与操作步骤。该数据集适用于训练与评估多应用场景下的GUI代理模型，尤其适合研究跨平台、多角色协作的经济模拟任务。

背景与挑战

背景概述

SynthUX Computer-Use 数据集（economy-sim r5）诞生于图形用户界面智能体研究的前沿领域，旨在模拟多企业协作环境下的计算机操作行为。该数据集由 SynthUX 团队基于多公司模拟框架创建，记录了36条细粒度的桌面操作轨迹，涵盖 macOS、Windows 及浏览器环境中的跨应用交互。核心研究问题在于如何为 GUI 智能体提供真实、多样且可扩展的训练与评估数据，从而推动自动化办公、流程仿真等方向的发展。其影响力体现在为多应用协同操作、稀疏奖励学习等难题提供了首个系统化的合成数据基准。

当前挑战

当前面临的核心挑战包括：1) 领域问题层面，GUI 智能体在复杂多应用场景中需应对动态界面变化、跨应用状态同步及长程任务分解等难题，现有模型在低层级动作理解和高层目标规划间存在鸿沟；2) 数据构建过程中，模拟器需同时保证低层输入因果性与界面多样性，避免过拟合于特定工具布局；此外，多企业经济模拟中的角色内容和算法流程需平衡隐私保护与轨迹真实性，对数据生成的可控性与泛化能力提出严苛要求。

常用场景

经典使用场景

SynthUX Economy R5 W041 数据集聚焦于企业级多应用图形用户界面（GUI）代理的自动化研究，其经典使用场景在于模拟多公司经济体系内员工的真实计算机操作轨迹。该数据集通过生成员工在终端、浏览器、邮件、代码编辑器等多应用环境中的鼠标键盘交互序列，为GUI代理提供了从自然语言目标到底层输入指令的完整映射，尤其在跨平台（macOS、Windows、浏览器）和多角色协作场景中展现出不可替代的评估价值。

衍生相关工作

该数据集已衍生出多个经典研究方向，包括基于视觉模仿学习的GUI代理预训练模型、层级任务规划中的节点树分解算法，以及跨平台输入事件对齐技术。相关工作如利用其多应用轨迹设计的目标导向强化学习奖励函数，显著提升了代理在未知公司环境中的零样本适应能力。此外，基于该数据集的因果观测窗口特性，研究者还开发了针对GUI代理行为安全性的验证框架，为自动化系统的可控性提供了评估基线。

数据集最近研究

最新研究方向

SynthUX-economy-r5-w041数据集聚焦于多应用环境下的计算机使用轨迹合成，通过模拟跨公司经济体系中的真实桌面操作，为GUI智能体研究提供了高保真度的视觉行为数据。该方向的前沿研究正借助此类仿真数据，探索智能体在复杂多窗口、多任务场景中的自主决策与泛化能力，尤其关注从低层级鼠标键盘输入到高层级目标拆解的对齐学习。当前热点包括基于此类轨迹数据训练可解释的端到端GUI智能体，以及利用跨操作系统仿真推进企业级自动化，其意义在于弥合模拟与真实桌面操作之间的鸿沟，为下一代人机协作系统的安全性与鲁棒性评估奠定数据基础。